|
随着互联网的发展，数据的不断膨胀，从刚开始的关系型数据库到非关系型数据库，再到大数据技术，技术的不断演进最终是随着数据膨胀而不断改变，最初的数据仓库能解决我们的问题，但是随着时代发展，企业已经不满足于数据仓库，希望有更强大的技术来支撑数据的存储，包括结构化，非结构化的数据等，希望能够积累企业的数据，从中挖掘出更大的价值。基于这个背景，数据湖的技术应运而生。 本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。 Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。 Hudi的出现解决了现有hadoop体系的几个问题：1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳，此过程不用执行扫描整个源表的查询。 本课程包含的技术： 开发工具为：IDEA、WebStorm Flink1.9.0、Hudi ClickHouse Hadoop2.7.5 HBase2.2.6 Kafka2.1.0 Hive2.2.0 HDFS、MapReduce Spark、Zookeeper Binlog、Canal、MySQL SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Vue.js、Nodejs、Highcharts Linux Shell编程 课程亮点： 1.与企业接轨、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink 4.Flink join 实战 5.Hudi数据湖技术 6.集成指标明细查询 7.主流微服务后端系统 8.数据库实时同步解决方案 9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 10.集成SpringCloud实现统一整合方案 11.互联网大数据企业热门技术栈 12.支持海量数据的实时分析 13.支持全端实时数据分析 14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询 课程大纲： 第一章 项目架构以及底层环境 1、数据湖课程说明 2、数据湖项目架构讲解 3、底层基础环境构建之kafka环境搭建 4、底层基础环境构建之hadoop环境构建 5、底层基础环境构建之hbase环境构建 6、底层基础环境构建之hive环境构建 第二章 数据湖Hudi讲解与使用 7、数据湖以及Hudi数据湖精讲 8、数据湖之Hudi数据湖插入数据 9、 Hudi数据湖之更新数据 10、数据湖之Hudi数据湖查询数据 11、数据湖之Hudi数据湖mor表类型数据更新 12、Hudi数据湖之flink实时数据分析服务构建 第三章 数据实时同步、数据收集服务以及Hudi整合hive 13、Hudi数据湖之注册中心构建 14、Hudi数据湖之数据实时收集服务构建 15、业务数据接入之binlog 16、业务数据同步之cannal讲解 17、数据同步之canal实战 18、数据湖hudi之hive整合数据存储实战 19、hive整合数据存储调试及效果演示 20、数据湖hudi之hive整合数据存储无数据问题 21、数据湖hudi之hive整合数据更新实战 第四章 数据湖实战之流量分析 22、数据湖应用实战之实时日志实体构建 23、数据湖应用实战之日志结构抽象以及实时数据收集服 24、数据湖应用实战之流量趋势map代码编写 25、数据湖应用实战之流量趋势用户明细reduce以 26、数据湖应用实战之所有终端流量趋势reduce以 27、数据湖应用实战之kafka工具类代码编写 28、数据湖应用实战之sparkstreaming同 29、数据湖应用实战之sparkstreaming同 30、数据湖应用实战之同步用户流量明细代码编写 第五章 数据湖实战之订单分析、营销分析、广告分析 31、数据湖应用实战之订单分析map代码编写 32、数据湖应用实战之订单分析用户明细以及总体趋势代 33、数据湖应用实战之用户行为分析map代码编写 34、数据湖应用实战之用户行为分析用户明细以及趋势代 35、数据湖应用实战之营销分析map代码编写 36、数据湖应用实战之营销分析用户明细以及趋势代码编 37、数据湖应用实战之广告流量趋势用户明细代码编写 38、数据湖应用实战之广告流量趋势小时级别用户以及整 39、数据湖应用实战之广告转化率分析flink jo 40、数据湖应用实战之广告转化率分析map代码编写 41、数据湖应用实战之广告转化率分析趋势代码编写 第六章 整合ClickHouse、数据转换服务、前端服务 42、数据湖应用实战之clickhouse讲解以及安 43、数据湖应用实战之clickhouse使用 44、数据湖应用实战之clickhouse工具类代码 45、数据湖应用实战之canal数据实时转换服务 46、数据湖应用实战之查询服务构建 47、数据湖应用实战之vue.js构建前端项目 48、数据湖应用实战之vue前端项目模板讲解 49、数据湖应用实战之vue.js+highchar 50、数据湖应用实战之流量趋势图表 51、数据湖应用实战之用户行为、广告分析等图表 52、数据湖应用实战之流量趋势接口代码编写 第七章 项目收尾完善 53、数据湖应用实战之vue-resource 前后 54、数据湖应用实战之流量数据生成器开发以及数据收集 55、数据湖应用实战之数据收集服务补充 56、数据湖应用实战之流量分析服务调试 57、数据湖应用实战之流量分析服务问题分析以及解决 58、数据湖应用实战之用户明细流量hudi同步调试讲 59、数据湖应用实战之数据转换服务现场调试讲解 60、数据湖应用实战之用户信息数据同步hudi 61、数据湖应用实战之流量趋势动态数据接口代码编写 62、数据湖应用实战之用户流量明细数据接口 63、数据湖应用实战之总体完善讲 授课时间： 课程将于2022年5月6日开课，课程持续时间大约为9周。 授课对象： 有Java基础，对微服务感兴趣的同学，想跳槽拿高薪的同学，刚毕业想拿高薪的同学，同时也欢迎大学生学员。 讲师介绍： 友凡 多年移动互联网产品设计和开发经验，带领团队完成多个知名互联网产品，历任多家知名公司Java和大数据架构师，负责过多个大型Java和大数据系统的架构和开发。 精通Java、Go、Python、Hadoop、Storm、Spark、Docker、NoSQL等语言和大数据技术，对分布式、高并发、高可用、微服务、缓存、虚拟化、海量数据处理有丰富的实战经验和解决方案。 IT一线行业8年实战经验，教程案例均来自真实工业界开发场景。 收获预期： 本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。 新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！
本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。 在报名时每位报名者收取400元，其中100元为固定 收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业，则300元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！ 课程授课方式： 1、 学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。 2、 学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。 3、 老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。 4、 结业测验：通过测验，完成学业。 您是否对此课程还有疑问，那么请 点击进入 FAQ，您的问题将基本得到解答
咨询QQ： 2222010006 (上班时间在线） 技术热点、 行业资讯，培训课程信息，尽在炼数成金官方微信，低成本传递高端知识！技术成就梦想！欢迎关注！  打开微信，使用扫一扫功能，即刻关注炼数成金官方微信账户，不容错过的精彩，期待您的体验！！！  |
GMT+8, 2024-11-23 08:36 , Processed in 0.095040 second(s), 34 queries .
| 关于我们 | 新手指南 | 企业合作 | 联系我们 |
|
||||
| 关于我们 | 教育模式 | 企业会员 | 电话：4008-010-006 | |||||
| 讲师招募 | 选课流程 | 内训合作 | 邮箱：kefu@dataguru.cn | |||||
| 校园大使 | 学费返还 | 媒体合作 | 客服QQ: |
|||||
| 版权声明 | 代理合作 | 售后QQ: |
版权所有 广州市皓岚信息技术有限公司
CopyRight 2011-2018 dataguru.cn All Right Reserved.
