【快班】Spark企业级大数据项目实战_选课中心-炼数成金-Dataguru专业数据分析社区

首页 > 选课中心 > 分布式系统 > 【快班】Spark企业级大数据项目实战

【快班】Spark企业级大数据项目实战

此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业，报名专业套餐，可享受0元学习特惠！点击了解详情

随报随学	共11课	★☆☆
开课时间	课程周期	难易度

招生中

立即报名

课程介绍:       本门课程来源于一线生产项目，所有代码都是在现网大数据集群上稳定运行，拒绝Demo。本门课程涵盖了离线分析、实时分析绝大部分的场景，通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Kafka、Oracle、ElasticSearch等相关大数据技术，并实际落地。

     本门课程全程实操，不用担心基础不好，老师将会从每个项目的演进过程详细分析，手把手搭建开发环境，每个功能点都有代码实操，拿到生产上可以直接使用。

     本门课程大量生产上的较佳实践，不仅能为技术选型提供参考，也能大幅度提升个人的知识和技术水平，学完可以胜任PB级大数据的开发和优化，面试中说出来都是亮点，是跳槽、转型、加薪的利器，让你轻松实现华丽转身。只要你有一点Hadoop、Spark和Scala基础，并且能保持学习的热情，那么就跟随老师来吧。

课程大纲: 第一课：生产项目的演进和改造思路
1. 三大生产项目（离线日志分析、企业预警实时监控、安全日志上报之Spark Streaming+Kafka保证数据零丢失）业务介绍
2. 离线分析和实时分析的场景介绍
3. 改造思路
4. Hadoop、Spark、Hbase、Kafka、ElasticSearch等项目软件选型

第二课：手把手从零搭建开发环境
1. Hadoop、Spark、Hbase、Kafka、ElasticSearch软件安装
2. IDEA安装
3. Maven工程构建
4. IDEA调试Spark项目
5. Spark源码编译
6. Spark作业提交方式

第三课：安全日志上报之Spark Streaming+Kafka保证数据零丢失（一）
1. Spark Streaming 整合Kafka的几种方式对比
2. 彻底搞懂Kafka 消息检索原理
3. 使用Spark Streaming进行Kafka 的Offset管理（Checkpoints、Hbase、Zookeeper、Kafka）
4. Spark Streaming保存offset到zookeeper乱码处理

第四课：安全日志上报之Spark Streaming+Kafka保证数据零丢失（二）
1. 实时作业的at most once、at least once、exactly once语义
2. 方案选型和对比（四种方案）
3. Spark Streming + Kafka 如何获取每条消息的offset、partition以及每批次的from offset、end offset、count。
4. Spark Streming + Kafka（消费） + Kafka（清洗后入）方案和代码实操

第五课：安全日志上报之Spark Streaming+Kafka保证数据零丢失(三）
1. SQL on Hbase 实现的几种方式
2. Spark Streming + Kafka（消费） + Hbase（清洗后入）实现exactly once语义方案
3. 代码实操
4. SQL on Hbase 性能优化

第六课：安全日志上报之Spark Streaming+Kafka保证数据零丢失(四）
1. Spark 整合Elasticsearch要点和案例实操
2. Spark Streming + Kafka（消费） + Elasticsearch实现exactly once语义方案
3. Spark Streming + Kafka（消费） +Oracle实现exactly once语义方案
4. 代码实操
5 Spark 整合Elasticsearch性能优化

第七课：离线日志分析项目（一）
1. 第一版问题分析
2. ETL流程分析
3. Flume+Nginx整合, 数据采集，日志分割
4. Flume如何实现负载均衡和高可用
5. 日志收集系统架构（可用性、可靠性、可扩展性）

第八课：离线日志分析项目（二）
1. 文件存储格式对比
2. Spark 整合 Hive
3. 第二版项目方案的演进和代码实操
4. 解决小文件问题
5. 数据质量监控

第九课：离线日志分析项目（三）
1. 理解Spark的Stage划分，如何定位导致数据倾斜代码，数据倾斜的场景和需要注意的地方
2. 广播变量使用的坑
3. Spark整合Oracle的表需要注意的地方
4. Spark作业调度异常问题案例汇总

第十课：企业预警实时监控
1. 第一版：使用Spark Streaming清洗数据（Hive动态分区等） + 代码实操
2. 第一版存在的问题分析
3. 第二版项目方案的演进和代码实操
4. 中文乱码问题解决

第十一课：通用解决方案
1. Hbase 二级索引
2. Hbase + ElasticSearch整合，实现海量数据查询
3. 不通场景下， Spark 写数据到Oracle的方案（集群和Oracle服务器网络是否连通等. ）
4. Driver内存调优
5. 其他

授课讲师: cqfrog，一线大数据架构和开发工程师，负责PB级大数据的技术架构和研发，熟悉大数据技术平台选型、规划和实施，主导了多个大数据项目的迭代和优化，积累了丰富的经验。

课程环境

操作系统： Vmware + CentOS 6.5 ，物理机内存最好8G以上。

开发工具： IDEA

大数据： CDH 5.7

授课对象: 有一点Hadoop、Spark的基础。针对Hbase、Kafka、ES等基础不足的同学，讲师会根据项目需要对其核心部分进行详细介绍。

收获预期

1. 掌握生产上企业级大数据的开发流程。

2. 可以胜任PB级大数据的开发和优化

3. 达到3年大数据从业经验的水平

课程学费: 学费：400元（固定学费：300元 + 逆向学费：100元）
新颖的课程收费形式：“逆向收费”约等于免费学习，课程收取300元固定收费 + 100元逆向学费，学习圆满则全额奖励返还给学员！

特别说明如下: 本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。在报名时每位报名者收取400元，其中300元为固定收费，另外100元是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面作业，则100元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式

1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。

【快班】Spark企业级大数据项目实战	立即报名
开课时间：随报随学课程周期：共11课难易度：★☆☆

授课老师

老师其他课程

课程所属专业

其他快班课程

专业相关课程

热招课程