【快班】突击pyspark：数据挖掘的力量倍增器_选课中心-炼数成金-Dataguru专业数据分析社区

首页 > 选课中心 > 编程技术 > 【快班】突击pyspark：数据挖掘的力量倍增器

【快班】突击pyspark：数据挖掘的力量倍增...

此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业，报名专业套餐，可享受0元学习特惠！点击了解详情

随报随学	共10课	★☆☆
开课时间	课程周期	难易度

招生中

立即报名

课程介绍: 当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。Apache Spark 作为MapReduce的新一代继承者。是对map reduce从性能，易用性和复杂分析优化的强大的开源数据处理引擎。Spark框架支持流式数据处理，复杂迭代算法，比传统Hadoop MapReduce 程序快100倍。
Python语言时当下数据领域的瑞士军刀，但是作为一门脚本语言python先天只能在一台机器上发展，不适合分析大数据，因此需要其他大数据软件来处理，Spark虽然是由Scala编写，但也提供了Pyspark，让熟悉Python者能够轻易熟悉操作大数据。

本课程将为大家全面而又深入的介绍Spark1.x,2.x 、Hadoop、pyspark平台的构建流程，涉及Spark、Hadoop系统基础知识，概念及架构， pySpark、Hadoop的实战技巧，Spark、Hadoop经典案例等。

通过本课程实践，帮助学员对Spark、Hadoop生态系统有一个清晰明了的认识；理解Spark、Hadoop系统适用的场景；掌握pySpark、Hadoop等初中级应用开发技能，让你的python水平更上层楼。

课程大纲

第一课.spark介绍
hadoop、spark集群环境搭建
pyspark开发环境搭建
spark 1.x和2.x的对比

第二课.pySpark核心编程模型
RDD、transformation、action

第三课.pySpark核心编程实战
lineage、容错处理、宽依赖与窄依赖

第四课.Spark内核详解剖析
Spark术语解释、集群概览、核心组件、数据本地性

第五课.spark任务调度详解
RDD任务调度(DAGScheduler ,TaskScheduler)、Task细节、广播变量、累加器

第六课.spark工程经验和性能调优

第七课.spark sql 详解

DataFrame、外部数据源API、与Spark其他组件的交互、

第八课.spark sql编程实战
Catalyst查询优化器、Tungsten 优化

第九课.spark streaming 开发
Dstream、数据源、容错

第十课.spark运维技能

授课讲师: pyther，十年IT工作经验，曾就职阿里巴巴、雅虎，现为大数据独立顾问。

课程环境

python

linux

授课对象: 本课程面向喜欢Python的学员，课程分为spark core、spark sql、spark streaming三个摸块。理论结合实战，让学员真正达到融会贯通、举一反三的效果。并应用到自己的工作环境中。

收获预期

1. 掌握Spark核心原理;

2. 了解如何对Spark Job进行性能优化;

3.. 掌握Spark Streaming的原理及使用方式

4. 了解SQL引擎的原理，掌握Spark SQL的使用和优化方式

课程学费: 学费：400元（固定学费：300元 + 逆向学费：100元）
新颖的课程收费形式：“逆向收费”约等于免费学习，课程收取300元固定收费 + 100元逆向学费，学习圆满则全额奖励返还给学员！

特别说明如下: 本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。在报名时每位报名者收取400元，其中300元为固定收费，另外100元是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面作业，则100元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式

1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。

【快班】突击pyspark：数据挖掘的力量倍增器	立即报名
开课时间：随报随学课程周期：共10课难易度：★☆☆

授课老师

老师其他课程

课程所属专业

其他快班课程

专业相关课程

热招课程