spark源码二次魔改_Spark源码

文章目录：

• 1、大家对spark的源码了解多少，sparkshuffle，调度，sparkstreaming的源码？
• 2、怎样成为Spark高手
• 3、如何成为Spark高手
• 4、《深入理解spark核心思想及源码分析》pdf下载在线阅读全文，求百度网盘云资源

大家对spark的源码了解多少，sparkshuffle，调度，sparkstreaming的源码？

流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。

日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等；通信时代的手机、平板、智能设备、物联网等会产生很多实时数据，数据流无处不在。

在大数据时代Spark Streaming能做什么？

平时用户都有网上购物的经历，用户在网站上进行的各种操作通过Spark Streaming流处理技术可以被监控，用户的购买爱好、关注度、交易等可以进行行为分析。在金融领域，通过Spark Streaming流处理技术可以对交易量很大的账号进行监控，防止罪犯洗钱、财产转移、防欺诈等。在网络安全性方面，黑客攻击时有发生，通过Spark Streaming流处理技术可以将某类可疑IP进行监控并结合机器学习训练模型匹配出当前请求是否属于黑客攻击。其他方面，如：垃圾邮件监控过滤、交通监控、网络监控、工业设备监控的背后都是Spark Streaming发挥强大流处理的地方。

大数据时代，数据价值一般怎么定义？

所有没经过流处理的数据都是无效数据或没有价值的数据；数据产生之后立即处理产生的价值是最大的，数据放置越久或越滞后其使用价值越低。以前绝大多数电商网站盈利走的是网络流量（即用户的访问量），如今，电商网站不仅仅需要关注流量、交易量，更重要的是要通过数据流技术让电商网站的各种数据流动起来，通过实时流动的数据及时分析、挖掘出各种有价值的数据；比如：对不同交易量的用户指定用户画像，从而提供不同服务质量；准对用户访问电商网站板块爱好及时推荐相关的信息。

SparkStreaming VS Hadoop MR：

Spark Streaming是一个准实时流处理框架，而Hadoop MR是一个离线、批处理框架；很显然，在数据的价值性角度，Spark Streaming完胜于Hadoop MR。

SparkStreaming VS Storm：

Spark Streaming是一个准实时流处理框架，处理响应时间一般以分钟为单位，也就是说处理实时数据的延迟时间是秒级别的；Storm是一个实时流处理框架，处理响应是毫秒级的。所以在流框架选型方面要看具体业务场景。需要澄清的是现在很多人认为Spark Streaming流处理运行不稳定、数据丢失、事务性支持不好等等，那是因为很多人不会驾驭Spark Streaming及Spark本身。在Spark Streaming流处理的延迟时间方面，Spark定制版本，会将Spark Streaming的延迟从秒级别推进到100毫秒之内甚至更少。

SparkStreaming优点：

1、提供了丰富的API，企业中能快速实现各种复杂的业务逻辑。

2、流入Spark Streaming的数据流通过和机器学习算法结合，完成机器模拟和图计算。

3、Spark Streaming基于Spark优秀的血统。

SparkStreaming能不能像Storm一样，一条一条处理数据？

Storm处理数据的方式是以条为单位来一条一条处理的，而Spark Streaming基于单位时间处理数据的，SparkStreaming能不能像Storm一样呢？答案是：可以的。

业界一般的做法是Spark Streaming和Kafka搭档即可达到这种效果,入下图：

Kafka业界认同最主流的分布式消息框架，此框架即符合消息广播模式又符合消息队列模式。

Kafka内部使用的技术：

1、  Cache

2、  Interface

3、  Persistence（默认最大持久化一周）

4、  Zero-Copy技术让Kafka每秒吞吐量几百兆，而且数据只需要加载一次到内核提供其他应用程序使用

外部各种源数据推进（Push）Kafka，然后再通过Spark Streaming抓取（Pull）数据，抓取的数据量可以根据自己的实际情况确定每一秒中要处理多少数据。

通过Spark Streaming动手实战wordCount实例

这里是运行一个Spark Streaming的程序：统计这个时间段内流进来的单词出现的次数. 它计算的是：他规定的时间段内每个单词出现了多少次。

1、先启动下Spark集群：

我们从集群里面打开下官方网站

接受这个数据进行加工，就是流处理的过程，刚才那个WordCount就是以1s做一个单位。

刚才运行的时候，为什么没有结果呢？因为需要数据源。

2、获取数据源:

新开一个命令终端，然后输入：

$ nc -lk 9999

现在我们拷贝数据源进入运行：

然后按回车运行

DStream和RDD关系：

没有输入数据会打印的是空结果：

但是实际上，Job的执行是Spark Streaming框架帮我们产生的和开发者自己写的Spark代码业务逻辑没有关系，而且Spark Streaming框架的执行时间间隔可以手动配置，如：每隔一秒钟就会产生一次Job的调用。所以在开发者编写好的Spark代码时（如：flatmap、map、collect），不会导致job的运行，job运行是Spark Streaming框架产生的，可以配置成每隔一秒中都会产生一次job调用。

Spark Streaming流进来的数据是DStream，但Spark Core框架只认RDD，这就产生矛盾了？

Spark Streaming框架中，作业实例的产生都是基于rdd实例来产生，你写的代码是作业的模板，即rdd是作业的模板，模板一运行rdd就会被执行，此时action必须处理数据。RDD的模板就是DStream离散流，RDD之间存在依赖关系，DStream就有了依赖关系，也就构成了DStream 有向无环图。这个DAG图，是模板。Spark Streaming只不过是在附在RDD上面一层薄薄的封装而已。你写的代码不能产生Job,只有框架才能产生Job.

如果一秒内计算不完数据，就只能调优了.

总结：

使用Spark Streaming可以处理各种数据来源类型，如：数据库、HDFS，服务器log日志、网络流，其强大超越了你想象不到的场景，只是很多时候大家不会用，其真正原因是对Spark、spark streaming本身不了解。

怎样成为Spark高手

1.熟练掌握Scala语言

Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala;

虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序;

尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等;

2.精通Spark平台API

掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用;

掌握Spark中的宽依赖和窄依赖以及lineage机制;

掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等。

3.深入Spark内核

此阶段主要是通过Spark框架的源码研读来深入Spark内核部分：

通过源码掌握Spark的任务提交过程;

通过源码掌握Spark集群的任务调度;

尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节;

4.掌握基于Spark的核心框架

Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等：

Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等;

Spark的离线统计分析功能，Spark1.0.0版本在Shark的基础上推出了SparkSQL，离线统计分析的功能的效率有显著的提升，

对于Spark的机器学习和GraphX等要掌握其原理和用法;

5.做商业级别的Spark项目

通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。

6.提供Spark解决方案

彻底掌握Spark框架源码的每一个细节;

根据不同的业务场景的需要提供Spark在不同场景的下的解决方案;

根据实际需要，在Spark框架基础上进行二次开发，打造自己的Spark框架;

前面所述的成为Spark高手的六个阶段中的第一和第二个阶段可以通过自学逐步完成，随后的三个阶段最好是由高手或者专家的指引下一步步完成，最后一个阶段，基本上就是到"无招胜有招"的时期，很多东西要用心领悟才能完成。

如何成为Spark高手

　　第一阶段：熟练掌握Scala语言

1，spark框架是采用scala语言写的，精致优雅。想要成为spark高手，你就必须阅读spark源码，就必须掌握scala。 

2，虽然现在的spark可以使用多种语言开发，java,python，但是最快速和支持最好的API依然并将永远是Scala的API，所以必须掌握scala来编写复杂的和高性能的spark分布式程序。 

3尤其是熟练掌握Scala的trait,apply,函数式编程，泛型，逆变，与协变等。

第二阶段：精通spark平台本身提供给开发折的API

1，掌握spark中面向RDD的开发模式，掌握各种transformation和action函数的使用。 

2，掌握Spark中的款依赖和窄依赖，lineage机制。 

3，掌握RDD的计算流程，如Stage的划分，spark应用程序提交给集群的基础过程和Work节点基础的工作原理。

　　第三阶段：深入Spark内核

此阶段主要是通过Spark框架的源码研读来深入Spark内核部分： 

1，通过源码掌握Spark的任务提交， 

2，通过源码掌握Spark的集群的任务调度， 

3，尤其要精通DAGScheduler,TaskScheduler和Worker节点内部的工作的每一步细节。

第四阶段：掌握Spark上的核心框架的使用

Spark作为云计算大数据时代的集大成者，在实时流式处理，图技术，机器学习，nosql查询等方面具有明显的优势，我们使用Spark的时候大部分时间都是在使用其框架： 

sparksql,spark streaming等 

1，spark streaming是出色的实时流失处理框架，要掌握，DStream,transformation和checkpoint等。 

2，spark sql是离线统计分析工具，shark已经没落。 

3，对于spark中的机器学习和Graphx等要掌握其原理和用法。

　　第五阶段：做商业级的spark项目

通过一个完整的具有代表性的spark项目来贯穿spark的方方面面，包括项目的框架设计，用到的技术的剖析，开始实现，运维等，完善掌握其中的每一个阶段和细节，以后你就可以从容的面对绝大多数spark项目。

　　第六阶段：提供spark解决方案

1，彻底掌握spark框架源码的每一个细节， 

2，根据步同的业务场景的需要提供spark在不同场景的解决方案， 

3，根据实际需要，在spark框架基础上经行2次开发，打造自己的spark框架。

《深入理解spark核心思想及源码分析》pdf下载在线阅读全文，求百度网盘云资源

《深入理解spark核心思想及源码分析》百度网盘pdf最新全集下载:

链接：

?pwd=df15 提取码：df15

简介：本书对Spark源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐，阿里巴巴资深Java开发和大数据专家撰写，Spark以其先进的设计理念，迅速成为社区的热门项目