xgboost源码剖析_xgboost集成算法

文章目录：

• 1、数据挖掘工程师一般都做什么？
• 2、如何在Mac OSX上安装xgboost
• 3、Python 在编程语言中是什么地位？为什么很多大学不教 Python？
• 4、如何在Mac上安装xgboost
• 5、数据挖掘需要哪些技能?

数据挖掘工程师一般都做什么？

数据挖掘工程师是做什么的？

数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。

数据挖掘往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。

数据挖掘  =  业务知识  +  自然语言处理技术（ NLP ） +  计算机视觉技术（ CV ） +  机器学习 / 深度学习（ ML/DL ）

（ 1 ）其中业务知识具体指的是个性化推荐，计算广告，搜索，互联网金融等； NLP ， CV 分别是处理文本，图像视频数据的领域技术，可以理解为是将非结构化数据提取转换成结构化数据；最后的ml/dl 技术则是属于模型学习理论；

（ 2 ）在选择岗位时，各个公司都没有一套标准的称呼，但是所做的事情无非 2 个大方向，一种是主要钻研某个领域的技术，比如自然语言处理工程师，计算机视觉工程师，机器学习工程师等；一种是将各种领域技术应用到业务场景中去解决业务需求，比如数据挖掘工程师，推荐系统工程师等；具体的称呼不重要，重要的是平时的工作内容；

PS ：在互联网行业，数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域，而其中涉及到的数据主要也是文本，所以 NLP 技术相对来讲比较重要，至于 CV 技术主要还是在人工智能领域（无人车，人脸识别等）应用较多，本人了解有限，相关的描述会较少；

数据挖掘岗位需要具备的3 种基本能力

1.        工程能力

（ 1 ）编程基础：需要掌握一大一小两门语言，大的指 C++ 或者 Java ，小的指 Python 或者 shell 脚本；需要掌握基本的数据库语言；

建议： MySQL + python + C++ ；语言只是一种工具，看看语法就好；

推荐书籍：《 C++ primer plus 》

（ 2 ）开发平台： Linux ；

建议：掌握常见的命令，掌握 Linux 下的源码编译原理；

推荐书籍：《 Linux 私房菜》

（ 3 ）数据结构与算法分析基础：掌握常见的数据结构以及操作（线性表，队，列，字符串，树，图等），掌握常见的计算机算法（排序算法，查找算法，动态规划，递归等）；

建议：多敲代码，多上 OJ 平台刷题；

推荐书籍：《大话数据结构》《剑指 offer 》

（ 4 ）海量数据处理平台： Hadoop （ mr 计算模型， java 开发）或者 Spark （ rdd 计算模型， scala开发），重点推荐后者；

建议：主要是会使用，有精力的话可以看看源码了解集群调度机制之类的；

推荐书籍：《大数据 spark 企业级实战》

2.        算法能力

（ 1 ）数学基础：概率论，数理统计，线性代数，随机过程，最优化理论

建议：这些是必须要了解的，即使没法做到基础扎实，起码也要掌握每门学科的理论体系，涉及到相应知识点时通过查阅资料可以做到无障碍理解；

（ 2 ）机器学习 / 深度学习：掌握 常见的机器学习模型（线性回归，逻辑回归， SVM ，感知机；决策树，随机森林， GBDT ， XGBoost ；贝叶斯，  KNN ， K-means ， EM 等）；掌握常见的机器学习理论（过拟合问题，交叉验证问题，模型选择问题，模型融合问题等）；掌握常见的深度学习模型（ CNN ，RNN 等）；

建议：这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景；

推荐书籍：《统计学习方法》《机器学习》《机器学习实战》《 UFLDL 》

（ 3 ）自然语言处理：掌握常见的方法（ tf-idf ， word2vec ， LDA ）；

3.        业务经验

（ 1 ）了解推荐以及计算广告相关知识；

推荐书籍：《推荐系统实践》《计算广告》

（ 2 ）通过参加数据挖掘竞赛熟悉相关业务场景，常见的比赛有 Kaggle ，阿里天池， datacastle 等。

想要学习数据挖掘的话可以看一下这篇文章《AI时代就业指南：数据挖掘入门与求职》

如何在Mac OSX上安装xgboost

1. Mac OSX系统一般自带python，打开终端输入python即可写python代码，所以python环境已经具备了。

2.安装 Homebrew , 类似于ubuntu中的apt-get和centos中的yum，是OSX里面的一个非常有用软件安装工具。

/usr/bin/ruby -e "$（curl -fsSL ）"

直接将上述代码粘贴至终端即可安装。（安装这个软件的目的在于更新gcc版本，因为官方文档中说只有最新的gcc版本才能使xgboost支持多线程）

3.安装最新版本的gcc （gcc-6）

brew install gcc --without-multilib

这步比较耗时，用了将近1小时。

4.从git上下载源码

cd进入你想要安装的目录，然后输入下面的代码。（我是直接在打开终端的目录）

git clone --recursive

Python 在编程语言中是什么地位？为什么很多大学不教 Python？

作者看着网上各种数据分析的知识泛滥， 但是没有什么体系，初学者不知道学哪些， 不知道学多少， 不知道学多深， 单纯一个python语言， 数据分析会用到那种程度， 不可能说像开发那样去学， numpy如果不是做算法工程师用到的知识并不多， pandas知识杂乱无章， 哪些才是最常用的功能等等， 作者不忍众生皆苦， 决定写一套python数据分析的全套教程， 目前已完成一部分课件的制作。需要说明的是， 作为一名数据分析师， 你应该先会一点Excel和SQL知识，相关的内容， 网上很多。但是， 即便你一点Excel和SQL都不会也不会影响这部分的学习 ！目前作者整理的大纲如下：

第一章 python编程基础

1.1 python语言概述 1.2 数据科学神器--Anaconda介绍与安装 1.3 标准输入输出 1.4 变量定义与赋值 1.5 数据类型 1.6 流程控制语句 1.7 函数

1.8 面向对象编程 第二章 python数据清洗之numpy 2.1 核心ndarray对象的创建 2.2 ndarray对象常用的属性和方法 2.3 ndarray对象的索引和切片 2.4 ndarray对象的分割与合并 2.5 ndarray对象的广播(Broadcast) 2.6 numpy中的算术运算函数 2.7 numpy中的统计函数 2.8 numpy中的排序 搜索 计数 去重函数 2.9 numpy中的字符串函数 2.10 numpy中可能会用到的线性代数模块（后期机器学习会用到一点）

第三章 数据清洗神器pandas

3.1 pandas核心对象之Series对象的创建 常用属性和方法 3.2 pandas核心对象之DataFrame对象的创建 常用属性和方法 3.3 DataFrame对象的列操作和行操作 3.4 DataFrame对象的索引和切片 3.5 DataFrame对象的布尔索引 3.6 数据的读入与导出 3.7 groupby分组运算 3.8 数据合并与数据透视

第四章 数据可视化matplotlib seaborn pyecharts

4.1 包括常用图形的绘制，略

第五章 实战案列

5.1 拉勾网数据分析相关职位分析 5.2 boss直聘数据分析相关职位分析 5.3 珍爱网女性用户数据分析

第六章 机器学习

机器学习部分， 简单的算法会讲手写， 难的就用scikit-learn实现， 可能有小伙伴说， 这是调包侠干的， 小哥哥！小姐姐！哪有那么多公司， 那么多人自己干写算法的， 有几个人敢说他写的算法比scikit-learn写得好？ 再说了， 你是数据分析师， 这些是你的工具， 解决问题的！不是一天到晚拉格朗日对偶性！先来个机器学习介绍， 然后如下：

6.1 K近邻算法 6.2 Kmeans算法 6.3 决策树 阶段案列：决策树案列(保险行业) 6.4 线性回归 岭回归 Lasso回归 6.5 逻辑回归 6.6 朴素贝叶斯 阶段案列：推荐系统(电商玩具) 6.7 随机森林 6.8 Adaboost 6.9 梯度提升树GBDT 6.10 极端梯度提升树Xgboost 6.11 支持向量机SVM 6.12 神经网络 阶段案例：Xgboost案例

------------------------------本节内容-----------------------------------------

python语言概述

在说python之前， 我们还是先来看看计算机软硬件的发展历史。

1 计算机硬件的发展历史

第一代计算机-电子管计算机（1946-1957）

无论如何，一项技术的突破必然伴随着其他行业的突破，简而言之，电子计算机的出现，前提必须有电子技术的进步，否则一切都是空谈！下面是我列举出计算机硬件的发展过程中， 一些比较重要的事件。

1906年， 美国的Lee De Forest 发明了电子管。在这之前造出数字电子计算机是不可能的。这为电子计算机的发 展奠定了基础。

1924年2月， 一个具有划时代意义的公司成立，IBM。

1935年， IBM推出IBM 601机。 这是一台能在一秒钟算出乘法的穿孔卡片计算机。这台机器无论在自然科学还是在商业意义上都具有重要的地位。大约造了1500台。

1937年， 英国剑桥大学的Alan M. Turing (1912-1954)出版了他的论文 ，并提出了被后人称之为"图灵机"的数学模型。

1937年， 美国贝尔试验室的George Stibitz展示了用继电器表示二进制的装置。尽管仅仅是个展示品，但却是世界上第一台二进制电子计算机。

1941年， Atanasoff和学生Berry完成了能解线性代数方程的计算机，取名叫"ABC"（Atanasoff-Berry Computer），用电容作存储器，用穿孔卡片作辅助存储器，那些孔实际上是"烧"上的。 时钟频率是60HZ，完成一次加法运算用时一秒。这就是ABC计算机。

1946年， 美国宾夕法尼亚大学，第一台通用电子计算机ENIAC (Electronic Numerical Integrator 和 Computer)诞生， 总工程师埃克特在当时年仅25岁。

这时的计算机的基本线路是采用电子管结构，程序从人工手编的 机器指令程序（0 1），过渡到符号语言（汇编），电子管计算机是计算工具革命性发展的开始，它所采用的进位制与程序存贮等基本技术思想，奠定了现代电子计算机技术基础。以冯·诺依曼为代表。

第二代计算机——晶体管计算机（时间1957~1964）

电子管时代的计算机尽管已经步入了现代计算机的范畴，但其体积之大、能耗之高、故障之多、价格之贵大大制约了它的普及应用。直到晶体管被发明出来，电子计算机才找到了腾飞的起点，一发而不可收……

20世纪50年代中期，晶体管的出现使计算机生产技术得到了根本性的发展，由晶体管代替电子管作为计算机的基础器件，用 磁芯或磁鼓作存储器，在整体性能上，比第一代计算机有了很大的提高。

第三代计算机——中小规模集成电路计算机（时间1964~1971）

20世纪60年代中期， 计算机发展历程随着半导体工艺的发展，成功制造了集成电路。中小规模集成电路成为计算机的主要部件，主存储器也渐渐过渡到 半导体存储器，使计算机的体积更小，大大降低了计算机计算时的功耗，由于减少了 焊点和 接插件，进一步提高了计算机的可靠性。

第四代计算机——大规模和超大规模集成电路计算机（时间1971~至今）

随着大规模集成电路的成功制作并用于计算机硬件生产过程，计算机的体积进一步缩小，性能进一步提高。集成更高的大容量半导体存储器作为内存储器，发展了并行技术和多机系统，出现了 精简指令集计算机（RISC），软件系统工程化、理论化，程序设计自动化。微型计算机在社会上的应用范围进一步扩大，几乎所有领域都能看到计算机的“身影”。

第五代计算机——泛指具有人工智能的计算机（至今~未来）

目前还没有明确地定义

2 简述计算机软件的发展历史

编程语言的发展

计算机软件系统的发展，也伴随着编程语言的发展。计算机程序设计语言的发展，经历了从机器语言、汇编语言到高级语言的历程。

机器语言：简单点说，机器本身也只认识0和1，电路无非就只有通和断两种状态，对应的二进制就是二进制的1和1。

汇编语言：汇编语言只是把一些特殊的二进制用特殊的符号表示，例如，机器要传送一个数据，假设“传送”这个指令对应的机器码是000101，则人们把000101用一个特殊符号，比如mov来表示，当人们要用这个指令时用mov就行，但是mov的本质还是000101，没有脱离硬件的范围，有可能这个指令不能在其他机器上用。

高级语言：高级语言完全脱离了硬件范畴，所有的语法更贴近人类的自然语言，人们只需要清楚高级语言的语法，写出程序就行了，剩下的交给编译器或者解释器去编译或者解释成机器语言就行了，看，这样就完全脱离了硬件的范畴，大大提高了程序的开发效率。接下来我们就来看看高级语言的发展，高级语言非常多，我们主要看看比较经典的几个。

高级语言的发展

B语言与Unix

20世纪60年代，贝尔实验室的研究员Ken Thompson（肯·汤普森）发明了B语言，并使用B编了个游戏 - Space Travel，他想玩自己这个游戏，所以他背着老板找到了台空闲的机器 - PDP-7，但是这台机器没有操作系统，于是Thompson着手为PDP-7开发操作系统，后来这个OS被命名为 - UNIX。

C语言

1971年，Ken Thompson（肯·汤普森）的同事D.M.Ritchie（DM里奇），也很想玩Space Travel，所以加入了Ken Thompson，合作开发UNIX，他的主要工作是改进Thompson的B语言。最终，在1972年这个新语言被称为C，取BCPL的第二个字母，也是B的下一个字母。

C语言和Unix

1973年，C主体完成。Ken Thompson和D.M.Ritchie迫不及待的开始用C语言完全重写了UNIX。此时编程的乐趣已经使他们完全忘记了那个“Space Travel”，一门心思的投入到了UNIX和C语言的开发中。自此，C语言和UNIX相辅相成的发展至今。

类C语言起源、历史

C++（C plus plus Programming Language） - 1983

还是贝尔实验室的人，Bjarne Stroustrup（本贾尼·斯特劳斯特卢普） 在C语言的基础上推出了C++，它扩充和完善了C语言，特别是在面向对象编程方面。一定程度上克服了C语言编写大型程序时的不足。

Python （Python Programming Language）--1991

1989年圣诞节期间，Guido van Rossum 在阿姆斯特丹，Guido van Rossum为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，做为ABC语言的一种继承。之所以选中Python（大蟒蛇的意思）作为该编程语言的名字，是因为他是一个叫Monty Python的喜剧团体的爱好者。第一个Python的版本发布于1991年。

Java（Java Programming Language） - 1995

Sun公司的Patrick Naughton的工作小组研发了Java语言，主要成员是James Gosling（詹姆斯·高斯林）

C（C Sharp Programming Language） - 2000

Microsoft公司的Anders Hejlsberg（安德斯·海尔斯伯格）发明了C，他也是Delphi语言之父。

当然现在还有一些新语言，比如2009年Google的go语言，以及麻省理工的julia等。

3 为什么是Python

Python有哪些优点

1 语法简单 漂亮：我们可以说Python是简约的语言，非常易于读写。在遇到问题时，我们可以把更多的注意力放在问题本身上，而不用花费太多精力在程序语言、语法上。

2 丰富而免费的库：Python社区创造了各种各样的Python库。在他们的帮助下，你可以管理文档，执行单元测试、数据库、web浏览器、电子邮件、密码学、图形用户界面和更多的东西。所有东西包括在标准库，然而，除了它，还有很多其他的库。

3 开源：Python是免费开源的。这意味着我们不用花钱，就可以共享、复制和交换它，这也帮助Python形成了丰富的社区资源，使其更加完善，技术发展更快。

4 Python既支持面向过程，也支持面向对象编程。在面向过程编程中，程序员复用代码，在面向对象编程中，使用基于数据和函数的对象。尽管面向对象的程序语言通常十分复杂，Python却设法保持简洁。

5 Python兼容众多平台，所以开发者不会遇到使用其他语言时常会遇到的困扰。

Python有哪些作用

Python是什么都能做，但是我们学的是数据分析，我们看看在数据分析领域Python能做什么。

数据采集：以Scrapy 为代表的各类方式的爬虫

数据链接：Python有大量各类数据库的第三方包，方便快速的实现增删改查

数据清洗：Numpy、Pandas，结构化和非结构化的数据清洗及数据规整化的利器

数据分析：Scikit-Learn、Scipy，统计分析，科学计算、建模等

数据可视化：Matplotlib、Seaborn等等大量各类可视化的库

所以说总结， 为什么数据科学选的是python， 最重要就是两个原因：

1 语法简单漂亮

2 大量丰富免费的第三方库

如何在Mac上安装xgboost

1. Mac OSX系统般自带python打终端输入python即写python代码所python环境已经具备

2.安装 Homebrew , 类似于ubuntuapt-getcentosyumOSX面非用软件安装工具

/usr/bin/ruby -e "$（curl -fsSL ）"

直接述代码粘贴至终端即安装（安装软件目于更新gcc版本官文档说新gcc版本才能使xgboost支持线程）

3.安装新版本gcc （gcc-6）

brew install gcc --without-multilib

步比较耗用近1

4.git载源码

cd进入想要安装目录输入面代码（我直接打终端目录）

git clone --recursive

数据挖掘需要哪些技能?

编程语言

数据挖掘和数据分析不一样，数据分析可以利用一些现成的分析工具完成，但是数据挖掘绝大部分要依赖于编程，在数据挖掘领域常用的编程语言有R、Python、C++、java等，R和python最受欢迎。

大数据处理框架

做数据挖掘不可避免的要接触大数据，目前常用的大数据框架就两个，Hadoop和Spark，Hadoop的原生开发语言是Java，资料多，Spark的原生开发语言是Scala，不过也有Python的API。

数据库知识

这个不用多说，既然是和数据打交道，数据库知识自然少不了，常见关系数据库和非关系数据库知识都要掌握，如果要处理大数量数据集，就得掌握关系型数据库知识，比如sql、oracle。

数据结构与算法

精通数据结构和算法对数据挖掘来说相当重要，在数据挖掘岗位面试中也是问的比较多的，数据结构包括数组，链表，堆栈，队列，树，哈希表，集合等，而常见的算法包括排序，搜索，动态编程，递归等。

机器学习/深度学习

机器学习是数据挖掘的最重要部分之一。 机器学习算法可建立样本数据的数学模型，来进行预测或决策， 深度学习是更广泛的机器学习方法系列中的一部分。这部分的学习主要分两块，一是掌握常见机器学习算法原理，二是应用这些算法并解决问题。

统计学知识

数据挖掘是一个交叉学科，不仅涉及编程和计算机科学，还涉及到多个科学领域，统计学就是不可获取的一部分，它可以帮我们更快的识别问题，区分因果关系和相关性。

关于数据挖掘需要哪些技能，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。