大数据逻辑奇迹常识_大数据分析逻辑

文章目录：

• 1、学习大数据需要哪些基本知识？
• 2、什么是大数据?大数据有哪些特点、意义和缺陷?
• 3、如何学习“大数据”方面的知识？
• 4、“揭秘”大数据的10个神话
• 5、学大数据需要什么基础知识和能力？
• 6、学习大数据分析要用到哪些知识？

学习大数据需要哪些基本知识？

1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。

2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapReduce架构。根据权威报告显示，许多企业都开始使用或者评估Hadoop技术来作为其大数据平台的标准。

3、我们生活的时代，相对稳定的数据库市场中还在出现一些新的技术，而且在未来几年，它们会发挥作用。事实上，NoSQL数据库在一个广义上派系基础上，其本身就包含了几种技术。

4、总体而言，他们关注关系型数据库引擎的限制，如索引、流媒体和高访问量的网站服务。在这些领域，相较关系型数据库引擎，NoSQL的效率明显更高。

5、在Gartner公司评选的2012年十大战略技术中，内存分析在个人消费电子设备以及其他嵌入式设备中的应用将会得到快速的发展。随着越来越多的价格低廉的内存用到数据中心中，如何利用这一优势对软件进行最大限度的优化成为关键的问题。

6、内存分析以其实时、高性能的特性，成为大数据分析时代下的“新宠儿”。如何让大数据转化为最佳的洞察力，也许内存分析就是答案。大数据背景下，用户以及IT提供商应该将其视为长远发展的技术趋势。

什么是大数据?大数据有哪些特点、意义和缺陷?

大数据（big data），是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据的特点：

1、容量（Volume）：数据的大小决定所考虑的数据的价值的和潜在的信息；

2、种类（Variety）：数据类型的多样性；

3、速度（Velocity）：指获得数据的速度；

4、可变性（Variability）：妨碍了处理和有效地管理数据的过程。

5、真实性（Veracity）：数据的质量

6、复杂性（Complexity）：数据量巨大，来源多渠道

大数据的意义：

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。

大数据的缺陷：

不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。” 这确实是需要警惕的。

如何学习“大数据”方面的知识？

总体思维

社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。

正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。

”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。

容错思维

在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。

舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。

也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。

相关思维

在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。

通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。

我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。

智能思维

不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。

但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。

众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。

“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。

“揭秘”大数据的10个神话

“揭秘”大数据的10个神话

也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马: 通过适当的训练和天赋的骑师，良种赛马可以创造马场记录–但没有训练和骑手，这个强大的动物根本连起跑门都进不了。

为了确保你组织的大数据计划保持正轨，你需要消除以下10种常见的误解。

1. 大数据就是‘很多数据’

大数据从其核心来讲，它描述了结构化或非结构化数据如何结合社交媒体分析，物联网的数据和其他外部来源，来讲述一个”更大的故事”。该故事可能是一个组织运营的宏观描述，或者是无法用传统的分析方法捕获的大局观。从情报收集的角度来看，其所涉及的数据的大小是微不足道的。

2.大数据必须非常干净

在商业分析的世界里，没有“太快”之类的东西。相反，在IT世界里，没有“进垃圾，出金子”这样的东西，你的数据有多干净?一种方法是运行你的分析应用程序，它可以识别数据集中的弱点。一旦这些弱点得到解决，再次运行分析以突出 “清理过的” 区域。

3.所有人类分析人员会被机器算法取代

数据科学家的建议并不总是被前线的业务经理们执行。行业高管Arijit Sengupta在 TechRepublic 的一篇文章中指出，这些建议往往比科学项目更难实施。然而，过分依赖机器学习算法也同样具有挑战性。Sengupta说，机器算法告诉你该怎么做，但它们没有解释你为什么要这么做。这使得很难将数据分析与公司战略规划的其余部分结合起来。

预测算法的范围从相对简单的线性算法到更复杂的基于树的算法，最后是极其复杂的神经网络。

4.数据湖是必须的

据丰田研究所数据科学家JimAdler说，巨量存储库，一些IT经理们设想用它来存储大量结构化和非结构化数据，根本就不存在。企业机构不会不加区分地将所有数据存放到一个共享池中。Adler说，这些数据是 “精心规划”的，存储于独立的部门数据库中，鼓励”专注的专业知识”。这是实现合规和其他治理要求所需的透明度和问责制的唯一途径。

5.算法是万无一失的预言家

不久前， 谷歌流感趋势项目 被大肆炒作，声称比美国疾病控制中心和其他健康信息服务机构更快、更准确地预测流感疫情的发生地。正如《纽约客》的Michele Nijhuis 在 2017年6月3日的文章 中所写的那样， 人们认为与流感有关词语的搜索会准确地预测疫情即将爆发的地区。事实上，简单地绘制本地温度是一个更准确的预测方法。

谷歌的流感预测算法陷入了一个常见的大数据陷阱——它产生了无意义的相关性，比如将高中篮球比赛和流感爆发联系起来，因为两者都发生在冬季。当数据挖掘在一组海量数据上运行时，它更可能发现具有统计意义而非实际意义的信息之间的关系。一个例子是将缅因州的离婚率与美国人均人造黄油的消费量挂钩：尽管没有任何现实意义，但这两个数字之间确实存在“统计上显著”的关系。

6.你不能在虚拟化基础架构上运行大数据应用

大约10年前，当”大数据”首次出现在人们眼前时，它就是Apache hadoop的代名词。就像VMware的Justin Murray在 2017年5月12日的文章 中所写的，大数据这一术语现在包括一系列技术，从NoSQL(MongoDB，Apache Cassandra)到Apache Spark。

此前，批评者们质疑Hadoop在虚拟机上的性能，但Murray指出，Hadoop在虚拟机上的性能与物理机相当，而且它能更有效地利用集群资源。Murray还炮轰了一种误解，即认为虚拟机的基本特性需要存储区域网络(SAN)。实际上，供应商们经常推荐直接连接存储，这提供了更好的性能和更低的成本。

7.机器学习是人工智能的同义词

一个识别大量数据中模式的算法和一个能够根据数据模式得出逻辑结论的方法之间的差距更像是一个鸿沟。ITProPortal 的Vineet Jain在 2017年5月26日的文章 中写道，机器学习使用统计解释来生成预测模型。这是算法背后的技术，它可以根据一个人过去的购买记录来预测他可能购买什么，或者根据他们的听歌历史来预测他们喜欢的音乐。

虽然这些算法很聪明，但它们远远不能达到人工智能的目的，即复制人类的决策过程。基于统计的预测缺乏人类的推理、判断和想象力。从这个意义上说，机器学习可能被认为是真正AI的必要先导。即使是迄今为止最复杂的AI 系统，比如 IBM沃森 ，也无法提供人类数据科学家所提供的大数据的洞察力。

8.大多数大数据项目至少实现了一半的目标

IT经理们知道没有数据分析项目是100%成功的。当这些项目涉及大数据时，成功率就会直线下降，NewVantagePartners最近的调查结果显示了这一点。在过去的五年中，95%的企业领导人表示，他们的公司参与了一个大数据项目，但只有48.4%的项目取得了”可衡量的结果”。

NewVantage Partners的大数据执行调查显示， 只有不到一半的大数据项目实现了目标，而 “文化”变化是最难实现的。

事实上，根据2016年10月发布的 Gartner的研究结果 ，大数据项目很少能跨过试验阶段。Gartner的调查发现，只有15%的大数据实现被部署到生产中，与去年调查报告的14%的成功率相对持平。

9.大数据的增长将减少对数据工程师的需求

如果你公司大数据计划的目标是尽量减少对数据科学家的需求，你可能会得到令人不快的惊喜。 2017 Robert Half 技术薪资指南 指出， 数据工程师的年薪平均跃升到13万美元和19.6万美元之间， 而数据科学家的薪资目前平均在11.6万美元和16.3万美元之间， 而商业情报分析员的薪资目前平均在11.8万美元到13.875万美元之间。

10.员工和一线经理将张开双臂拥抱大数据

NewVantagePartners的调查发现，85.5%的公司都致力于创造一个“数据驱动的文化”。然而，新的数据计划的整体成功率仅为37.1%。这些公司最常提到的三个障碍是缺乏组织一致性(42.6%)，缺乏中层管理人员的采纳和理解(41%)，以及业务阻力或缺乏理解(41%)。

未来可能属于大数据，但获得这一技术的好处需要大量的针对多样人性的辛勤工作。

学大数据需要什么基础知识和能力？

1.计算机基本理论知识

了解计算机的基本原理，计算机的发展历史等计算机的基本常识和理论。

参考用书

2.基本数据库操作知识

能够实现常见数据库的增加数据、删除数据、修改数据、查询数据能力。能熟练使用MySQL、Oracle，搭建MySQL、Oracle的开发环境。

参考书目

3.掌握算法与数据结构

具备一定的编程能力，有较好逻辑思维能力，能够熟练掌握JAVA，c，Python这三种语言中的任意一种，最好是Python。

参考图片

4.网络数据爬虫能力

掌握计算机网络的基本常识，能够编写简单的爬虫脚本，能够根据需要爬取网络数据。

推荐用书

5.结构化数据库操作能力

能够对结构化数据库进行基本操作，了解neo4j等数据库

推荐书目

6.数据分析及数据可视化能力

能够将数据绘制成生动形象的图表，能根据图表分析出数据的潜在价值或者数据的共同点，总结数据规律。

示例说明

总结:以上条件并不是一定要达到很高的标准，只要基本都熟悉，都有印象，能够简单运用即可。

学习大数据分析要用到哪些知识？

每一个大数据的爱好者应该心目中都有一个数据分析师的梦吧，我们都知道数据分析师是一个非常神秘的职位，看着一堆数据就能洞悉全局，很神奇吧，今天来给大家送福利了，想提高你的数据分析能力吗，看下文吧。

1.Excel是否精钻？

除了常用的Excel函数（sum、average、if、countifs、sumifs、offset、match、index等）之外，Excel图表（饼图、线图、柱形图、雷达图等）和简单分析技能也是经常用的，可以帮助你快速分析业务走势和异常情况；另外，Excel里面的函数结合透视表以及VBA功能是完善报表开发的利器，让你一键轻松搞定报表。

2.你需要更懂数据库

常用的数据库如MySQL，Sql Server、Oracle、DB2、MongoDB等；除去SQL语句的熟练使用，对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时，如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。

3.掌握数据整理、可视化和报表制作

数据整理，是将原始数据转换成方便实用的格式，实用工具有Excel、R、Python等工具。数据可视化，是创建和研究数据的视觉表现，方便业务方快速分析数据并定位具体问题，实用工具有Tableau、FineBI、Qlikview.

如果常用excel，那需要用PPT展示，这项技能也需要琢磨透。如果用tableau、FineBI之类的工具做数据可视化，FineBI有推送查看功能，也就是在企业上下建立一套系统，通过权限的分配让不同的人看到权限范围内的报表。

4.多学几项技能

大多数据分析师都是从计算机、数学、统计这些专业而来的，也就意味着数学知识是重要基础。尤其是统计学，更是数据分析师的基本功，从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。

现在社会心理学也逐渐囊括到数据分析师的能力体系中来了，尤其是从事互联网产品运营的同学，需要了解用户的行为动向，分析背后的动机。把握了整体方向后，数据分析的过程也就更容易。