浅谈大数据

浅谈大数据

课程： 通信工程专业研究方法论与创新教育

姓名：

学号：

班级： 老师： 时间： 2015年1月30日

交大没有笨学生，只有懒学生。

浅谈大数据

摘 要：大数据浪潮正在席卷全球，成为一种新的生产力。大数据技术不仅仅指获得海量数据，更重要的意义是通过对海量数据的分析、整合来获得隐藏在数据背后的有价值的信息。而大数据作为一种崭新的思维方式更将给我们的社会带来新的变革。

关键词：大数据，数据分析，大数据思维

Discussion on Big Data

Abstract: Big Data wave is sweeping the world, has become a new

productivity. Big Data technologies not only refers to obtain huge amounts of data, more important is through massive data analysis, data integration to get hidden behind valuable information. The big Data as a new way of thinking will bring more new changes in our society.

Keywords: Big Data, data analysis, Big Data thinking

1．大数据

最早提出“大数据”概念的是全球知名咨询公司麦肯锡，在其2011年的研究报告《大数据：下一个创新、竞争和生产率前沿》中首次提出“大数据”一词，认为：数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

对于大数据，至今并没有明确的定义。

研究机构Gartner认为：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

业界最普遍的定义——4个“V”也表明了大数据的特点有四个层面：第一，数据体量巨大（Volume），计量单位从TB级别上升到PB、EB、ZB、YB及以上级别；第二，数据类型繁多（Variety），包含的数据类型非常多，既包含网站记录、网络日志、图片信息，又包含动画、视频、地理位置等信息；第三，处理速度极快（Velocity），数据分析的速度快，一般在秒级时间范围内可以给出海量数据分析的结果，这一点和传统的数据挖掘技术有着本质的不同；第四，价值密度较低（Value），大数据的重点在于发现海量数据背后隐藏的有价值的信息。

2013年，IBM（国际商业机器公司）在白皮书《分析：大数据在现实世界中的应用》解析说明会上重新定义和完善大数据“4V”理论：数量（Volume）、多样性（Variety）、速度（Velocity）和真实性（Veracity）。IBM认为，尽管前3个V涵盖了大数据本身的关键属性，但真实性是当前企业亟需考虑的重要维度，因为只有真实而准确的数据，才能让管理和控制真正有意义。

“大数据”正在以我们可以感知的方式扑面而来，我们所处的世界，正在和已经跨入大数据时代。2012年，“大数据”一词越来越多地被提及，人们用来描述和定义信息爆炸时代产生的海量数据。进入2013年，大数据已不仅是一个时髦的概念和说法，研究者们开始试探着在实践中寻找大数据可能的落地点。2014年，“大数据”首次出现在国务院总理李克强的《政府工作报告》中，与新一代移动通信、集成电路、先进制造、新能源、新材料等一起，被列为未来引领中国产业发展的新兴产业。

“大数据”这一对信息爆炸时代的崭新描述，正在世界范围内得到越来越多地重视，大数据浪潮正在席卷全球。

2．数据来源

大数据是在人们长期对数据研究应用基础上，尤其是随着移动互联网、云计算、物联网等技术的深入应用产生海量数据的情况下应运而生的，是当今时代信息技术发展的必然产物。

大数据的主要来源如下：

（1）人类的日常生活。人们每时每刻都在与他人进行交流。大数据中的相当一部分来源于人类自身，人们每时每刻都在通过微信、微博、博客等进行交流，手机与平板电脑已经融入了各种各样的功能。由此全世界每一分钟产生视频、音频、图片、地理信息和通信记录等不仅是人们生活的一部分，同时也是大数据信息的一部分来源。

（2）信息系统及硬件系统本身。比如说，数据中心的运行日志、数据的冗余备份、各个系统的镜像文件等，这些数据真实地记录了系统运行时的轨迹，在测试调试及安全维护中具有重要的保存价值。

（3）如果说大数据离不开人类的日常生活，那么更离不开广袤的物理世界。如今，传感器及微处理器的广泛使用，产生了大量的数据，就一个720P(8Mbps)的摄像头而言，一个小时能产生3．6GB的数据，可想而知，在现代的都市，用来维护交通网络的摄像头就成千上万个，每月产生的数量将达到PB级。

以上三个方面的数据规模也在不断的发展和扩大，随着近些年来云计算、物联网的兴起，大数据正在不断增长。

3．数据分析

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据重视事物之间的关联性，其价值大小重在挖掘，必将颠覆诸多传统，具有筛选和预测功能，具体分析如下：

一是大数据重视事物之间的关联性。大数据有一个重要特点，就是先不讲“因果性”，非常重视“关联性”。如果发现了某种关联性，就可以加以利用。

二是大数据的价值大小重在挖掘。对于大数据，不仅要搜集它，更重要的是挖掘它。挖掘就是分析，目的是从中寻找关系、重点、规律，洞察其发展趋势。这为管理者提供了莫大的帮助。凭借大数据，管理者将可以大幅度提升各行各业管理水平、治理能力。

三是大数据必将颠覆诸多传统。以往，社会科学研究常用的“抽样调查”曾经被认为是社会文明得以建立的牢固基石，应用很广。其实，它只是在技术受到限制的特定时期，解决特定问题的一种无奈的方法。现在，已经可以收集到过去无法收集到的信息，所以“样本就等于全部”。而且这样做，比使用抽样调查方法得出的结论要准确的多。

四是大数据具有筛选和预测功能。所谓筛选，就是抓住重点。所谓预测，就是提前获

得有价值的信息。

“大数据”之“大”，并不仅仅在于“容量之大”，更大的意义在于通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来“大知识”“大科技”“大利润”和“大发展”。

4．大数据思维

大数据时代，数据不仅是一种技术、资源，更是一种思维方式和管理、治理路径。

作为信息时代又一次伟大的技术变革，大数据将如同互联网一样，使人类的生活及理解世界的方式发生颠覆性的改变。从国家治理，到企业决策，再至个人生活服务，大数据都将以其巨大能量影响着我们的生活、工作与思维。因此，研究者们认为：“大数据，正开启一次重大的时代转型。” 我们已经走在大数据的路上，身临这场伟大的变革，我们该如何应对？思路决定出路，基于大数据的相关理论与技术研究已成为学界的热点课题，其管理及应用也引起了政府部门、产业界和应用行业的高度关注。

在国家层面，应尽快将大数据提升为国家战略。一直处于世界经济发展及信息技术发展与应用前沿的美国，视大数据为“未来的新石油”，给发展大数据赋予了非同一般的战略意义。而中国要在大数据时代的全球竞争中胜出，必须把大数据从科技符号转变为文化符号，形成一种文化话语体系，在全社会倡导数据文化。收集数据、使用数据、开放数据，是大数据时代我们需要面对的挑战，建立数据大国、数据强国更应成为大数据时代我们所追寻的目标。

在企业层面，应积极布局大数据存储、处理及应用。面对海量数据，谁能更好地处理、

分析数据，谁就能真正抢得大数据时代的先机。对任何行业中的企业，拥有了相对全面的行业数据，就等于夺取了行业制高点。当前，我们的企业正处于全面转型升级的进程中，在新需求、新竞争格局的背景之下，大数据的应用正在改变着各行各业。大数据背后所隐藏的巨大价值，也引起了各行各业的高度重视。比较遗憾的是在我国企业界，目前只有很少的企业开始探索接受大数据，绝大多数的企业还未真正认识到大数据的价值或仅停留在概念层面，对于大数据的运用不知道从哪里着手。

“得大数据者得天下”是一些推崇大数据时代的变革者坚信不疑的判断，突显了“获取”数据的重要。然而，立身于大数据时代的我们，还应该更加专注于数据背后所潜在的价值，如何转化和激发它们的潜能，赋予这些数字新的生命，创造出更大的价值驾驭未来，这才是大数据时代的真正意义之所在。数量化思维，用数据而非感觉进行判断与决策，已成为众多国际企业的一种信条，应用量化思维进行科学管理也应成为中国及中国企业努力的方向。相信随着大数据的价值被进一步挖掘，定会为社会的发展注入更多的活力。

5．大数据应用

在企业方面，大数据可以促进销售与盈利。凭借自有的卫星信息系统进行商品管理的沃尔玛公司，发现在他们的卖场里，凡是购买婴儿尿布的顾客，很多都要买上几罐啤酒。这是为什么？暂时不知道。但是，掌握了这种关联性的卖场经理，就可以告诉上架员，要把灌装啤酒与婴儿尿布两种商品摆放在一起。这么做，果然提升了这两种商品的销售量

在教育方面，大数据能够发现学习软肋。美国已经利用大数据方法建立了富有个性的“高等教育教学支持系统”。其中有种“学习分析技术”，能够通过对与学生相关的海量数据分析，辨别出每个学生的学习行为和学习模式。这就便于在学习的初始阶段发现哪些学生面临学习困难，或者有辍学的危险，从而采取比较准确的帮扶措施，因势利导。教师能

够利用“户面版”记录自己学生的学习进程，进行实时的学习情况监控。

大数据对道路交通治理有重要的指导借鉴和推动作用。道路交通的人流、物流、车流量、高平峰通行等数据不断更新，驾驶人、车辆信息、道路交通等数据持续增长，海量的数据是科学决策治理的战略资源，对于提高管控措施的科学性和针对性，提升道路交通管理科学化水平，具有重大意义和价值，是未来道路交通治理的重要依据和科学保障。

随着大数据信息浪潮的到来，图书馆也迎来了读者的大服务时代，用户服务的内容从数据集成、管理向数据挖掘、分析与展现等方向全方位延伸。同时，图书馆业也面临着严峻的挑战与威胁。如何加强图书馆数据中心IT基础设施建设，提高数据的采集、挖掘、处理、整合、分析和决策能力，将数据资源高效转化为图书馆信息资产和生产力，已成为大数据时代图书馆业面临的重要问题。因此，图书馆必须树立以读者个性化服务质量和客户阅读满意度保障为中心的价值理念，以大数据应用和价值挖掘为中心，不断强化大数据管理平台的安全性、高效性、模块化和可扩展性建设。

参考文献：

[1]涂子沛．大数据．广西师范大学出版社．2012年7月

[2]维克托·迈尔-舍恩伯格 著．盛扬燕 周涛 译．大数据时代．浙江人民出版社．2013年1月1日

[3]熊怡．“大数据”点亮智慧未来

[4]王通讯．大数据呼啸而至：人才管理面临机遇与挑战

[5]金宗泽 冯亚丽 纪博 张希 高快．大数据分析中的关联挖掘．2014年

[6]张艳朋．大数据技术与道路交通治理．2014年

[7]马晓亭．大数据时代图书馆数据可用性：价值、挑战和保障