大数据报告

2020-03-03 22:57:35 来源：范文大全收藏下载本文

课程总结报告

学生姓名：尹怡学

号： 1370714 导

师：庞哈利专

业：控制工程所属课群：学位课

课程名称：前沿技术与职业发展课程负责人：徐林

课程开设日期： 2014.6.23-2014.12.31

东北大学信息科学与工程学院

2014年

科学技术创新对大数据发展的动力

1.绪论

随着信息技术的飞速发展，人类社会进入数字信息时代。获取和掌握信息的能力己成为衡量一个国家实力强弱的标志。一切信息伴随需求不同决定其效益不同，而一切有益信息都是从大量数据中分析出来的。海量数据又随时间持续产生、不断流动、进而扩散形成大数据。大数据不仅用来描述数据的量非常巨大，还突出强调处理数据的速度。所以，大数据成为数据分析领域的前沿技术。数据成为当今每个行业和商业领域的重要因素。人们对于数据的海量挖掘和大量运用，不仅标志着产业生产率的增长和消费者的大量盈余，而且也明确地提示着大数据时代已经到来。

数据正成为与物质资产和人力资本同样重要的基础生产要素，大数据的使成为提高企业竞争力的关键要素。数据成为资产、产业垂直整合、泛互联网化是数据时代的三大发展趋势。一个国家拥有的数据规模及运用的能力将成为综合国力的重要组成部分，对数据的占有权和控制权将成为陆权、海权、空权之外的国家核心权力。大数据与人类息息相关，越来越多的问题可以通过大数据解决。不仅在数据科学与技术层次，而且在商业模式、产业格局、生态价值与教育层面，大数据都能带来新理念和新思维，包括政府宏观部门、不同的产业界与学术界，甚至个人消费者。大数据与互联网一样，是信息技术领域的革命，更加速企业创新，在全球范围引领社会变革并启动透明政府的发展。

大数据正在引发一场思维革命，大数据正在改变人们考察世界的方式方法，以前所未有的速度引起社会、经济、学术、科研、国防、军事等领域的深刻变革。大数据除了将更好的解决商业问题，科技问题，还有各种社会问题，形成以人为本的大数据战略。大数据这一新概念不仅指数据规模庞大，也包括处理和应用数据，是数据对象、技术与应用三者的统一。大数据既可以是如政府部门或企业掌握的数据库这种有限数据集合，也可以是如微博、微信、社交网络上虚拟的无限数据集合。大数据技术包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。大数据应用是应用大数据技术对各种类型的大数据集合获得有价值信息的行为。充分实现大数据的价值惟有坚持对象、技术、应用三位一体同步发展。大数据是信息技术与各行业领域紧密融合的典型领域，有着旺盛需求和广阔前景。把握机遇需要不断跟踪研究大数据并不断提升对大数据的认知和理

解，坚持技术创新与应用创新协同共进同时加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于数据的应用需求和发展水平进入新的阶段。

在大数据时代数据作为一种独立存在的实体，其资产价值越来越突出，日益引起人们的重视。从具体的个人到形形色色的企业，从各国政府到各种组织都可以合法地去收集数据。不论个人还是企业，以及政府等都可以是数据的拥有者。今后个人隐私与数据归属权可能关系越来越少，欧洲民众要求政府公开信息的诉求极其强烈，民众有权向政府申请信息公开。除了涉及国家安全和个人隐私的公共信息外，大部分政府信息都可以公开。

大数据主要有三个方面对人类经济社会发展影响巨大，归纳起来：一是能够推动实现巨大经济效益，二是能够推动增强社会管理水平，三是能够推动提高安全保障能力。大数据在政府和公共服务领域的应用可有效推动政务工作开展，提高政府部门的服务效率、决策水平和社会管理水平，产生巨大社会价值。总而言之，大数据将为人们提供强有力的新工具，使人们能更加容易地把握事物规律，更准确地认识世界、预测未来和改造世界。

大数据可以分为大数据存储和大数据分析，大数据存储的目的是支撑大数据分析，大数据存储致力于研发数据存储平台，大数据分析关注在最短时间内处理大量不同类型的数据集，大数据分析相比于传统的数据仓库应用数据量大、查询分析复杂，大数据分析平台需要具备并行数据库、Map Reduce 及基于两者的混合架构。

2.社交网络崛起的大爆发

我们已经进入一个复杂科学领域，随着云计算、云存储、物联网、二维码技术和 LBS（基于位置的服务）的互联网技术广泛应用，人类的各种社会互动、沟通设备、社交网络和传感器正在生成海量数据。商业自动化导致海量数据存储，但用于决策的有效信息又隐藏在数据中，如何从数据中发现知识，以数据挖掘为代表的大数据分析技术应运而生。

1、社交网络的公共性

社交网络是大数据的重要来源，大数据的社会应用与社会价值就来自于社交网络，比如

国外影响巨大的 Facebook 和 Twitter，国内近年来风起云涌突然兴起的微博，特别是大家关注度非常高的新浪微博，这种网络交流平台具有媒介属性，日益成为影响不可忽视的的社会化媒体,每分每秒时时刻刻都在产生数以亿级形形色色

的话语文本。人具有与他人交流、分享、传播信息的天生需求，与他人直接交流互动和传播各种信息加大了人的社会交往，基于人际关系的信息传播创造了数量庞大的关系数据，扩大了大数据的社会价值与社会影响，带来商业上的无限想象力和各种企业的商业应用价值，大数据产生的技术背景离不开社交网络，移动互联网和物联网的发展导致大数据越来越大，具有随时收集、即时应用、及时生产的重要特点。

例如时装产业产生的大数据基本源自无处不在的社交媒体。全世界每天都有 10 亿人以上在社交网络上交流信息发表观点。每一刻都会有上百万人通过社交媒体点赞分享、转发微博、讨论时尚、引导潮流。大数据时代，越来越多的各大品牌知名设计师直接利用社交网络与公众交流，让大众直接参与到设计当中，根本改变了此前这一行业的封闭性，不再只对时尚界的所谓精英开放。越来越多的品牌比如巴宝莉选择在时装秀之前的通过官方微博账号发布了模特们在后台的照片，许多顶级设计师愿意在网上发布自己全新的设计，如奥斯卡・德拉伦塔在Instagram上通过微博发布了最新款式的高级女装成衣系列。顶级买家被流行博客写手取代，网络红人占据了时尚杂志主编的前排座椅，在社交媒体上拥有大批微博粉丝的摄影师对大众的时尚影响力远远超过传统的精英人群。

2、社交网络的价值性

在一定程度上，大数据的社会应用价值越来越多的来自新型的社交媒体，在这些影响巨

大的微媒体社会背景下，大数据参与渗透进入各种各样的商业应用领域，产生巨大的社会影响，微博营销开始成为商家的选择，已成为目前最显著的商业模式，是大数据最直接的商业应用。社会化媒体直接成为企业首选地营销工具，企业通过社会化媒体发布有效信息，直接影响和引导消费者的潮流，主动收集来自消费者的反馈信息，积极进行互动，成为利润来源的重要渠道。社交网络互动传播彻底改变传统大众媒体单向的传播方式，可以针对具体特定不同的各种目标群体，通过信息技术点对点直接传递不同的特定信息，影响舆论，改善声誉，建立美誉度，有助于形成购买决策。很多企业关注从海量采集的关系数据中提取发现真正有价值的商业信息，建立客户档案，实现精准营销，追踪目标客户，分析客户价值建立商业模型。

企业开始加强了解社会化媒体，其深刻认知和巨大投入将产生新的媒介形态并实现产品营销的新思路。社交大数据不仅仅对个别企业，而且对一些相关行业

都可以带来及其深刻的巨大变革。第一大数据有效改善传统的营销方式，与之相比利用有效精准的大数据营销，可以保持前期的大量曝光，中期的利益转化，到后期的实际购买，所有行为都是可提前预测并且随时监测的。效果可量化评估是采用大数据带来的前所未有的最实质性的根本影响；第二在社交这个环节，会产生越来越多的普通消费者在网络上通过各种社交媒体随时反馈自己在使用过程中对企业突出的产品以及建构的品牌形象发表看法，这个互动的过程会不断产生各种各样许多富有价值的有效信息，甚至还会包括发现一些潜在的意想不到的市场需求。对一个处在发展阶段的企业来说，这些有效信息不仅帮助他们可能采取措施调整原有传统产品，甚至引发并且催生新的不一样的商业模式。洞察消费者需求是大数据追求的核心价值；第三大数据可以变革某些具体行业，比如电影行业大数据可以根据实际数据能够预估票房，在金融行业可以进行前瞻预测提前作出调控措施，企业可以根据采集的大数据建立一些加上模型，预测消费者行为，进行数据分析。就连奥巴马为了赢得美国总统大选，他的团队就采集利用来自各种社交媒体产生的数据进行有效分析，做出民意评估，监测舆情，帮助连任，无疑发挥出来巨大的推动作用。

3、社交网络的应用性

社交媒体可以很短时间产生很大信息量，采取有效方法运用海量数据才是每个企业在市场面临的棘手问题。社会化媒体必须学会处理数据，具体步骤可以分为以下内容，首先进行收集，然后根据数据的不同类型导致具有不同用途，经过判断有些可以用于市场评估，反映市场效果，进一步了解市场，时时监测竞争对手，获得市场情报；还有一些可以通过信息技术采取自然语言处理，比如适当分类，有效聚类，快速获得消费者的需求以及人们对企业产品和所在行业的及时反馈和相关看法，利于企业做出判断，快速做出相应调整。例如电视广告价格很贵，媒体投放成本相对较高，一个企业的销售广告同时有 15 秒和 30 秒两个不同版本，但事先难以确定哪个版本更能吸引消费者，这时可以提前把视频传播至互联网，通过无处不在的社交媒体进行免费传播。应用大数据技术可以把采集消费者的信息，快速收集所有评价加以系统分析，找到有助于传播的元素，分析引起消费者反感的原因，快速提前测试有助决策，为广告主节省大量成本。通过大数据企业与用户间出现新的沟通方式，商业模式正在发生变化，在全世界社交媒体都引起市场变革，表现出企业日益关注消费者，用户重要性正在不断凸显。2012

年9月一家美国调研机构对市场营销人员进行调查，将近2/3的受访客户承认提高在广告营销领域采用数据管理平台的原因出于挖掘大数据的市场需求。

运用社交大数据，关键在于拥有数据。尽管用户数量不迅速增加，但预测用户行为，提出更精准的建议，仍然需要采集更大更多的数据量。如果数据处理能力没有提高，不能结合实际商业场景，就不会形成精细落地方案，既不可持续，也不可获利，导致社交大数据发展面临挑战。只有提高分布式计算、改善存储功能，加快实时计算的能力，才会实现价值。如果没有实际应用，大数据技术就不会产生实际意义。

大数据带来市场变革，挑战已有经验，颠覆已知模式，引领人类走向智能社会，数字化生存成为新的生活方式，社会化媒体随时记录人们的社会生活，感知行为态度、参与交往过程、建立互动关系，数据记录不仅保存而且可以分析，产生新的社会科学研究方法，拥有预知社会的可能性，在社会科学领域产生革命性变革和影响，大数据直接改变社会科学研究的模式和路径。

3.物联网发展的促进作用

随着物联网迅速发展，各种行业、不同地域以及各个领域的物体都被十分密切地关联起来。物联网通过形形色色的传感器将现实世界中产生的各种信息收集为电子数据，并把信号直接传递到计算机中心处理系统，必然造成数字信息膨胀，数据总量极速增长。 2.1、物联网形成产业链

物联信息不仅仅包括物联管理对象信息与物联感知设备信息，更突出物联实时信息。根据物联网数据的来源可以分成传感器感知数据和社交网络数据两种。虽然目前网络上产生的数据多于各种传感器感知到的数据总量，但是随着物联网设备的日益普及和感知技术的进步，传感器产生的数据量将大幅增加，最终将超过网络数据量，这种趋势越来越明显。

物联网改变了人们的社会活动形式，改善了人们的生活方式，变革了商业模式，被称为第三次信息化高潮，继计算机、互联网产生之后对社会的发展产生新的冲击。物联网把对象物和互联网相互连接起来，即时信息交换，智能化识别，实现定位跟踪，监控管理对象，产生大量数据，影响电力、安防、医疗、物流、交通、环保等行业形成新的商业模式。物联网联合大数据，正在迅速创造出巨大的社会价值和商业价值。

中国信息产业商会乐观预测，中国在 2013 年传感器设备将继续保持市场规模，表现快速增长势头，中国物联网 RFID 产业市场达到 320 亿元左右，规模将比 2012 年增长 35%左右。物联网伴随着移动互联网和云计算的迅猛崛起，物联网产业链上的各环节成本减少，相关产品价格迅速下降，进一步带来物联网硬件及其基础设施的大规模普及。同时，工信部联合财政部提供专项资金用以支持物联网发展,2013 年投入的专项资金将超 5 亿元。而在政策支持与市场反馈的协同发展推动下，业内人士大胆预测未来数年物联网会全面推广大规模普及，其产业规模或许比现有互联网大 30 倍。

物联网发展离不开基础建设，需要设备制造企业提供传感设备与网络核心设备，随着存储能力非常巨大的云计算中心的不断建设和投入使用，物联网持续产生的大数据可以随时存储，在线处理，产生价值，成为现实。企业需要思考物联网收集的大数据与其产业发展的融合与转换，将数据转化为利润，开辟市场蓝海，收获真金白银，发明新的商业模式，形成新的商业思维。 2.2物联网产生大数据

物联网大数据成为焦点，引起各大 IT 巨头越来越多的注意，其潜在的巨大价值也正在通过市场逐渐被挖掘出来。微软、IBM、SAP、谷歌等国际知名 IT 企业已经在全球分别部署了大量数据中心，还拿出大笔资金收购擅长数据管理和建构分析方面的优秀软件企业。这些物联网产生的大数据来自于不同种类的终端，比如智能电表、移动通信终端、汽车和各种工业机器等，影响生产生活的各个领域，各个层面，不可小觑。

物联网产业链的核心不是设备和元器件，而是数据以及数据驱动的产业，物联网的核心价值不在感知层和网络层，而是在更广泛的应用层。物联网产生的大数据经过智能化的处理、社会化的分析，将生成各种商业模式，产生各异的多种应用，形成了物联网最重要的商业价值。

处理物联网收集的大数据并不容易，物联网中的大数据不简单等同于互联网数据。物联网大数据不仅包括社交网络数据，更包括传感器感知数据，尽管社交网络数据包含大量可被处理的非结构化数据，比如新闻、微博等，但是物联网传感器收集的许多碎片化数据属于非结构化数据，在目前还不能被处理。

物联网应用于多个行业，而每个行业产生的数据有独特的结构特点，因此就形成很多相异的商业模式。物联网创造商业价值的基础是数据分析，物联网产业

将出现各种类型的数据处理公司，比如数据分析公司，软件应用集成公司和商业运营公司将逐步分化，产业链将逐步完善。

中国物联网刚刚进入应用阶段，刚刚起步，调查物联网产业最前沿的一线参与主体，可以发现主要包括 RFID 标签厂商、传感器厂商、电信运营商和一些系统集成商。目前各地已经建成的大量物联网系统已经开始进入市场，主要应用于远程测量、移动支付、环境监控等方面。另外主要分布在物品追溯系统和企业供应链管理等方面，应用较多的医疗健康、智能电网、汽车通信等服务也已开始出现，积极探索盈利，努力获得用户，占领高端市场。而在物联网应用的过程中，我们发现电信运营商起到主导作用，扮演起行业龙头，发挥带动的作用，另外中国电信表现突出，也开始宣传自己物联网应用系统用于全球远程监控。而电信运营商之所以分外努力推广应用物联网，不仅仅在于运营商可整合硬件、芯片、应用等各步骤中的许多优秀合作伙伴，在运营方面以外，还在于物联网广泛应用在电信终端，可以有效整合电信互联网产业链的推进。电信运营商的示范不仅积累实战经验，甚至可帮助电信运营商将业务在物联网中拓展为系统方案解决商，介入各种增值业务。 2.3物联网催化大商业

看待电信运营商，可以应用大数据的观点，物联网商业模式将更多的移动终端容纳进来，作为数据采集设备，加以信息化应用，适应市场需求，成为物联网跨界发展的趋势。这种数据如果能得到运营商快速化、规模化、跨领域的广泛应用，那么电信运营商可能获取的商业回报会进一步参与到物联网的各个建设环节中，并且还可能使越来越多的商业信息被运营商掌握。这些信息驱动企业合作，推动参与各方共同寻找一种多方共赢的路径，建立新型商业模式。实现应用物联网数据，特别需要升级商业模式，真正创造多方共赢的有利环境。而要建立多方共赢的理念，就应该推动物联网真正成为市场的中心，变成一种商业的驱动力，吸引产业链内的所有企业共同参与物联网发展建设。

现在大部分行业的商业信息移动化、社交化，大数据必然会成为最佳捷径，实现用户商业价值的。物联网大数据支撑商业开展，服务商业决策，提供各种行业信息，因此物联网大数据的未来是无限的，富有商业魅力。物联网大数据要获得产业健康有序发展，不能仅在概念上停留，还需要政策支持，市场完善以及产品持续的不断创新。而更为重要的方向是推动不同部门、不同机构、不同行业之间共享物联网大数据的问题。各部门公开数据、分享数据才能利用数据深层价值，

产生数据的附加价值。虽然目前交通、电力、工业等不同行业还没有合为一个物联网，但是共享不同行业的各种数据信息是可行的。而目前政府部门也开始意识到数据单一难以发挥最大效能，开始寻求数据交换伙伴，部门之间已经开始相互交换数据，必将成为一种发展趋势，而共享不同部门之间不同种类的数据信息有助于发挥物联网更大的价值。

在未来几十年，物联网大数据面临着战略性的时代发展机遇及挑战。物联网握手大数据，不仅延伸更为广泛的应用，更会产生出价值更大的产业链，所以，将物联网发展离不开大数据理念，而大数据的广泛应用进一步加快物联网的前进步伐，在互动发展全过程中，物联网能够促进并带动大数据发展。大数据的采集和感知技术的发展是紧密联系的，提升以传感器技术、RFID 技术、指纹识别技术、坐标定位技术等为基础的感知能力是物联网发展的基石。普及智能手机发展感知技术的高峰期，如广泛的应用地理位置信息、通过对手机呼气直接检测燃烧脂肪量、手机键内嵌指纹传感器、可以监测从空气污染到危险的化学药品的嗅觉传感器、可感知用户当前心情的智能手机技术及通过衣着进行识别人物的技术。还有实时监控口腔活动及饮食状况的牙齿传感器，可追踪眼球读懂情绪的 3D 笔记本摄像头，新型可监控用户心率的纺织材料，引入支付领域的生物测定技术等。世界被数据化的过程就是感知被逐渐捕获的过程，一旦世界被完全数据化了，信息就是世界的本质。

4.云计算提供的技术平台

大数据与云计算的关系密不可分，大数据必须采用分布式计算架构挖掘海量数据，必须依托云计算的分布式数据库、分布式处理、云存储和虚拟化技术。大数据包括大量非结构化和半结构化数据，下载这些数据到关系型数据库用于分析时会消耗大量时间和金钱，因为实时的大型数据集分析需要像MapReduce一样的框架来向许多台电脑分配工作。依靠宽带、物联网的大数据提供了解决办法，具有无数分散决策中心的云计算大系统能够产生接近整体最优的帕累托效应，无数分别思考的决策分中心通过互联网与物联网形成超级决策中心。互联网中多元动态、并行实时的大数据思维的出现促进重新定义知识的本质特性的认识。大数据时代企业的疆界变得模糊、网民和消费者的界限正在消弭、数据成为核心资产并将深刻影响企业的业务模式，甚至重构其文化和组织。因此大数据改善国家治理模式，影响企业决策、组织和业务流程，改变个人生活方式。如果利用大数据

贴近消费者、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸。

大数据是继云计算、物联网之后 IT 产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交信息、互联网世界中的人与人交互信息、物联网世界中的商品物流信息、位置信息等数量远远超越现有企业 IT 架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。大数据的核心议题和云计算必然的升级方向是盘活数据资产，使其为国家治理、企业决策乃至个人生活服务。

大数据和云计算这两个词经常被同时提到，很多人误以为大数据和云计算是同时诞生的、具有强绑定关系。其实这两者之间既有关联性，也有区别。云计算指的是一种以互联网方式来提供服务的计算模式，而大数据指的是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和关联形态上的颠覆性变化的总和。大数据处理会利用到云计算领域的很多技术，但大数据并非完全依赖于云计算；反过来，云计算之上也并非只有大数据这一种应用。

大数据出现具有深刻的原因。2009 年至 2012 年电子商务在全球全面发展，电子商务是第一个真正实现将纯互联网经济与传统经济融合，嫁接在一起发展的混合经济模式。正是互联网与传统经济的结合才催生出现在社会高度关注的大数据。大数据链接互联网产业与传统产业，而且大数据结合互联网应用于传统产业领域，范围超过纯互联网经济。在电子商务模式出现以前，传统企业的数据数量缓慢增长。传统企业的数据仓库大多数属于交易型数据，而交易行为处于用户消费决策的最后端，电子商务模式使得用户的搜索、浏览、比较等行为企业可以采集到，这就至少提升了企业的数据规模一个数量级。现在日益流行的移动互联网和物联网又必将使企业数据量提高两三个数量级。从这个角度来看，大数据时代必然出现，大有发展。

5.结论

大数据如同大爆炸一样强烈冲击着整个社会，无处不在的社交网络、移动物联产生难以想象的海量数据，已经成为描述整个宇宙一切信息的工具，普适计算、数据开放带领我们迈进穿越时空障碍的信息时代，云计算、大数据金融造就拥有更多权利的智慧地球，开放流动的大数据时代带来更加公平繁荣的大社会！大数据可以预测未来，提供帮助，但未知是永恒的，自由意志永远存在，

- 910 -