智能大数据分析篇1

关键词：大数据 智能 数据分析

中图分类号：F503 文献标识码：A 文章编号：1674-098X（2014）04（a）-0021-01

对于数据分析来说，其主要的目的就是通过对数据的分析去发现问题或预测趋势。从数据钻取、大规模分析的技术手段、以及算法执行上来说，大规模分析是和小规模数据在技术上是有很大差异的。想要探究大数据下的智能数据分析技术，首先要对数据分析这一概念进行深入研究。

1 数据分析

数据分析的过程其实简单的说就是做报告，做什么样的报告反映什么样的指标。最开始的时候基本上是data processing。例如零售行业来说，最主要的指标就是库存、销售同比增长情况、利润同比增长情况、促销率等等。对于不同的行业会有不同的相关的KPI需要跟踪，所以报告的内容也会有所侧重，但是只要你一个行业做久了，熟悉了套路之后，基本上就是以同样的方法开展。

对于数据分析，如果公司部门分的比较细的（例如可能有建模组），那么做数据分析可能永远都是做data processing了。对于模型的分析，需要你对业务有了深入的了解就可以建立一些模型出来（例如推荐模型）等等。

数据分析主要涉及的技能：

（1）数据库的能力。越全面越好，如果不是理工科的，最起码要会select那些简单的查询语句。

（2）EXCEL、PPT的能力。报告的呈现一般都是Excel+PPT的形式，最好VBA，这样就可以将很多人工的工作转化为自动化的能力，提高工作效率，领导也对你刮目相看，自己也有更多空余的时间准备其他方面的知识。

（3）市场分析能力。学会观察市场的走向和关注的内容，例如零售行业，现在大家都对CRM很热衷，那相关的分析方法和方式是怎么样的，你要自己去了解。从来不会有人手把手的将所有东西都告诉你，你必须自己学会去增长知识。

（4）一些会计的知识。因为通过以上分析，就是会计管理的一部分内容，最后还是公司盈利问题。有兴趣的也可以去看看战略管理方面的，对于做数据分析也很有好处的说。

综合来看，可以说数据分析=技术+市场+战略。

2 如何培养数据分析能力

理论：

基础的数据分析知识，至少知道如何做趋势分析、比较分析和细分，不然拿到一份数据就无从下手；

（2）基础的统计学知识，至少基础的统计量要认识，知道这些统计量的定义和适用条件，统计学方法可以让分析过程更加严谨，结论更有说服力；

（3）对数据的兴趣，以及其它的知识多多益善，让分析过程有趣起来。

实践：

（1）明确分析的目的。如果分析前没有明确分析的最终目标，很容易被数据绕进去，最终自己都不知道自己得出的结论到底是用来干嘛的；

（2）多结合业务去看数据。数据从业务运营中来，分析当然要回归到业务中去，多熟悉了解业务可以使数据看起来更加透彻；

（3）了解数据的定义和获取。最好从数据最初是怎么获取的开始了解，当然指标的统计逻辑和规则是必须熟记于心的，不然很容易就被数据给坑了；

（4）最后就是不断地看数据、分析数据，这是个必经的过程，往往一个工作经验丰富的非数据分析的运营人员要比刚进来不久的数据分析师对数据的了解要深入得多，就是这个原因。

3 大数据

大数据就是通过统计分析计算机收集的数据，在人们可能不知道“为什么”的前提下，了解到事物的状态、趋势、结果等“是什么”。

对于大数据，一直来说，数据规模导致的存储、运算等技术问题从来不是最重要的瓶颈。瓶颈只在于前端数据的收集途径，以及后端商业思想引领的模型和算法问题。早期的各类OLAP工具已经足够了，后来类似海杜普这样的研究则彻底降低了分布式数据的架构成本和门槛，就彻底将大数据带入了一个普及的领域。

从技术层面说，大数据和以前的数据时代的最大差异在于，以前是数据找应用/算法的过程（例如各大银行的大集中项目，以及数据建仓），而大数据时代的重要技术特征之一，是应用/算法去找数据的过程，因为数据规模变成了技术上最大的挑战。

大数据的特点：

（1）大数据不等同于数据大，我们处理问题是根据这个问题的所有数据而非样本数据，即样本就是总体；不是精确性而是混杂性；不是因果关系而是相关关系。

（2）大数据应用的几个可能：当文字变成数据，此时人可以用之阅读，机器可以用之分析；当方位变成数据，商业广告，疫情传染监控，雅安地震时的谷歌寻人；当沟通变成数据，就成了社交图谱。一切都可以量化，将世界看作可以理解的数据的海洋，为我们提供了一个从来未有过的审视现实的视角。

（3）数据创新的价值：数据的再利用。例如重组数据：随着大数据出现，数据的总和比部分更有价值，重组总和和本身价值也比单个总和更大；可扩展数据：在设计数据收集时就设计好了它的可扩展性，可以增加数据的潜在价值；数据的折旧值：数据会无用，需淘汰更新；数据废气：比如语音识别，当用户指出语音识别程序误解了他的意思，实际上就有效的训练了这个系统。

总之，大数据是因为对它的分析使用，才产生和体现它的价值，而不是因为其用到了突出的技术和算法才体现了它的价值。

4 大数据下的智能数据分析

在大数据的背景下，必须考虑数据之间的关联性。一个单独的数据是没有意义的，实际中，选择处在两个极端的数据往往更容易找出它们之间的联系，把它们放在一个框架中看才能发现问题。因此，可以用以下四种方法在大数据背景下进行智能数据分析：

（1）从解决问题的角度出发收集数据；

（2）把收集的数据整理好，放入一个框架内，并利用这个框架帮助决策者做出决定；

（3）评估决定与行动的效果，这将告诉我们框架是否合理；

（4）如果有新的数据出现，我们将考察能否利用它对前面三步做出改进，以及我们今天是否还需要收集更多种类的数据。

5 结语

数据分析的最终目的是帮助业务发现问题并解决问题，提升公司价值，而这些是从数据发觉的，而不是盲目下结论。每家公司都有自己业务生产的数据，通过数据分析、同比环比、漏斗分析及模型等，发现业务上存在的问题，帮助公司业务的优化。

参考文献

[1] 李贵兵，罗洪.大数据下的智能数据分析技术研究[J].科技资讯，2013（30）.

[2] 魏凯.大数据的技术挑战及发展趋势[J].信息通信技术，2013（6）.

智能大数据分析篇2

【关键词】 “互联网+” 大数据 “三角服务”模型 智能医疗服务系统

在人口快速老龄化、家庭规模日益小型化和机构养老发展不足等多重因素的影响下，发展社区养老逐渐成为一种必然选择。建立起基于“互联网+”和大数据分析的社区老人智能医疗服务系统，在市区大医院、社区医疗站以及社区老年人三者之间建立起信息网络，使社区老年人的健康问题得到更好的保障。

一、系统概述

现如今，大型医院普遍存在床位紧张、人员调配效果不佳、管理体系不健全等问题。建立社区老人智能医疗服务系统是完善现有医疗体系急需解决的主要问题，同时，随着物联网技术的不断发展，将互联网与大数据分析技术用于社区医疗服务系统，已成为该方面的一项新技术。

二、技术分析

根据上述分析，需要开发一套基于“互联网+”和大数据分析的社区老人智能医疗服务系统，此系统可以最优化利用资源，帮助老人方便、快捷的解决突发状况。为满足需求，该方案需要具备以下技术：1）概率统计。收集社区老人的体温、心率等生命体征数据。以河师大社区为例，运用概率统计技术采集社区老人的生命体征数据。2）大数据分析。分析老人生命体征数据。在信息协作平台上，利用大数据分析、数据挖掘和人工智能中不确定性推理技术，对采集到的老年人信息进行分析及推断。3）互联网技术。构建“三角服务”模型。运用互联网技术，构建一个以老人为中心，社区家庭、社区医疗站、市区医院三大子系统相互连接的“三角服务”模型，实现智能管理。

三、设计方案

1、总体流程。整个医疗服务系统可分为线上和线下两种服务方式。线上：系统按照固定方案进行老人身体数据采集；线下：社区医疗站会定期派专业人士到老人家里对其进行全方位检查以及相关医疗知识的普及。

2、数据采集与处理。首先利用智能手环采集社区部分老年人的身体数据，通过社区中建立的互联网网络把数据传输到手机APP以及信息协作平台上。分析老人生命体征数据。在信息协作平台上，利用大数据分析和不确定性推理技术，对采集到的老年人信息进行分析及推断。

3、“三角服务”模型。“互联网+”社区养老中最为核心的就是系统模型的构建，运用互联网技术，构建一个以老人为中心，社区家庭、社区医疗站、市区医院三大系统相互连接的“三角服务”模型（如图1所示）。

若采集到的老人的身体数据发生了变化，则会通过报警系统反馈到社区医疗站，社区医疗站则做出最快的反应，一方面，会到老人家中对老人进行急救，另一方面，会及时将老人的存档发送给医院，并联系医院进行一系列的急救措施，从而节约了救援时间。

4、构建智能医疗服务系统。开发社区老人智能医疗服务系统。即开发一个集智能医疗设备、智能医护终端设备和带有功能模块的智能医护平台为一体的服务系统。将采集到的老人身体数据存于专门的数据库中，在信息协作平台上将社区老人、社区医疗站和市区大医院三者建立成一个相互共享的网络，实现数据信息的共享。手机APP与信息协作平台相联系，能够通过移动设备查看网络平台的信息，市区大医院的医疗系统与社区医疗站的数据库相连接，从而便于实现信息的共享。

结语：本系统是基于“互联网+”和大数据分析的社区老人智能医疗服务系统，是物联网在医疗领域的应用，目的是为社区老人提供更便捷的医疗服务。将大数据分析技术与智能医疗服务系统相结合，在概率统计的基础上，将手机APP与信息协作平台相联系，通过移动设备查看网络平台的信息，便于实现信息的共享与交流，医疗服务更趋于智能化。

参 考 文 献

[1] 赵静. 基于物网发展的智能化社区医疗服务研究[D].燕山大学，2013.

[2]潘峰，宋峰. 互联网+社区养老：智能养老新思维[J]. 学习与实践，2015，09：99-105.

[3]王蔚，邵磊，杨青. 基于大数据体系下的城市住宅区养老模式研究[J]. 住区，2016，01：35-41.

[4] 曾小华. 基于移动网络的老年慢病院前救护系统的研究与设计[D].南方医科大学，2015.

智能大数据分析篇3

[关键词]Hadoop;大数据;分布式计算;HDFS;MapReduce

doi：10.3969/j.issn.1673 - 0194.2015.20.032

[中图分类号]TP308;TP311.13 [文献标识码]A [文章编号]1673-0194（2015）20-0041-01

1 大数据

大数据需要新处理模式才具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的核心是预测，它把数学算法应用到海量数据上来预测事件发生的可能性。大数据同时意味着思维的变革：①小数据分析的是随机样本，而大数据分析的是全体数据，全面展示样本无法表达的细节信息;②小数据分析追求精确性，而大数据分析具有混杂性，这意味着大数据的简单算法比采样数据的复杂算法更有效;③小数据分析关注因果关系，而大数据分析更关注相关关系，通过分析事物之间的关联性，来预测事件的发展趋势。

2 Hadoop大数据平台

Hadoop是Apache的开源分布式计算平台。受Google大数据论文的启发，Doug Cutting用JAVA实现了以MapReduce和HDFS为核心的Hadoop，并将源代码完全贡献出来。Hadoop充分发挥集群的计算和存储能力，快速完成海量数据的处理。Hadoop采用分布式存储来提高读写速度和扩大存储容量;采用MapReduce整合分布式文件系统上的数据，实现数据高速处理;采用存储冗余数据来保证数据的安全性。

2.1 HDFS

HDFS是基于流模式访问和处理超大文件的需求而开发的，它可以运行于廉价的商用服务器上，HDFS的主要特点有以下3个方面。①处理超大文件：在实际应用中，HDFS已经能够用来存储管理PB级的数据了。②流式访问数据：请求读取整个数据集要比读取一条记录更加高效。③运行于廉价的商用机器集群上：HDFS对硬件要求较低，无需昂贵的高可用性机器。

HDFS体系结构中有两类节点：NameNode和DataNode，NameNode负责管理集群中的执行调度，DataNode是具体任务的执行节点。当执行任务时，客户端访问NameNode获取文件数据信息，与DataNode进行交互以访问整个文件系统。HDFS向用户提供类似POSIX的文件接口，开发者在编程时无需考虑NameNode和DataNode的实现细节。

2.2 MapReduce

MapReduce是Google公司的核心计算模型。在Hadoop中，用于执行MapReduce任务的机器有两种角色：JobTracker和TaskTracker，一个Hadoop集群中只有一个JobTracker，用于任务管理和调度。一般来说，为了减轻网络传输的压力，数据存储在哪个节点上，就由哪个节点进行这部分数据的计算。JobTracker监控任务运行情况，当一个TaskTracker出现故障时，JobTracker会将其承担的任务转交到另一个空闲的TaskTracker重新运行。TaskTracker用于执行具体的工作。

3 大数据在智能电网中的应用构想

通过Hadoop大数据平台，技术人员可实时观察到全网范围内的电能流动状态、电能负载热区、设备故障高发区和客户集中区等数据，实现更加智能化的电网。具体包括以下4个方面。

3.1 电网数据可视化

在未来智能电网中，通过大数据分析融合调度、配电、输电、发电和用电客户数据，实现实时和非实时数据的高度信息化集成，通过实时可视化运算分析，全面展示完整和精细的电网运行状态图，为管理层提供辅助决策支持和依据。

3.2 电网负载趋势预测

在未来智能电网中，通过大数据分析电网负载的历史数据和实时数据，展示全网实时负载状态，预测电网负载变化趋势，通过现代化管理技术的综合应用，提高设备的使用效率，降低电能损耗，使电网运行更加经济和高效。

3.3 设备故障趋势预测

在未来智能电网中，通过大数据分析电网中部分故障设备的故障类型、历史状态和运行参数之间的相关性，预测电网故障发生的规律，评估电网运行风险，开展实时预警，提前做好设备巡检和消缺工作，为电网安全稳定运行保驾护航。

3.4 客户电力需求预测

在未来智能电网中，通过大数据分析电网客户的用电数据，预测区域用电和大客户用电需求变化趋势，针对客户需求提前制订高质量的服务计划，提升社会满意度。

4 结 语

Hadoop充分发挥集群的计算和存储能力，完成海量数据的实时处理。在未来的智能电网中，大数据分析可以应用到电网运行全景可视化、电网负载预测、设备故障趋势预测和客户需求趋势预测等需求，充分挖掘海量数据的价值，为智能电网提供技术参考。

主要参考文献

智能大数据分析篇4

分析是实现大数据价值的重要一环

作为全球大数据分析的领军企业，SAS一直在思考如何在大数据链条中将分析的作用发挥到最大化。SAS大中华区总裁吴辅世曾指出，“在过去的一年中，大数据得到前所未有的重视。它不仅扮演了商业变革引擎的角色，还是国家战略发展的推动力。不管是‘互联网+’还是‘中国制造2025’的全面推进，都需要大数据的全力支持。而分析是将海量数据从机遇转化为决策的关键一环”，“作为全球大数据分析的领军企业，我们一直在思考如何在大数据链条中将分析的作用发挥到最大化。SAS关注各种新兴技术为行业带来的活力，并与合作伙伴共同探索部署数据分析的新方式。我们相信，‘唯快不破’的道理同样适用于企业大数据实践。打破传统、勇于创新的探索者们将得到意想不到的丰厚回报。”

敏捷商业智能平台的领军者

在Forrester Research的《The Forrester WaveTM： 2015年第三季度敏捷商业智能平台――13个最重要的供应商及其排名》报告中， SAS公司被评为该领域全球领导者。Forrester Research 综合考虑现有产品、战略和市场表现三个方面，评选出了13个敏捷商业智能软件产品，其中包括SAS可视化分析（SAS Visual Analytics ）。Forrester从50多个敏捷商业智能供应商中选择了排名靠前的13个。

Forrester Research的研究报告指出，“作为高级分析领域的全球领导者，SAS提供了一个顶级的敏捷商业智能平台”，“SAS公司在其传统强项高级预测分析平台上，引入垂直行业和商业领域的特定高级分析程序，提供了强大的敏捷商业智能产品――可视化分析，该产品既可以作为本地授权软件使用，也可以通过云端服务使用”。

可视化分析提升业务洞察力

SAS可视化分析通过数据可视化为客户提供业务洞察力。其灵活的点选式用户界面，为用户提供了理想的自助服务环境。SAS执行副总裁兼首席营销官Jim Davis表示，“有了SAS可视化分析，企业用户可以在他们的办公桌上自行进行基础数据准备、数据挖掘、报告和分析，并通过移动设备分享观点”。

为企业和社会培养数据分析人才

智能大数据分析篇5

在中国，产生大数据的行业同样层出不穷。比如，与智慧城市相关的项目所产生的数据量，就达到了200PB。而如何将海量数据转化为城市治理的方法，则是“平安城市”建设过程中亟待破解的课题。

需求转变引发计算框架改变

平安城市是一个特大型的管理系统，综合性非常强。它的建设目标是满足治安管理、城市管理、交通管理、应急指挥等需求，往往还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求，并考虑报警、门禁等配套系统的集成以及与广播系统的联动。如何做到对海量视频数据的精准分析，正是平安城市的“大数据”痛点。

近年来数据量爆发式的增长已经将安防行业变成了典型的大数据行业。从“事后查看”到“事前预警”的需求变化，也为安防行业以视频为核心的应用带来了巨大挑战。海康威视副总裁、CTO 蒋海青告诉记者，在各类的平安城市建设项目中，依靠大数据分析技术，从海量视频图像中提取有效的安防信息，早已成为业界共识。而城市安全建设对大联网的要求，也让云计算、物联网这样的IT基础架构成为新型平安城市的首选。

对平安城市而言，其IT基础架构不仅要完成数据的采集、传输，更要支撑对海量视频数据的分析。计算平台是实现数据分析的核心，什么样的计算框架才是适合平安城市建设需求的呢？“在平安城市的安防项目中，视频数据有其特殊性，一方面，流量非常大，另一方面，对高清的要求也很高。一个高清视频的流量一般是8MB，数据则来自成千上万的摄像头，这些摄像头的信息又是24小时不间断传送的，数据就像长年累月不停流出来的水一样。如果采用全集中的计算框架，必然会存在很大风险，不仅数据传输容易出现瓶颈，还很容易导致灾难性的损失。而全分布式的计算框架也有问题，比如管理、运维会非常复杂，因为难以把专业的IT人员也分散到各个机房。所以，在计算框架上，我们所采用的其实是一种将二者相结合的计算框架，即区域性的、综合性的集中和概念上的分散，以便让我们的网络更有效地支撑其上的应用。”蒋海青表示，海康威视目前正在基于至强平台的Hadoop计算框架上进行研发，以期找到实现安防行业大数据分析的最佳方法。

大数据分析将属于开放平台

智能城市项目及物联网的发展，正在让大数据分析技术更广泛地为城市的智能交通监控、智能公共安全、气象和污染变化的智能监控及预测服务。蒋海青认为，目前虽然平安城市的IT基础架构的框架已经具备了实现大数据分析的能力，但在分析能力方面依旧存在短板。随着数据分析技术的演进，平安城市的应用才能丰满起来。

大数据分析的价值清晰可见，当前产业界以及行业用户对于加速大数据技术的发展和应用达成了共识，但相关技术的成熟不可能是一蹴而就的。英特尔认为，在相关IT基础设施与服务层、数据组织与管理层、数据分析与发现层、决策支持与IT服务层需要全面导入创新技术。特别是在堪称大数据应用“载体”的IT基础设施与服务层，采用基于开放架构的平台将是最佳选择。因为我们不断看到大数据飞速增长为更大的数据，IT基础架构的计算能力、存储能力和数据交换传输能力必须与这种成长速度相匹配，才能保证数据分析的实现。而实现这些能力的关键在于IT基础架构的可扩展性，特别是横向扩展的能力。能让其先天就具备强大、横向的可扩展性，并在实现这种扩展时拥有成本和性价比优势的，一定是基于开放架构的平台。

大数据处理任务对于开放架构平台的倚重，让英特尔在这一领域获得了越来越多合作伙伴与用户的关注。当前，英特尔正在倾力打造适用于大数据应用的“芯”，比如今年3月英特尔的至强E5系列，就是可为大数据应用中的分布式处理和高性能计算任务带来更优性能、能效、可扩展性和可管理性的计算平台。对于需要既有的关系型数据库和商业智能技术及应用来处理和分析的商业大数据，至强E7系列则可实现很好的支撑。针对大数据的分发和管理需求，英特尔还在与Hadoop合作，共推基于英特尔平台优化的Hadoop 产品和服务。

智能大数据分析篇6

关于技术，最常见的一个误解就是：新技术总是优于传统人工。考虑到过去人类职业被机器自动化所取代的次数，人们很容易就会得出这个结论。但是替代现象并不是线性的。有无数例子证明，新技术并不总能企及它所替代的人所提供的价值。

人们往往会太过盲目地运用自动化――让机器做只有人类才擅长的事，比如接电话、读取面部表情等任务。与此同时，在其它领域，我们却要求人类完成机器非常擅长的数据驱动型任务，例如决定如何更好地安排店铺库存。

多亏有了大数据分析，我们可以纠正这两方面的错误。大数据分析可添加到以人为主导的流程中，从而进行人机协作，而不是用一对一的交换形式取代人类。通过在流程中适时地添加更多数据，大数据分析可以减少决策对人类推测的依赖。

通过更加明智地运用自动化，大数据让机器和人协同做出关于流程和政策的决策，充分发挥各自的优势。

对于全球企业来说，这是一个巨大的优势，因为技术能够根据需求被添加和取代，从而以近乎完美的可靠性和连贯性来兑现企业所需的智能自动化。

尽管大量的大数据分析装置已在全球部署到位，但是它们大多远离公众视线，仅用于机密性、高价值的任务。2016年，这种情况将发生改变――大数据分析将出现在各种业务应用最醒目的位置。

以下是我们预测大数据将在2016年提供的五大关键业务优势：

劳动力优化

我们都对所要做的事，以及什么是正确、什么是错误有预感和“直觉”，但是没有数据做支撑的直觉很少能够做出理想的选择。当决策由数据驱动并辅以人类直觉做补充时，就会实现优化。

例如，运营车辆的司机往往依赖直觉和之前的经验决定行车路线。如果拥有车载信息和路线优化数据，人们就能大大提高其驾驶效率，并在必要的时候通过直觉解决问题。这种流程混合能让机器和人类发挥各自最大优势，为业务流程和客户体验带来最大价值。

通过更多数据驱动型决策支持来补充人类为主导的流程，大数据分析能够辅助和优化各项人为活动。

多渠道世界中的选择

人们对渠道有着强烈的偏好。例如有研究表明，80后、90后会倾向于选择通过他们的“原生”渠道――移动或社交媒体来获得所需的服务。

渠道多样化对于用户选择非常有利，但却为企业带来挑战，尤其是当他们没有技术保证每个渠道都拥有同样的客户体验时。例如，呼叫中心的座席使用决策支持工具来根据政策解决问题，但是如果系统数据和政策与其它渠道中的数据和政策并不相同，那么客户体验就会分崩离析。这容易导致用户不满和困惑――因为不同渠道可能产生不同的结果。

大数据分析可帮助企业免除渠道限制。如果你能够迅速、准确地分析大数据，那么每个渠道都可以利用相同的数据源和政策，从而确保所有渠道都能平等地运行。此外，大数据分析可支持无缝跨渠道流程，这意味着员工和客户在任何时候始终都能选择最便利的渠道。

流程编排和政策管理

在任何企业，政策和流程都是密不可分的。流程必须在企业制定的政策内执行，并且定期进行审查，以确保它们不会过时或妨碍业务。

通过技术来执行流程和政策时，过程中的问题就会在业务成果中显现出来。这是好事，因为当流程导致意想不到的结果时，出现的异常情况会准确告诉我们流程或政策的哪方面需要改进。例如，如果客户放弃了一个在线购物车，转而寻求客服或呼叫中心的帮助，那么这表明某些方面需要进行改进。大数据分析提供了追踪和分析这些相关性的方法，从而避免了它们可能会导致的问题。

除此之外，大数据分析将有助于降低业务流程运行的整体成本。例如，通过识别超出自动化流程处理能力的情况，大数据分析可帮助企业减少异常的开支。

自动个性化

过去，由人执行个性化任务是有意义的，因为机器往往不善于做出主观决策，即我们通常所说的“软”决策。其中包括非语言行为、面部表情和语调等人类交流中的暗示。

2016年，公司将取得进一步突破，让机器能够模拟“软”数据。通过吸收大量信息（包括过去收集和分析起来太慢、太贵的数据类型，如知识型员工的沟通与案例记录），大数据分析使其成为可能。由于机器变得更善于解析各种数据类型（所谓的“非结构化”数据）并把它们与大量结构化数据进行关联，机器可以开始改进并加快员工的业务流程和客户体验。

机器将开始模仿人类决策，而人类操作者可以对其进行监督和交付。这种大数据分析模拟可通过更强的技术手段以及增强机器与人之间联系而实现。

更强大的数据仪器

数据驱动型决策取决于数据的质量和数量，以及能否在合适的时候向合适的决策者提供见解。也就是说，要拓宽思维并更好地了解万物是如何互联的。要想从至今尚未被利用的数据源中收集情报，企业必须采用更精确的技术手段来分析人与机器的行为及其之间的交互。

对于人类而言，这意味着从我们在网上所做的一切活动中收集并分析点击流――从购物到工作中的订单录入。这也会涉及线下数据，例如：当我们订外卖或者开车时使用导航。对于机器来说，这意味着向大型固定设备（从喷气发动机到摄像头）添加更多传感器和测量仪，以便提供更丰富的数据集供人们发掘。在这两种情况下，更多的数据可能会导致对行动和行为更好的了解，并对政策和流程所产生多米诺效应。

当我们开始采集并利用这些数据时，我们将开始在大数据系统上添加另一个“感官”，从而使能带来下游创新的新智能类型成为可能。

制定大数据分析战略

当然，技术改进是一个渐进的过程。但是对于企业领导者来说，不能坐等采用大数据分析和先进自动化的完美机会。相反，企业应在整个公司层面积极寻求大数据与人为活动互补的机会。

找到位置，把人工智能嵌入人类和机器工作流程，发现能改进人机交互的领域――这样就能达成目标。要想获得成功，企业还应谨慎关注这些尝试带来的结果，避免一方面的改进掩盖其它方面的不良影响。

智能大数据分析篇7

关键词： 实验教学改革 经管类 大数据

实验教学是培养经管类专业学生实践能力的重要手段。经济管理类专业学生不仅要熟练地掌握理论知识，更要具备较强的实践能力，特别是大数据时代的到来，强调以数据为基础进行研究，并快速做出决策[1]，不仅对掌握大数据思维和技术的人才需求量扩大，而且对经管类专业人才培养提出了新的要求[2]，因此在大数据背景下应充分认识实验教学对经管类专业学生实践技能的重要性，科学全面地构建面向数据分析和管理的实验教学体系，以适应大数据背景下经管类专业人才的培养需求。

大数据扩宽了信息的来源，提高了信息获得的速度，分析对象从传统的结构化数据过渡到非结构化数据，因此对经管人才需要更全面地掌握大数据思维方式和分析流程。对工商管理、企业管理专业而言，需要其更注重利用多种类型的企业运作的数据，通过对其进行整理分析，帮助企业进行业务流程改革，提升企业运营效率，提高经济效益[3]。对于电子商务、市场营销专业而言，应学会利用大数据技术探索新商业模型，分析营销网络，评估投资风险及创新服务模式[4]。而对于和大数据技术紧密相关的信息管理专业来说，需要更全面地从数据采集、分析到数据挖掘多个方面转变传统的数据分析思维，以适应大数据环境下知识管理与智能决策的需要[5]。

1.实验目的不合理，实验设计不当。

目前，对于经管理类专业的大数据实验教学体系还处于基本概念阶段，与科研前沿脱节，实验目标大多只要学生掌握数据采集、统计分析等基本概念和方法，就学会对给定的数据进行分析。但是在大数据环境下，数据分析和挖掘需要针对结构化数据、非结构化数据等用创新性的思维方式解释分析结果，并用于智能辅助决策及知识发现。因此，大数据实验课程应与时俱进地适应大数据的要求，开展多样化、启发式的实验项目，不仅让学生掌握如何收集信息和整理信息，还要解释隐藏在数据背后的潜在规律。

2.实验教学方法和手段陈旧。

传统实验课是学生按照老师的要求和给定的数据，学习各种数据分析方法。实验内容设计单一，没有针对不同知识结构的学生开展有针对性的实验训练项目，学生学习积极性不高。因此，在大数据实验教学中，要以培养学生创新实践能力为主要目标，在教师的帮助下，通过团队协作、自主设计完成。同时，分层次制定针对不同知识结构背景的实验项目，便于学生根据自身的特长和能力自主选择实验项目。

由此可以看出，传统的实验教学已不能满足大数据背景下的经管类专业人才对数据分析和处理的新需求，在实验教学方式、实验教学内容等多方进行创新和改革，才能培养出顺应时代背景的优秀经管类人才。

在大数据背景下，经管类人才应该具备：发现问题的能力，收集整理数据和信息的能力及理解分析数据的能力。对此，我们从教学方式、课程体系、技能与经验三方面入手，开展实验教学改革，以适应大数据时代对于经管人才培养的要求。

3.创新实验教学方式。

大数据时代，书本和课堂不是获取信息的唯一选择，网络资源、各种移动端应用程序等方式都扩展了学生获取信息的方式，在这种情况下，实验教学不仅需要让学生掌握如何搜集、整理数据的技术，还要培养学生观察、分析问题的能力，从而真正调动学生的学习积极性。例如可以提供多种获取大样本数据的渠道，学生组队进行数据分析和挖掘，设计算法，进行相关分析直到最后撰写出分析报告，整个流程全部由学生独立完成。

4.完善大数据实验课程体系的构建。

对于经管类专业的学生而言，实验目的主要是让他们掌握数据分析的主要流程、主要算法的基本原理，具备大数据应用的初步能力。另外，考虑到不同专业的学生知识结构不同，我们构建多层次的经管类大数据实验课程、基础实验，以验证和演示实验为主，强调掌握数据分析工具和分析算法，理解数据分析基本流程。专业实验，以简单设计性实验为主，强调利用现有的数据分析工具，较完整地体验从数据采集、数据整理、数据分析到数据挖掘的全过程，并编写简单的数据分析代码。综合性实验，采用自助式、合作式模式，让学生自己动手收集数据，团队合作分析问题，在实验教师的指导下，综合运用各种数据分析工具，自主设计算法，进行相关分析，直到最后分析报告，初步具备大数据的应用能力。

5.培养专业技能和增加实践活动。

积极开展大数据应用相关的实践活动，提供多种形式让学生参与大数据的实践环节，在提高专业水平的同时，提高实践操作能力。合理利用现有慕课、微课等在在线课程作为实体课堂的有益补充，引导学生深入学习大数据技术。另外，积极联系软件企业提供各种实习途径和岗位，让学生真正参与与大数据的各种项目开发，强化课堂的理论知识，丰富实践经验，提高专业级技能，有效地提高学生的数据分析能力和数据挖掘能力。

大数据作为近年来的热点研究问题，已经广泛应用于经管类学科当中。经管类专业学生只有更好地掌握并懂得如何利用大数据，才能在大数据时代拥有更多的优势。因此，本文从教学方式、课程体系、技能与经验进行创新，提出切实可行的改革措施，以更好地培养经管类学生的数据分析的专业能力，适应大数据环境下知识管理与智能决策的需要。

参考文献：

[1]祝智庭，沈德梅.基于大数据的教育技术研究新范式[J].电化教育研究，2013（10）：5-13.

[2]朱怀庆.大数据时代对本科经管类统计学教学的影响及对策[J].高等教育研究，2014（9）：35-37.

[3]李永，刘玉红.大数据时代大学生学习模式转变研究[J].长春工业大学学报（高教研究版），2014，35（4）：38-41，100.

[4]邵举平，沈敏燕，樊星.大数据时代背景下地方高校研究生教育教学模式改革研究[J].《鲁东大学学报》，2015，32（4）：82-85.

[5]赵艳，韩丽萍，余娟.经管类专业实践教学考核方法改革途径[J].绥化学院学报，2014（6）：119-121.

智能大数据分析篇8

关键词 物联网；大数据；智能处理

中图分类号：TP3 文献标识码：A 文章编号：1671-7597（2013）17-0001-01

随着物联网产业的不断发展，为实现“物物相联”及“人物相联”，数以亿计的物联感知设备，如RFID、GPS、搜索引擎、浏览器等，嵌入到实体设备中采集数据。由于感知设备的不断增加，物联网采集的海量数据呈井喷式增长，广泛采用云计算等大数据处理技术，实现数据分析及信息传递、交换的不断优化，从而使得物联网产业在智能识别、定位、跟踪、监控、管理等领域的应用需求从概念化走向商业实质化。

1 大数据及其对物联网产业的意义

1.1 大数据概述

“大数据”，是指一个体量及数据类别特别大的数据集，大数据技术是指从各种各样类型的海量数据中，快速获得有价值信息的技术。目前所说的“大数据”不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。

从实质上来讲，大数据并不是简单解决数据大及复杂的问题，而是对海量数据进行分析，只有通过分析才能获取更多智能化、深层次、商业价值高的信息，才能最终为创业决策提供有价值的信息。例如在智能交通领域，新加坡的公共交通部门近十年来利用个人位置数据做交通需求的预测；荷兰的交通部门利用移动电话的定位功能预测汽车和行人的拥堵状况。

1.2 物联网背后的大数据价值

物联网通常包括感知层、网络层及应用层。感知层产生大量的数据，例如：Facebook每天评论32亿条、新上传照片近3亿张，每周新增数据容量超过60TB。应用层则是基于感知层的这些数据进行再加工，将感知层产生的海量数据通过智能化的处理、分析，挖掘用户的行为习惯和喜好，从凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，从而提供满足不同用户需求的商业应用，而这些应用正是物联网最核心的商业价值所在。简而言之，就是物联网产生大数据，大数据推动物联网。从这个意义上讲，物联网产业的核心就是，广泛运用大数据分析手段进行智能管理和优化运营。

从商业及产业发展的角度来看，物联网背后的大数据可以提供从商业支撑到商业决策的各种行业信息，具备了商业应用实质，可以加快物联网产业商业应用的进程。

2 大数据技术在物联网产业中的应用

目前，物联网产业主要分为4个部分：数据采集、传递、处理、应用。其中数据采集与传递属于基础环节，核心是数据处理与应用环节。我国物联网产业还处在初级阶段，一线厂商还主要以感知层数据采集为主，如RFID、传感器等设备厂商，以及传输层数据传递，如电信运营商等。大数据技术，通过数据可视化、数据挖掘、预测分析、语义引擎以及数据质量和数据管理等手段，有利于推动物联网产业在应用层方面数据智能处理及信息决策的商业应用，主要包括数据采集、数据存储、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现等技术。

2.1 数据采集

海量数据是智能决策的基础。物联网的大数据采集主要包括获取、选择及存储等过程。

大数据获取主要包括传感器、WEB2.0、条形码、RFID以及移动智能终端等技术。传感器技术主要是获取物理数据，WEB2.0是网络互动数据，条形码与RFID是物品基本信息，移动智能终端则是物理数据、社交数据、地理位置信息等综合性数据。例如：中国移动推进移动支付物联网产业时，利用RFID-SIM卡替代普通SIM卡，实现物品交易数据的获取与结算。

大数据选择主要是指数据的去噪及关键信息的提取。与一般的大数据相比，物联网的数据是异构的、多样性的、非结构和有噪声的，更大的不同是它的高增长率。物联网的数据有明显的颗粒性，其数据通常带有时间、位置、环境和行为等信息。如何去噪提取有效信息是智能处理的关键。HP公司基于香农信息论及贝叶斯概率论提出了Autonomy非结构化数据解决方案，实现音频、图片、电子邮件等异构数据的智能化信息理解。

2.2 数据存储

物联网背后的大数据进行分析和分类汇总，通常采用分布式计算集群来实现。对于传统的数据存储及实时分析，关系数据库基本上能满足应用需求，如EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。但是，对于物联网产生的海量异构数据，以谷歌为代表的IT企业提出了利用大规模廉价服务器以达到并行处理的非关系数据库解决方案，即MapReduce技术。非关系数据库的分布式存储技术，推动了物联网产业通常采用云存储、分布式文件系统等大数据基础架构，以及基于云计算的分布式数据处理方式。目前，IBM、微软、谷歌、阿里巴巴、腾讯等企业，都在推出各自基于分布式计算的云存储，解决非结构化数据的数据关联及基于此的数据分析及数据挖掘等问题。

2.3 数据分析

物联网后台海量数据的统计分析、数据挖掘、模型预测、结果呈现等都属于数据分析。物联网真正的商业价值基础在于数据分析，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。例如：在市场营销领域，Google通过免费软件及服务来更精确的理解用户行为和习惯，通过对用户的更精确理解来提供精确广告服务。

3 结束语

随着大数据技术在物联网产业中的不断应用，未来物联网产业必将出现体现不同商业价值的细分产业，既包括数据收集、数据分类、数据处理的原始数据处理企业，更囊括专门从事软件应用集成和商业运作的第三方企业，从而使得整个物联网产业链更加完善，更具用户体验性，也更具商业价值。

参考文献

[1]阮晓冬.物联网握手大数据[J].新经济导刊，2013（8）.

[2]窦万春，江澄.大数据应用的技术体系及潜在问题[J].中兴通讯技术，2013（7）.

[3]周开乐，丁帅，胡小建.面向海量数据应用的物联网信息服务系统研究综述[J].计算机应用研究，2012（1）.

作者简介