数据分析的方法精品(七篇)

序论：写作是一种深度的自我表达。它要求我们深入探索自己的思想和情感，挖掘那些隐藏在内心深处的真相，好投稿为您带来了七篇数据分析的方法范文，愿它们成为您写作过程中的灵感催化剂，助力您的创作。

篇(1)

企业数据分析的编写，核心在于对数据的科学分析。数据分析除了要以档案为基础，遵循“全面、真实、客观、有效”的原则外，关键是要掌握和应用科学的分析方法，使数据分析应尽可能做到深入、准确，从而使我们对数据背后所隐含的问题、原因、趋势和规律的认识能更接近于真理。

企业数据分析编写过程中，常用的分析方法有对比分析法、趋势分析法、结构分析法和综合分析法等。本文结合工作实际，对如何运用这四种基本分析方法谈点想法。

对比分析法

所谓对比分析法，是指将两个或两组以上的数据进行比较，分析它们的差异性，从而揭示这些数据所代表的事物的发展变化情况和规律性。对比分析法是比较研究的一种方法，在企业数据分析中的应用十分普遍。它的特点是，通过比较分析，可以非常直观地看出企业某方面工作的变化或差距，并且可以准确、量化地表示出这种变化或差距是多少。

在实际应用中，企业数据的对比分析，一般有以下几种具体情况：

一是将企业当年的数据与历年（去年或前几年）的数据进行对比分析，目的是为了搞清楚与去年或前几年相比，企业某一方面或某些方面的发展变化情况。比如，某公司2006年利润100万元，2007年利润115万元，年增长率为15%。通过这种对比，我们就可以公司利润的变化情况有一个更直观、更清楚的认识。当然，在许多时候，这种对比分析不会局限在某一个数据，而是一组数据。比如，在对企业当年的利润与去年利润进行对比分析的同时，还可以将产量、销售量、销售额、成本、税金、市场占有量、占有率等指标进行对比分析，从而更全面了解掌握企业的发展现状。

二是将本单位数据与同行业（外单位、同行业平均水平）的数据进行对比分析，目的是为了搞清楚与外单位、同行业平均水平，本单位某一方面或各方面的发展水平处于什么样的位置，明确哪些指标是领先的，哪些指标是落后的，进而找出下一步发展的方向和目标。比如，2005年，某发电厂供电煤耗为340克/千瓦时，当年全国火电行业平均煤耗指标为310克/千瓦时，该发电厂的实际煤耗指标比全国火电行业平均煤耗多了30克/千瓦时。通过这样的对比分析，我们可以看出，该发电厂在能耗方面存在着比较突出问题，如何节能降耗应该成为企业下一步重点关注的一个工作内容，也是提高企业经济效益的一条重要途径。

为了一目了然地看出数据对比的直观效果，对比分析一般可用柱式图表表示。

趋势分析法

所谓趋势分析法，是指通过对某一个或几个数据在一定阶段的变化情况进行分析，从而发现该数据所代表事物的发展趋势和规律，并可进一步分析形成这种趋势的原因，为企业领导决策提供依据和参考。趋势分析法实际上是一种历史研究的方法，在企业数据分析的编写中，主要用来表示企业某一方面或某些方面的工作在一定时期内的发展趋势和规律。其特点是对某一时期的某一数据进行持续性考察，进而得出趋势性的结论。

一般说来，对数据进行趋势分析的结果不外乎以下四种情况：

一是某项数据的变化呈逐年加大的趋势，称为上升趋势。比如某企业利润额：2001年为150万元、2002年173万元、2003年220万元、2004年360万元、2005年500万元。从对这组数据的分析中可以得出结论：该企业的利润呈逐年上升的趋势。

二是某项数据的变化呈逐年减小的趋势，称为下降趋势。例某企业产品的市场占有率：2001年为30%、2002年24%、2003年15%、2004年9%、2005年6%。从对这组数据的分析中可以得出结论：该企业产品的市场占有率呈逐年下降的趋势，说明该产品的市场竞争力正在下降，企业应该对该产品进行升级换代，或者开发生产新的产品。

三是某项数据或上升或下降，每年都有较大变化，称为震荡趋势。比如某企业的经营成本：2001年为50万元、2002年83万元、2003年61万元、2004年46万元、2005年103万元。从对这组数据的分析中可以得出结论：该企业每年的经营成本变化较大，呈震荡趋势，说明企业在控制经营成本方面还要进一步采取措施。

四是某项数据几年来基本不变，或变化很小，称为稳定趋势。例如某企业的人均产值：2001年为60万元、2002年63万元、2003年61万元、2004年62万元、2005年63万元。从对这组数据的分析中可以得出结论：该企业的人均产值每年变化不大，呈稳定趋势。

为了更形象地看出数据在一定时期内的变化轨迹，对数据的趋势分析一般可以用曲线图表表示。

结构分析法

所谓结构分析法，就是通过分析数据的构成情况，即分析构成某一数据的各子数据的情况和权重，从而揭示构成某一事物的各方面因素在其中的作用大小和变化情况。结构分析法也是常用的企业数据分析方法，通过这一分析方法，有利于我们发现和把握事物的主要矛盾和矛盾的主要方面，对企业而言，可以据此确定工作重点或经营的主攻方向。

在实际工作中，当我们需要对企业的某一数据作深入分析时，常常需要用到结构分析法。例如我们分析某供电局利润的结构情况：2007年，企业利润为1000万元，其中主业占80%、三产占20%。这就是结构分析的方法，从中我们就可以清楚地知道，主业和三产对企业利润的贡献比例。在这个基础上，我们还可以作进一步的分析，在200万元的三产利润中：火电建设公司占35%、电力设计院占30%、电缆厂占15%、电表厂占10%、电杆厂占5%、宾馆占5%。从而我们可以看出火电建设公司和电力设计院两家对三产利润的贡献率达到了65%，是发展三产的主力军。从供电局的角度而言，抓好三产工作，重点是要抓好火电建设公司和电力设计院的工作。

为了直观地反映某一数据的构成情况，结构分析法一般采用圆饼图表来表示分析的结果。

综合分析法

在编写企业数据分析时，往往不是单一地使用一种数据分析方法，为了使数据分析更透彻、更深入，更多时候我们都需要采用综合分析的方法。所谓综合分析法，就是将以上两种或两种以上的分析方法结合起来使用，从而多角度、多层次地分析揭示数据的变化、趋势和结构情况，以增加数据分析的深度。

综合分析法在具体应用中，有以下几种情况：

一是对比分析与趋势分析相结合的方法。就是通过对两个或两组以上的数据在一定阶段的变化情况进行比较分析，从而发现数据所代表事物的发展趋势、差别和关系，并可进一步分析原因，为企业领导决策提供依据和参考。比如，我们可以使用这一方法来分析一定阶段企业利润和成本的变化和相互关系。再如，我们将“十五”期间本企业的利润指标与其他企业的利润指标进行比较分析，所应用的也就是对比分析与趋势分析相结合的方法。

二是对比分析与结构分析相结合的方法。就是对两个或两组以上的数据的构成情况进行分析比较，从而可以看出构成这两个或两组以上的数据的各种因素的差异性，以此剖析产生这种差异的原因，并提出相应的对策措施。比如，2006年，A供电局利润500万元，B供电局利润700万元。如果只采取对比分析的方法，我们获得的结论就是：“B供电局利润比A供电局多200万元”。结合结构分析：A供电局利润500万元中，主业为450万元，三产为50万元；B供电局利润700万元中，主业为560万元，三产为140万元。由此看出，A、B供电局在主业利润差距并不大，差距主要在三产上。因此，发展三产应成为A供电局利润增长的主要着力点。

三是趋势分析与结构分析相结合的方法。就是通过对构成某一数据的子数据在一定阶段的变化情况进行分析，从而揭示构成某一事物的各方面因素在其中的作用大小和变化趋势。比如，我们分析某企业一定阶段销售额及各种产品销售额的构成和变化情况，就可以使用这一方法。这样的分析既可以了解销售额的变化趋势，也可以全面掌握各种产品在销售额中的权重比例和变化趋势，从而知道哪些产品需要扩大生产，哪些产品需要减产或停产，什么时候需要开发新的产品。

篇(2)

[关键词]财政收入；GDP；面板数据

中图分类号：F01 文献标识码：A 文章编号：1006-0278（2013）02-024-01

在计量经济学中，我们一般应用的最多的数据分析是截面数据回归分析和时间序列分析，但截面数据分析和时间序列分析都有着一定的局限性。在实际经济研究当中，截面数据回归分析会遗漏掉数据的时间序列特征，例如在分析某年中国各省的GDP增长数据时，单纯的截面数据回归分析无法找出各省GDP随时间变化的特征，使得分析结果没有深度。而如果只用时间序列分析，则会遗漏掉不同截面间的联系与区别，例如在分析中国单个省市的GDP随时间增长的数据时，无法找出各个省市之间经济增长的联系与区别，因而同样无法满足我们的需要。而面板数据，是一种既包括了时间序列数据，也包括了相关截面数据的复合数据，是近年来用得较多的一种数据类型。

下面我们将基于2000-2009年中国各省GDP和财政收入的面板数据的实例来详细阐述面板数据的分析方法。

一、GDP与财政收入关系的经济学模型

财政收入是保证国家有效运转的经济基础，在一国经济建设中发挥着重要作用。随着中国经济发展速度的日益加快，财政收入不断扩大，而扩大的财政收入又以政府支出来调节和推动国民经济发展。正确认识财政收入与经济增长之间的长期关系，把握财政收入与经济增长之间的相互影响，发挥财政收入对经济发展的调节和促进功能，对于完善财税政策，深化财税体制改革，实现财政与经济之间的良性互动，具有重要的现实意义。文章就将从中国各省的面板数据出发研究，中国不同地域间财政收入和GDP之间的关系。

二、实证分析

（一）单位根检验

Eviews有两种单位根检验方法，一种在相同根的假设下的检验，包括LLC、Breintung、Hadri。另一种则是在不同根下的假设前提下，包括IPS，ADF-Fisher和PP-Fisher5。检验结果表明所有检验都拒绝原假设，因此序列GDP和CZSR均为一个2阶单整序列。

（二）协整检验

如果基于单位根检验的结果发现变量之间是同阶单整的，那么我们可以进行协整检验。协整检验是考察变量间长期均衡关系的方法。所谓的协整是指若两个或多个非平稳的变量序列，其某个线性组合后的序列呈平稳性。此时我们称这些变量序列间有协整关系存在。

在最终的结果中，Pedroni方法中除了rho-Statistic、PP-Statistic项目外都拒绝GDP和CZSR不存在协整关系的原假设，同样Kao和Johansen检验方法也都拒绝原假设，因此，上述检验结果表明，我国各省2000-20009年的GDP和财政收入面板数据间存在着协整关系。既然通过了协整检验，说明变量之间存在着长期稳定的均衡关系，其方程回归残差是平稳的，因此可以在此基础上直接对进行回归分析，此时假设方程的回归结果是较精确的。

三、建立模型

混合模型：如果从时间上看，不同个体之间不存在显著性差异；从截面上看，不同截面之间也不存在显著性差异，那么就可以直接把面板数据混合在一起用普通最小二乘法（OLS）估计参数。

我们根据混合模型的回归结果，得到财政收入和GDP之间的回归方程为：

CZSR=227.3123+0.103224*GDP

（26.47637）（0.002839）

R2=0.810995 F=1321.587

显然从模型的回归结构来看，R2的值达到了0.81，有了比较好的回归解释力，同时，GDP的回归系数为0.103224，表明各省的财政收入平均占到了国民收入的10.3%左右。

变系数模型：显然，在中国各省之间由于处在不同的地区，因而拥有不同的区位优势，那么各省的发展水平显然就不一样。正是由于这种不同的地方政策、管理水平、文化差异等会导致经济变量间出现一些关联性的变化，此时在进行模型回归的时候，我们就有必要考虑变系数模型。

在回归结果中，R2的值达到了0.97，比混合模型拥有更好的回归解释力，而在变系数模型回归结果中，GDP的回归系数大于0.5的只有、青海、宁夏三个省份，也就是说这三个省份的财政收入占到了GDP的50%以上，他们同处于经济并不是很发达的西部地区，由此可以看出，处在经济发达地区的财政收入占GDP的比重要低，而不发达地区则要高。

四、结论

通过以上的分析检验，我们发现针对于中国财政收入和GDP的面板数据，我们应建立起变系数模型，并通过模型分析，我们可以得出这样的结论，中国各省间由于存在着地域经济发展水平不同、管理水平不同以及国家的相关政策等诸多不同，造成了各省之间在财政收入以及国民收入上面存在着一定的差异。而回归结果也告诉我们，我国西部地区的财政收入占GDP的比例要明显高于东部地区，地区发展落后地区的财政收入占GDP的比例也要明显高于东部地区。因此，这为我们改善我国落后地区的经济发展提供了一定的新思路，就是对一地区的税收征收可以适当放缓，而将GDP中以前政府占用的部分归还于民众和企业，因为，按照发达地区的经验表明，财政收入所占比重过高，经济发展的活力或者就不会很高，对于进一步刺激财政收入的增加也没有任何帮助。因此，我们应该适度降低财政收入占GDP的比重，从而增加经济活力，使西部地区以及落后地区及早的跟上东部发达地区的发展步伐，从而消除我国经济发展的地域不平衡。

参考文献：

[1]谢识予，朱洪鑫.高级计量经济学[M].复旦大学出版社，2005.

[2]张晓峒.Eviews使用指南（第二版）[M].南开大学出版社，2004.

篇(3)

关键词：大数据 大数据分析方法 情报研究 适用性

中图分类号： G250.2 文献标识码： A 文章编号： 1003-6938（2014）05-0013-07

Preliminary Study on the Big Data Analytics and Its Adaptability in Intelligence Studies

Abstract Big data analytics has brought new opportunities for data-oriented or information-oriented intelligence studies' development. Based on existing research， the author makes a review of three viewpoints of big data analytics based on data， process and information technology， and then summarizes five levels of analytics which including statistics， mining， discovery， predict and integrate， and its 17 kinds of relevant research methods. The adaptability of big data analytics in the intelligence studiesis discussed and it is found that 10 research methods can be directly transplanted to intelligence studies， 2 research methods should be adjusted for transplantation， 2 research methods are inapplicable， and 3 research methods needfurther study.

Key words big data; big data analytics; intelligence studies; adaptability

大数据分析（Big Data Analytics，BDA）是以“深度的发现分析、引领行动”作为目标的工作[1-2]，它包括由多个任务组成的高度重复执行的步骤[3-4]。BDA通常要集成多种分析技术与软件工具，以便让海量数据的处理及分析变得更加容易，从数据中提取有用信息并形成结论，用来验证、指导及规范组织或个人的决策行动;BDA的执行过程一般包括问题需求及假设提出、数据获取及记录、信息抽取及清洗、数据整合及表示、选择建模及分析方法、结果诠释、评测结果有效性及监控等几个阶段。从以上BDA的定义及过程来看，BDA与情报学领域中的情报研究（也称情报分析）在本质上是一致的，两者至少在方法与技术（以下简称方法）上可以相互借鉴或补充。本文基于情报学的视角，关注哪些BDA方法可以为情报研究提供借鉴，并解决情报研究的相关问题。因此，本文首先概略总结BDA的方法体系，然后探讨BDA方法在情报研究中的适用性。

1 大数据分析的方法分类

到目前为止，尚没有公认的BDA方法的分类体系，甚至对BDA包括哪些方法，也有不同的认识。本文首先综述现有的相关研究，并以此为基础提出我们的分类体系。

1.1 相关研究

不同学者对BDA方法的看法各有差异，概括起来，主要有三种分类体系，分别是面向数据视角的分类、面向流程视角的分类以及面向信息技术视角的分类。

（1）面向数据视角的BDA方法分类。这类研究主要是以BDA处理的对象“数据”作为分类依据，从数据的类型、数据量、数据能够解决的问题、处理数据的方式等角度对BDA方法进行分类。

Power[5]依据分析需求将数值型数据的分析方法划分为三类：①若是模式理解及对未来做出推论，可采取历史数据及定量工具进行“回顾性数据分析”;②若要进行前瞻及预测分析，可采取历史数据及仿真模型进行“预测性数据分析”;③若要触发事件，可采取实时数据及定量工具进行“规范性数据分析”。美国国家研究委员会在2013年公布的《海量数据分析前沿》研究报告中提出了七种基本统计数据分析方法[6]，包括：①基本统计（如一般统计及多维数分析等）;②N体问题（N-body Problems）（如最邻近算法、Kernel算法、PCA算法等）;③图论算法（Graph-Theoretic Algorithm）;④线性代数计算（Linear Algebraic Computations）;⑤优化算法（Optimizations）;⑥功能整合（如贝叶斯推理模型、Markov Chain Monte Carlo方法等）;⑦数据匹配（如隐马尔可夫模型等）。

针对非纯粹的数值型数据，Li、Han[7]梳理了面向“时空数据”（Spatiotemporal Data）的BDA方法，通过对动态数据挖掘出主体的预测性，如运用物理工程领域的傅立叶变换（Fourier Transform）及自相关匹配（Autocorrelation）侦查某一时间区段的信号、发生的事件或生物基因中的周期性节律，也可运用时间序列方法预测地点位置的变化;魏顺平[8]以教育领域为例，梳理了面向学生与学习环境的“学习分析方法”（Learning Analytics），此方法集成了内容分析、话语分析、社会网络分析、统计分析、数据挖掘等多种方法，从中挖掘学习的各种语义关系，并回答“谁在学、学什么、怎么学、学的结果如何”等问题，为教学与优化学习提供参考。

Mohanty等人[3]从数据获取（Data Ingestion）角度，依照处理的数据量从小至大的顺序，区分出八种分析方法：①流分析（Streaming Analytics），以预定模式及时处理数据流;②高速的数据采集（High Velocity Data Ingestion），不转换任何格式，可稍晚处理; ③链结分析（Linkage Analysis），构建不同数据源的关系与链接;④罕见事件侦查（Rare-Event Detection），从庞大数据集中寻找特定模式;⑤数据聚合（Data Mash-Ups），需要对数据属性发展故事线或链接关系进行分析;⑥文本分析（Text Analytics），如观点挖掘或社会网络分析等;⑦时间序列分析（Time-Series Analysis），通过模式侦测及事件发生概率来处理时空数据;⑧数据辩论（Data Forensic），用于数据科学家探索大规模数据集。

Chen等人[9]认为，在商业智能分析发展的过程中，商业智能分析经历了从处理结构化程度较高的数据、到处理网络上半结构化数据、再到处理移动数据的发展，涵盖了五类核心的分析方法：①数据分析，涉及数据仓储、ETL、联机分析及数据挖掘等分析技术，可应用在时间序列挖掘、网站挖掘、空间数据挖掘等;②文本分析，涉及信息检索、查询处理、相关反馈等分析技术，可应用在QA系统、观点挖掘、多语义分析、可视化分析等;③网站分析，涉及信息检索、网络爬虫、日志分析等分析技术，可应用在云计算、社会网络分析、网站可视化等;④网络分析，涉及信息计量、引用网络、数学网络模式等分析技术，可应用在链结分析、社区发现、社会影响力及扩散模式等;⑤移动分析，可应用在移动通讯服务、个性化分析、游戏营销分析等。

（2）面向流程视角的BDA方法分类。这类研究主要是依据BDA的步骤和阶段对BDA方法进行分类。

美国计算社区协会出版的《大数据的机会与挑战》白皮书指出BDA是一个多阶段任务循环执行过程[4]，从整体看，其分析的过程包括了五个阶段，每一个阶段都包含该阶段需要使用的方法：①数据获取及记录，从各种感知工具中获取的数据通常与空间时空相关，需要及时分析技术处理数据并过滤无用数据;②信息抽取及清洗，从异构数据源抽取有用信息，并转换为结构化的格式;③数据整合及表示，将数据结构与语义关系转换为机器可读取、自动解析的格式;④数据建模及分析，从数据中挖掘出潜在规律及知识，涉及可扩展的挖掘算法或知识发现等方法;⑤诠释，为了让用户容易解读分析结果，可视化分析技术变得十分重要。此外，严霄凤、张德馨[10]依照搜集、分析到可视化的流程，梳理了适用于大数据的关键技术，包括：遗传算法、神经网络、数据挖掘、回归分析、分类、聚类、关联规则、数据融合、机器学习、自然语言处理、情感分析、网络分析、空间分析、时间序列分析等多种方法。

（3）面向信息技术视角的BDA方法分类。这类研究强调大数据技术本身涉及到的新型信息技术，将大数据处理架构、大数据计算模式、大数据系统等作为BDA方法分类的依据。

孟小峰、慈祥[11]着眼于大数据处理框架，梳理了数据抽取与集成、数据分析及数据解释所使用的分析方法，在数据抽取与集成方面，可区分为基于物化（Materialization）或ETL的方法、基于联邦数据库或中间件的方法、基于数据流的方法以及基于搜索引擎的方法等四类;在数据分析方面，传统的数据挖掘、机器学习或统计分析面临数据规模、算法调整等困难，需进一步发展;在数据解释方面，引入可视化技术或交互式的数据分析过程，有助于用户理解分析结果。覃雄派等人[12]认为，非关系数据管理（如MapReduce）扩展了数据分析的多维视角，使数据分析的生态系统从“大量数据的移动”转向“直接对数据进行分析”。

2012～2013年在印度召开了两次BDA国际研讨会[13-14]，会上分别就BDA中的机器学习面临数据规模与多维度问题、可扩展的机器学习算法（如随机映射、随机梯度下降等）、机器学习在MapReduce的应用、社交媒体数据挖掘（如话题检测与跟踪、地点推理、语义连接等）、高维数据降维分析（如主成分分析、因子分析、经典相关分析等）、图像挖掘（如Main Memory Approach、Disk-Based Approaches、Database-Oriented Approach）及图像比对分析（如特征提取、Iterative Methods）等进行了探讨。2013年IEEE计算机协会在美国召开大数据国际研讨会，BDA结合MapReduce、Hadoop等模型的分析方法仍是主流，研究的内容包括了Map-Based Graph Analysis、Sketch-Based Load Balancing Algorithm、Large Scale Neural Networks等方法。

1.2 BDA方法的分类――面向层次的BDA方法框架

上述三种视角的BDA分类各有特点，都有一定的道理。从面向数据的视角来看，BDA方法正从统计（Statistics）转向挖掘（Mining），并提升到发现（Discovery）和预测（Prediction）。基于流程的BDA分类则更能反映BDA过程的集成性（Integration），也就是说，在完成一项分析任务时，需要综合使用多种方法。从面向信息技术的BDA分类中可以看出，这种分类方式强调使用新技术对传统数据处理方法进行改进和创新，同时更重视新型系统架构与分析方法的集成，例如，各种数据挖掘算法的MapReduce化，就是这方面的典型实例。

本文认为，如果综合上述三种分类体系中体现的层次性，将可以更准确描述BDA方法。在此，本文提出一个面向层次的BDA分类框架，将BDA方法分为统计、挖掘、发现、预测及集成五个层次，并初步归纳出17种BDA相关方法（见表1）。

2 BDA方法在情报研究中的适用性探讨

如前所述，BDA与情报研究在本质上有共同之处，BDA方法可为情报研究提供借鉴，因此，探讨BDA方法对情报研究的适用性就很有必要性。以下综合考虑方法本身的完善性及可操作性、情报研究的分析对象特征、方法的可移植性[15]等因素，对本文所列举的17种面向层次的BDA方法在情报研究中的适用性进行分析。

2.1 可直接移植的方法

可直接移植方法是指这些方法的原理、流程、算法等可以直接应用于情报研究，用来对情报研究的数据源（如科技文献、网络资源等）进行处理，解决情报研究过程中的一个或几个步骤中要解决的问题。在本文所列举的17种面向层次的BDA方法中，数据挖掘、文本挖掘、知识发现、观点挖掘、话题演化分析、多元统计分析、时间序列分析、海量数据的基本统计方法、高维数据降维分析方法、多源数据融合方法等10种方法均属于可直接移植方法，其中有些方法在情报研究中已经有多年的应用历史。

（1）数据挖掘与文本挖掘。数据挖掘与文本挖掘是不同概念，两种方法分别使用不同的发现技术，文本挖掘属于基于计算机语言学及统计方法的发现技术，用来揭示文本中的词与句法特征;数据挖掘以数据库中的大量结构化的数据挖掘为基础，用来揭示数据中潜在的、可能的数据模式及关联规律[16]。在情报学领域的实践应用中，数据挖掘多应用在图书馆自动化技术与服务方面，例如，馆藏采购决策、个性化服务、信息检索、读者管理、馆藏布局等。文本挖掘在情报研究的价值在于弥补了情报学专门分析方法对科技文献内在知识挖掘不足的缺欠，例如，祝清松、冷伏海[17]为了解决引文分析方法无法揭示论文的研究内容这个问题，提出引文内容分析，先建立基于规则的引文内容抽取来识别引用句，再通过基于C-value多词术语识别算法找出高被引论文主题，相比于引文分析，这种方法较能提供客观的语义信息与文献之间的语义关系。

（2）知识发现。情报研究中所说的知识发现，主要是指基于文献的知识发现，例如，张树良、冷伏海[18]在共词、共引、文本挖掘等方法基础上，提出了“基于文献的知识发现”，包括：基于相关文献、基于非相关文献及基于全文献三种条件下的知识发现，完整揭示文献的知识结构与演化情况。在网络环境下，李楠、张学福[19]认为关联数据的RDF数据模型、数据访问机制、URIs及自描述数据等规范所形成的数据共享环境，为知识发现提供了新的研究潜力，包括知识发现的范围被扩展成全球数据空间、高效率理解及处理数据间的语义关系等。简言之，知识发现从不同数据源之间的复杂关系中获得隐含的知识或规律，甚至可对未来进行预测。

（3）观点挖掘与话题演化分析。观点挖掘与话题演化分析两种方法实际上是数据挖掘及文本挖掘的具体及深化应用。观点挖掘主要有三种挖掘任务：情感分类、基于特征的观点挖掘、比较语句和关系挖掘[20]，例如，黄晓斌、赵超[21]通过对网络舆情信息的文本挖掘，找出不同民众对某一社会事件的情绪、态度及观点，再通过关联分析找出网络舆情信息的各种关联性。赵洁、温润[22]认为微博情感分析的关键是观点句识别，并根据文本特征的差异性，提出了基于新词扩充和特征选择的观点句识别方法，即先扩充情感词典来提高分词准确率，再结合微博特征进行句子选取。话题演化分析方法是近年文本挖掘的研究热点，借助不同的话题模型，包括基于LSI模型、基于pLSI模型、基于LDA模型等，获取文本中的一组词语，表示为某一话题的集合，再引入时间信息模拟该话题随着时间推移所表现的受关注程度及关注点的变化[23]。又例如，贺亮、李芳[24]利用LDA模型抽取科技文献中的话题（即主题词），再计算话题的强度与内容演化，从而区分热门与冷门话题及其历年特征词的演化趋势。

（4）多元统计分析与时间序列分析。多元统计分析与时间序列分析两种方法也是情报研究常见的定量分析方法[25]，前者研究客观事物中多个变量（或多个因素）之间相互依赖的统计规律，后者则是基于随机过程理论和数理统计学方法，研究动态数据序列的规律性。这两种分析方法的一个重要特点在于能基于历史数据的变化，评价事物现状或预测事物未来的发展。

（5）海量数据的基本统计分析方法。海量数据的七种基本统计分析方法适用于情报研究的原因是，专家们普遍认为，在现有硬件技术条件下要开发一个海量数据分析系统的难度过高，且高性能计算领域也面临许多困难，因而转向寻找共通的基础性计算方法来帮助运算[6]，同时这些统计方法也经常应用于数据挖掘或文本挖掘。对情报研究来说，处理的数据量不及高性能计算领域的海量数据，因此可以容易地应用这些基本统计分析方法。尽管如此，随着情报研究处理的文本量增加，包括文献计量或信息计量方法在内的定量分析方法，仍然要经常借鉴基础性的计算方法，并进行公式改进。

（6）高维数据降维分析方法。高维数据降维分析方法反映了海量的数值型数据在数据缩减的重要性，常见的降维（Dimensionality Reduction）方法包括主成分分析、因子分析、典型相关分析、独立成分分析、投影寻踪等[26]。高维数据经常存在大量的弱相关内容或噪音，通过线性（如主成分分析、典型相关分析等）或非线性（如投影寻踪、核方法等）映射可以将数据样本从高维空间映射到低维空间，从而提高机器学习的效率[27-28]。情报研究在处理文本语料时，广泛使用基于向量空间模型来表示文本，形成的高维特征集会对文本分类或机器学习的效果产生很大影响，通过特征选择（如特征频率、互信息等）进行特征抽取（如PCA、LSI、NMF等），转换成一个低维的特征集来提高训练效果，是非常必要的[29]。

（7）多源数据融合方法。多源数据融合方法是解决大数据环境下异构数据整合而提出的方法，例如，为了解决不同研究阶段产生的各类科学数据集成问题，白如江、冷伏海[30]认为解决关键在于中间件构建，例如，通过基于XML模型将异构数据源的元数据映射到全局视图，解决了不同数据源的关系描述问题，并提供用户可灵活订制查询规则;但基于XML模型只能提供语法层次的整合，为了提供数据在语义层次的整合，可通过基于语义模型对XML的对象进行分类，在对象模型的基础上生成逻辑规则，揭示隐含在科学数据中的语义信息。此外，也可以通过基于物化或ETL方法、基于数据流方法或其他方法对异构数据源中的数据抽取出实体与关系，再进行数据集成或数据清洗[11]。多源数据融合方法是进入数据分析之前的重要任务，对情报研究来说，需要多种来源支持情报分析工作，包括同型异源信息、异质异构信息、多语种信息等，都需要通过异源信息字段的映射、拆分、滤重、加权等进行融合分析[31]。

2.2 调整后移植的方法

调整后移植的方法是指其在原本的领域已经成功应用，但由于该方法最早或成功应用的领域在任务需求、数据处理、分析过程有自身的特点，若移植到情报研究时，需要根据情报研究自身的特征进行调整。数据可用处理及分析方法、时空数据分析等两种分析方法就属于这类情况。

（1）数据可用处理及分析方法。大数据环境中容易产生许多劣质数据来降低数据可用性，为了提高数据可用性及数据质量，李建中及刘显敏[32]梳理了数种数据可用性的相关方法，包括高质量数据获取与整合、数据错误自动检测与修复、弱可用数据处理与分析等，分别解决了大规模数据集预处理阶段常见的一致性、精确性、完整性、时效性及实体同一性等问题。对情报研究来说，情报素材、产品形式及工作任务分解的质量控制是情报工作的核心[33]，其中，情报素材的质量对后续的情报分析成败存在着至关重要的作用，当数据或信息是错误或不完整时，提炼出来的情报势必会存在缺陷或错误。过去对情报研究的质量控制取决于人，如果能引入数据可用处理及分析方法解决数据或信息源可能存在的不一致、不精确、遗漏、滞后或重复等问题，有助于提高情报分析素材的可用性与正确性。

（2）时空数据分析。时空数据分析是地球信息科学相关领域的研究热点，其中最常使用“周期”（Periodic Behavior）分析，例如天气预报、环境监控、地理信息系统、城市交通网络管理等都是常见的应用实例[7]。现有研究的多数做法是采取基于时间序列的方法进行周期建模，但建模过程容易出现对象可能没有周期、时间点分布不一定呈现周期性等问题，为了解决这些问题，王阅等人[34]提出基于ERP的周期检测方法解决周期长度定义问题，孟志青等人[35]提出多粒度时间文本下的周期模式挖掘算法解决时态文本数据挖掘问题。对情报研究来说，时间是文本中一个重要的属性，如文献发表规律、舆情监控、科研人员的研究主题周期等。在原有数据基础上增加时间维度进行长时段分析是多数研究的常见做法，但并没有呈现出其中的周期性规律，特别是文本中的规律特征较难发现，如果能引入此类方法，将有助于找出情报演化的周期模式。

2.3 不适用的方法

考虑学科领域差异，本文认为 “翻译生物信息学分析”及“学习分析方法”两种专门研究方法不适合情报研究。

（1）翻译生物信息学分析。翻译生物信息学分析是生物信息学的专门分析方法，这种方法是依据特定目的整合多数据源及促进领域知识的有效利用，其结果可应用在生物医学研究、产生支持医疗人员在治疗点中的“可操作的决策”（Actionable Decision），同时能对人类与疾病的关联关系提供更好的理解。生物信息学为了找出更多基因与疾病的关系，通过翻译生物信息学分析，可以将分析方法与工具开发从系统层面横跨到分子、个人或全人类层面，分析视角从单一基因或多肽（Polymorphic）挖掘的研究转向新基因或遗传性状组合与预测研究[36]。从分析方法的操作过程来说，考虑到数据源的特殊性（如DNA编码数据、蛋白质结构等）、分析视角、工具构建及使用等因素，并不符合情报学的学科研究特色。

（2）学习分析方法。学习分析方法是搜集、分析及评测学习者及其学习语境的分析方法，目的在于理解与优化学习及其学习环境[8]。从UNESCO IITE机构在2012年11月出版的学习分析方法政策简报可知，学习分析方法的数据分析功能是基于数据挖掘从而开展相关分析内容，包括行为分析、学习资源浏览分析、各种关联分析与影响因素分析等。虽然数据挖掘是情报研究的常见方法，但学习分析方法的结果意义在于解释学习者的学习语境，为教师或管理者提供决策支持，从而改善学习者的学习习惯及促进学习效果。由于这种方法有其特定的含义和应用环境，离开了学习语境，方法的内涵和外延可能就会产生变化，因此，难以移植到情报研究。

2.4 需要继续关注的方法

基于MapReduce或Hadoop的衍生分析方法、图模型分析与挖掘以及商务智能分析，是近年研究探讨较多的方法，但目前尚未形成一个成熟且完善的方法体系，例如，MapReduce或Hadoop等之类的工具还在持续发展中，本身也存在不断的改进空间，它们与各种分析方法的集成缺乏公认的标准和规范，同样地，对于关注图像与事物之间关联的图模型分析与挖掘也尚没有发展出固定的技术，又例如，商务智能分析被定义为由数据仓库、ETL、联机分析、数据挖掘、客户关系管理、知识管理等多种技术融合的一组系统，通过BI系统管理组织内部及个人相关的商业数据、专家信息及知识，涉及数据的融合、取用及分析等方法与工具[37-38]，目前也没有标准化的体系架构。

因此，本文还无法明确回答上述三种方法将如何应用于情报研究、在应用过程中需要做哪些调整、这些方法与现有的情报研究方法的关系如何等相关问题，但可以肯定的是，这些方法对未来的情报研究具有借鉴价值，例如，一旦情报研究的处理对象（即数据）积累到了一定程度，成为传统关系数据库处理不了的大数据，那么，使用基于MapReduce或Hadoop的衍生分析方法就成为了必然。又如，图模型分析与挖掘可补充情报研究在图像分析的不足，而商务智能分析可理解为一套集成系统，可应用在情报机构的知识库或机构典藏，找出组织的知识缺口等方面。

3 结语

大数据时代就是一个数据分析的时代，学界和业界提出了很多大数据分析的方法与技术，这些方法与技术对情报研究产生了积极的借鉴作用，本文总结了大数据分析的方法，提出面向层次的BDA方法框架，归纳总结了其中的17种BDA方法，并从可直接移植、将调整后移植、不适用于情报研究以及需要继续关注等四个方面对这些方法在情报研究中的适用性进行了分析，以期为情报研究借鉴或移植BDA相关方法提供参考，促进情报研究的理论与实践发展。

参考文献：

[1]Lavalle S， Lesser E， Shockley R， et al. Big Data， Analytics and the Path From Insights to Value[J].MIT Sloan Management Review，2011，52（2）：21-32.

[2]Russom P. BIG DATA ANALYTICS[R].The Data Warehousing Institute，2011.

[3]Mohanty S， Jagadeesh M， Srivatsa H. Big Data Imperatives - Enterprise Big Data Warehouse， BI Implementations and Analytics[M]. New York： Apress， 2013.

[4]Computing community consortium. Challenges and Opportunities with Big Data[R]. Washington， DC：Computing Research Association，2012.

[5]Power D J. Using "Big Data" for analytics and decision support[J].Journal of Decision Systems，2014，23（2）： 222-228.

[6]Nationalresearchcouncil.Frontiers in Massive Data Analysis[R].Washington，DC：The National Academies Press， 2013.

[7]Li Z H， Han J W. Mining Periodicity from Dynamic and Incomplete Spatiotemporal Data[A]. Chu W W，Data Mining and Knowledge Discovery for Big Data[M].Germany：Springer Berlin Heidelberg， 2014：41-81.

[8]魏顺平. 学习分析技术：挖掘大数据时代下教育数据的价值[J]. 现代教育技术，2013， 23（2）： 5-11.

[9]Chen H C， Chiang R H L， Storey V C. Business Intelligence and Analytics： From Big Data to Big Impact[J]. MIS Quarterly，2012， 36（4）： 1165-1188.

[10]严霄凤，张德馨. 大数据研究[J].计算机技术与发展， 2013， 23（4）： 168-172.

[11]孟小峰，慈祥. 大数据管理：概念、技术与挑战[J]. 计算机研究与发展，2013， 50（1）： 146-169.

[12]覃雄派，王会举，杜小勇，等. 大数据分析――RDBMS与MapReduce的竞争与共生[J].软件学报，2012， 23（1）： 32-45.

[13]Sengamedu S. Scalable Analytics-Algorithms and Systems[A].Srinivasa S， Bhatnagar V.Big Data Analytics[M].India：Springer Berlin Heidelberg， 2012：1-7.

[14]Mehta S， Subramaniam L V. Tutorial ： Social Media Analytics[M].Bhatnagar V， Srinivasa S.Big Data Analytics[M].India：Springer International Publishing， 2013：1-21.

[15]王炼，武夷山. 方法移植对科学计量学研究的方法论启示[J]. 科学学研究，2006， 24（4）： 503-507.

[16]Kroeze J H， Matthee M C， Bothma T J D. Differentiating Data-and Text-Mining Terminology： The 2003 annual research conference of the South African institute of computer scientists and information technologists on Enablement through technology[Z]. South Africa：2003：93-101.

[17]祝清松，冷伏海. 基于引文内容分析的高被引论文主题识别研究[J]. 中国图书馆学报，2014，（1）：39-49.

[18]张树良，冷伏海. 基于文献的知识发现的应用进展研究[J]. 情报学报，2006， 25（6）： 700-712.

[19]李楠，张学福. 基于关联数据的知识发现应用体系研究[J]. 图书情报工作，2013，（6）：127-133.

[20]王辉，王晖昱，左万利. 观点挖掘综述[J]. 计算机应用研究，2009，26（1）：25-29.

[21]黄晓斌，赵超. 文本挖掘在网络舆情信息分析中的应用[J]. 情报科学，2009：（1）： 94-99.

[22]赵洁，温润. 基于新词扩充和特征选择的微博观点句识别方法[J]. 情报学报，2013，32（9）： 945-951.

[23]单斌，李芳.基于LDA话题演化研究方法综述[J]. 中文信息学报，2010， 24（6）： 43-49.

[24]贺亮，李芳. 科技文献话题演化研究[J]. 现代图书情报技术，2012，（4）： 61-67.

[25]查先进.信息分析[M].武汉：武汉大学出版社，2011.

[26]Lakshminarayan C. High Dimensional Big Data and Pattern Analysis： A Tutorial[A].Bhatnagar V， Srinivasa S.Big Data Analytics[M].India：Springer International Publishing， 2013： 8302， 68-85.

[27]胡洁. 高维数据特征降维研究综述[J]. 计算机应用研究，2008，（9）： 2601-2606.

[28]吴晓婷，闫德勤. 数据降维方法分析与研究[J]. 计算机应用研究，2009，（8）：2832-2835.

[29]陈涛，谢阳群. 文本分类中的特征降维方法综述[J]. 情报学报，2005，24（6）： 690-695.

[30]白如江，冷伏海. “大数据”时代科学数据整合研究[J]. 情报理论与实践，2014， 37（1）： 94-99.

[31]化柏林. 多源信息融合方法研究[J]. 情报理论与实践，2013，（11）： 16-19.

[32]李建中，刘显敏. 大数据的一个重要方面：数据可用性[J].计算机研究与发展，2013，50（6）：1147-1162.

[33]王延飞，王林兰. 论情报研究质量[J].图书情报工作，2010，54（10）：35-39.

[34]王阅，高学东，武森，等. 时间序列周期模式挖掘的周期检测方法[J]. 计算机工程，2009， 35（22）： 32-34.

[35]孟志青，楼婷渊，胡强.多粒度时间文本数据的周期模式挖掘算法[J]. 计算机科学，2013，（S2）： 251-254.

[36]Bellazzi R， Diomidous M， Sarkar I， et al. Data analysis and data mining current issues in biomedical informatics[J]. Methods of Information in Medicine，2011，50（6）：536-544.

[37]Negash S. Business intelligence[J]. Communications of the Association for Information Systems，2004，13（1）：177-195.

篇(4)

【关键词】教师 大数据 数学模型 matlab 最小二乘法

【中图分类号】G64 【文献标识码】A 【文章编号】2095-3089（2015）06-0155-02

大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产[2]。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对那些含有意义的数据进行专业化处理。本文将以东北地区数学专业教师大数据为基础，通过“加工”实现数据的“增值”，使其为决策与预测服务。

一、东北地区数学专业教师大数据来源及准备

通过查阅资料与调查，收集到东北三省各高校数学教师相关大数据，包括教师教龄（？S年）、收入（？S元）、税收（？S元）和职业病情况等方面的实际数据。由于得到的数据信息量大，轻重各异，所以首先需要进行数据预处理，即清除异常数据、错误纠正、格式标准化等，再通过数据挖掘技术，利用一系列相关算法和数据处理技术从大量的数据中提取人们所需要的重要信息，也就是上面所提到的实现信息的“增值”，同时大大提高数据处理效率，下面具体介绍本项目所采用的模型和计算方法。

二、东北地区数学专业教师大数据分析与结果

收集并处理好教师教龄、收入、税收和职业病情况等方面的数据后，本文主要针对三个方面进行了详细的分析：

1.教师收入随年份的变化

（1）数据范围：1994年-2014年东三省各高校数学教师收入（单位：元）；

（2）计算条件：matlab软件，最小二乘回归分析，高性能计算工作站；

（3）求解过程：年份作为自变量x，收入为因变量y，从总体上看，二者统计关系大致符合一元线性的正态误差模型[3]，即对给定xi的有最小二乘一元线性回归公式yi=b0+b1xi+εi，其中：

b■=■， ■=■■x■b0=■-b■■， ■ =■■y■

其中εi是由变量可能的内在随机性、未知影响因素等随机扰动造成的误差。总之，它可看成是众多细小影响因素的综合代表。最后，由Matlab提供polyfit函数实现回归函数拟合[4]；

（4）结果分析：计算结果表明，随着年份的增加，教师收入也在不断增加。估计的因变量的系数b1约为191，也就是说，每过一年，教师收入大致可增加近191元。

2.教师职业病情况与教龄的关系

（1）数据范围：1994年―2014年东三省各高校数学教师教龄（单位：年）、职业病情况；

（2）结果分析：首先利用matlab软件，以横轴为某年东三省数学教师教龄，纵轴反映相应教龄的平均职业病情况（为方便，规定越接近纵轴正方向，职业病越严重）利用matlab软件绘制图形[5]，发现教师教龄越长，职业病也愈加严重。每一年的教师职业病情况均可绘制一张图表，通过将这11张图表的最高值（即每一年职业病的最高值）做比较，发现其趋势是先逐年下降，最后趋于稳定。

3.对教师专业发展阶段的研究

（1）数据范围：2014年东三省各高校数学教师收入、教龄、税收和职业病大数据；

（2）计算条件：IBM处理器、大数据挖掘分类算法；

（3）求解过程：用神经网络研究方法（即模拟生物上神经元工作的方法）。图中每个椭圆形节点接受输入数据，将数据处理后输出，输入层节点接受教师信息的输入，然后将数据传递给隐藏层，隐藏层将数据传给输出层，输出层输出教师专业发展处于哪一专业成熟阶段；

（4）结果分析：若将教师专业成熟过程分为三个阶段：形成期、发展期和成熟期。那么利用IBM处理器和以上算法，在所调查的教师中，约70%处于发展时期，是其基本适应教育教学工作的时期；约20%处于形成期，是形成良好心理素质和正确教育思想的关键时期；约10%处于成熟期，是掌握教学主动权，成为学校教学骨干的时期；

（5）研究意义：研究东三省高校数学教师专业发展成熟阶段，可以基本掌握教师资源结构，从而能够遵循不同发展阶段的不同特征、观念、心理、发展需求，制定相应教研活动、政策和制度，促进教师全面持续发展[6]。

三、结果讨论

1.数据呈现以上结果的原因

（1）随着国家科教兴国战略的深入实施，教师的工资和待遇将被逐步纳入国家工作人员统一管理，教师的收入将得到很大的提高。另一方面，数学能力的培养是学习各专业、走入各行业的基础，国家将加大数学知识的教育力度，进而数学专业教师所付出的辛苦也更加不可小觑，综合以上几个重要原因，教师收入随年份增加而增加也是符合经济理论的。

（2）教龄越长，职业病也越严重的依存关系，我们容易理解。但随着时间的推移，职业病的严重性呈现下降趋势正是反映了我国科技的革新：环境的改变、教学设备和教学技术的更新使得教师的课堂教学更加高效和轻松便捷，如多媒体、电子白板使得课堂不再“尘土飞扬”。

（3）在对教师专业发展阶段的研究中，处于专业发展时期的教师所占比例最高，达到近70%。实际上，他们多数处于青壮年的人生阶段，是社会的中坚力量，又曾在高等教育多样化与综合化的背景下受到过良好的教育，并具有较丰富的教学经验和紧跟新时代的创新思想，自然在专业发展的角度也占有较大比例。

2.合理的相关预测

大数据最有价值的特点就是其“预见性”。上述数值结果表明，在经济平稳发展和社会稳定的前提下，东三省数学专业教师的收入在未来的几十年依旧处于增长趋势，教师职业病总体减轻，专业发展越来越成熟，使得教师队伍整体素质越来越高，而未来教师的考核奖励制度也会变得更加严格和全面。

3.建议

（1）无论是对教师行业还是其他行业感兴趣，都要关注其变化，分析其形势及趋势，以便对此行业的认知更加科学合理。

（2）本文采用的大数据处理所用模型和方法，可以进一步推广到其它相关领域，使之成为研究大数据的更通用的工具。

本文利用matlab软件、最小二乘法模型及IBM处理器分析了东北地区数学专业教师大数据，得出的结果对于掌握该地区数学教师基本情况并预测其发展趋势有着重要的作用，还为热心同类问题的研究者提供高效的方法和技术。当我们不能有效处理所获取的大数据，它们就是一些平凡的数字和符号。如果我们能够很好地驾驭大数据，它们必定会为我们带来诸多的方便。

最小二乘法模型在处理大数据时有一定的优势[7]，统计分析，神经网络算法和遗传算法都是处理大数据的有效方法，如果能将这些方法有机的结合起来，将更能获得许多满意的数值分析结果。当大数据超过计算条件的时空允许时，不仅耗时费力，甚至使得计算成为不可能，通常需要采用并行算法等高效计算手段。在高性能计算方面，我们并没有用到并行算法，如果能利用并行算法，所处理的数值结果容量会更大更有参考价值。

参考文献：

[1]蔡锁章主编.数学建模：原理与方法.北京：海洋出版社，2000.

[2]维克托迈尔舍恩伯格.大数据时代.浙江：浙江人民出版社，2012.

[3]吴翊，吴孟达，成礼智编著.数学建模的理论与实践.长沙：国防科技大学出版社，1999.

[4]张德丰编著.Matlab数值分析与仿真案例.北京：清华大学出版社，2011.10（21世纪高等学校规划教材计算机应用）IBSN 978―7―302―26254―1.

[5]杨德平等编著.Matlab基础教程.北京：机械工业出版社，2013.221世纪高等院校计算机辅助设计规划教材 ISBN 978―7―111―41023―2.

篇(5)

关键词：数据分析；观念；统计

数据分析是统计的核心，数据分析观念是统计思想的重要组成部分。在小学数学统计教学中，教师要培养和发展学生的数据分析观念，以有效解决生活中的一些实际问题。教学中主要从以下三个方面进行实践：

一、激发兴趣，引导学生主动参与数据分析

数据分析面对的是枯燥无味的数据，这就要想办法激发学生学习动机。一是要选择合适的素材。选择与学生日常生活密切相关的活动或内容。如从学生说一说喜欢穿什么颜色的衣服，喜欢看什么样的动画片入手。引导学生粗略统计喜欢的几种颜色和喜欢看的动画片，让学生做成简单的统计表。二是要让学生感受到数据统计与分析的现实意义。在生活中选取一些话题展开有关数据分析，让学生喜欢分析并乐于分析。比如让学生记录自己家庭每天的生活开销，引导学生在搜集、整理、分析数据的过程中，能够对家庭的每周开销及物价变化做出合理的分析，从而让学生对统计感兴趣。

二、启发思考，引导学生掌握数据分析方法

数据分析是一个复杂的思维过程。在教学中要鼓励学生从多角度分析数据，掌握数据分析的方法，通过数据的统计与分析，提取信息，选择方法，培养思维的灵活性和多向性。如，在教学中出示“某商场一年12个月A、B型两种彩电销售情况折线统计图”，统计图上呈现了两种彩电的销售情况和月份，然后让学生完成作业，根据销售情况说说随着月份的变化两种彩电的销售情况有何变化，A型彩电销售量为什么呈下降趋势？为什么在1～3月份销售量最多？B型彩电为什么在10～12月份销售量最多且呈现上升趋势？如果你是经销商将会有什么打算？让学生统计图表中获取信息并联系生活实际进行思考，很快就能得出答案：B型彩电得到了消费者的认可，经销商要及时调整进货源头，多进B型彩电就会获得更多的利润。

三、加强训练，培养学生形成数据分析能力

数据分析能力培养绝不能只靠课堂教学来完成，教学时，教师要精心设计多样性实践操练活动，注重分类与比较能力训练，将课内外有机结合起来，激发学生参与统计与分析的兴趣，指导学生通过调查、科学实验、查阅资料等，把所学的知识进行系统化的收集、整理、分类、描述和分析，让学生形成数据分析观念和数据分析能力。

篇(6)

【关键词】：数据分析；数据管理

数据管理：收集及管理企业内所有类型的数据。包括设计开发的数模图纸，零件清单，数据的审批过程、历史记录等。有目的记录收集数据，是确保数据分析过程有效的基础。

1 定义

数据分析：数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。

2 现状

随着时代的进步，企业已经从传统的人工管理及文件系统管理，发展到数据库管理的阶段。数据库管理的基础提供了数据的完整性，正确性。并且企业已经对数据的安全性有所管理，包括权限控制，文件加密系统的等。数据分析的的工作目前仍比较初级的阶段，当数据分析的水平跟上数据管理发展的水平时，将会大大加快企业发展和进步。

3 意义

数据分析是判断、趋势、多角度发现问题的成熟解决方案，传统企业的大部分业务情况，通过业务经验，有了数据分析即可改善业务。数据的核心是发现价值，而驾驭数据的核心是分析。通过对企业数据的梳理分析，结合业务的理解，找出一些突出问题的关键点，预测未来的趋势，帮助企业更好地进行决策。

4 数据分析的过程

4.1 收集数据

收集数据是数据分析的来源，同时也是数据管理的日常工作。数据收集分为人工输入以及数据库系统的输入。这里提到的人工输入可以是人为判断评价的记录，例如：个人评价/评论/反馈；数据系统的输入可以是企业内部拥有的软件数据库收集的信息，例如：BOM，PDM，PORTAL等。

4.2数据预处理

数据预处理即是去除不必要的信息及明显的错误信息并进行数据转换。不同的数据来源通常会产生不同的格式，这里我们普遍常用的数据分析工具是EXCEL，所以需要将输入的不同格式转化为EXCEL可以方便读取的形式。

4.3 数据分析的方法

数据分析的方法有很多种。这里只是提出比较常用的一些经验方法。

聚类分析、预测建模、关联分析、异常检测。

4.3.1 聚类分析

发现紧密相关的观测值族群，使得同组的相似性越大，不同组的差别越大，已达到较好的聚类效果。根据聚类得到的不同观测值组，做出决策树，为业务部门提供决策支持。

聚类分析简单、直观。

聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析；不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类别的解；聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。研究者在使用聚类分析时应特别注意可能影响结果的各个因素。异常值和特殊的变量对聚类有较大影响。

聚类分析是细分产品市场的有效工具，同时也可用于研究消费者行为，寻找新的潜在市场、选择实验的市场，并作为多元分析的预处理。在企业内部数据管理中可以用于用户调研、反馈，进而更好地为企业员工提供适合的服务及帮助。

4.3.2 预测建模

以自变量函数的方式为目标建立模型，预测离散的目标变量；预测连续的目标变量。

根据CAD软件的应用状态判断下一年的需求：

根据图标分析可以预测，明年的软件需求应该和今年差不多，CAD软件保证在400左右基本可以满足需求，CAD软件保证在50左右可以满足需求

4.3.3 关联分析

关联分析就是从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。该过程通过发现顾客放人其购物篮中的不同商品之间的联系，分析顾客的购买习惯。通过了解哪些商品频繁地被顾客同时购买，这种关联的发现可以帮助零售商制定营销策略。其他的应用还包括价目表设计、商品促销、商品的排放和基于购买模式的顾客划分。关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。

例如在零件的数据管理过程中可能发现一些关联零件的规律。

例如：从VDS中找出配置选项的关联，例如配置了前排乘客安全气囊，必定会配置驾驶员安全气囊。

4.3.4 异常分析

顾名思义，当一些较为稳定的数据，发生异常或者一组数据中个别数据异于其他数据时，发现它们，并从中找到原因或者规律。

或者当发现某部门指标长期低于平均值，则需要关注其产生原因，是不是因为开发人员不足造成

4.3.5 对比分析

根据类似数据进行对比分析。在数据管理的工作中找到类似数据，尝试对其对比分析，找出差异点。

4.4 数据分析经验数据库的创建

由于企业的数据分析方法是初步形成的，需要累积和实践验证。在找到合适的数据分析方法时，可以将有效的数据分析成果或者过程记录存档，方便后人的学习和改进。企业的数据管理和数据分析是密不可分的，鼓励更多的人参与数据分析将会提高数据分析经验库的含金量。

5 结语

数据分析在数据管理工作中的应用将直接支持整车研发企业的开发工作，以及产品数据的管理水平的提高。数据分析经验数据库的创建培养和累积足够的。在将面对大数据盛行的时代，企业内部的数据累积是必不可少的，数据分析有助于提高企业管理和运营系统运行的效率。数据的管理与交流往往是检验公司管理决策和经营策略是否正常运作的标志。所以企业管理中可以利用数据分析发现一些问题，及时跟进改善，从而提高公司整体的运营效率，为公司更快更好的发展打下良好基础。

参考文献

[1] 覃雄派， 大数据分析――RDBMS与MapReduce的竞争与共生，软件学报，2012（1）

篇(7)

关键词：数据分析；统计学；课程体系；大数据

中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2014）49-0248-02

随着社交网络的逐渐成熟，移动带宽迅速提升，云计算、互联网应用的丰富，更多的传感设备、移动终端接入到网络，由此产生的数据及增长速度将比历史上的任何时期都要多，都要快。“大数据”时代已经来临，它对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。大数据是指海量数据集，其来源包括动漫数据、企业IT应用带来的数据、博客、点击流数据、社交媒体、机器和传感数据等。它是互联网、电子商务的又一次重大革命，对数据处理、数据挖掘、数据分析提出了新的挑战。如今互联网行业、电子商务行业中的数据应用及分析已经相当普遍，为了应对大数据时代的要求，同时要具备较强的统计学功底和娴熟的计算机软件运用能力，而今完全具备这些能力的数据分析专业人才是极其匮乏的。数据分析师便应运而生，不仅互联网行业、电子商务行业需要大量的数据分析师，近年来项目数据分析事务所不断涌现，而项目数据分析师因其专业技能及量化的数据分析为客户以及所在单位控制决策风险、保证利益最大化而备受各界青睐，以待遇优厚和地位尊崇而闻名国际，也被视为我国21世纪的黄金职业。《华商报》将项目数据分析师纳入了新七十二行，《HR管理世界》将项目数据分析师评为七大赚钱职业。本文就如何在统计学专业开展数据分析方向进行了阐述，首先论述了数据分析的重要意义，其次讨论了数据分析方向的课程构建，最后分析了如何加强理论与实践环节的结合。

一、数据分析的重要意义

大数据预测美国总统：美国时代周刊报道称，数据驱动的竞选决策才是奥巴马竞选获胜的关键。数据分析团队在筹集竞选经费、锁定目标选民、督促选民投票等各个环节的决策中都发挥了重要作用。这意味着华盛顿竞选专家的作用极具下降，能够分析大数据的量化分析家和程序员的地位却大幅提升。如今从事专业数据分析工作的企业如项目数据分析师事务所、数据挖掘公司等都应市场需求而大力发展，并且受到风险投资的青睐。如美国社交数据挖掘公司Datasift于2012年宣布，获得1500万美元风险投资。2013年，DataSift成为Twitter的“认证合作伙伴”，主要负责海量微博社交数据分析。这是该公司今年第二笔融资，五月份其曾融资720万美元。又如面向开发者的大数据应用软件平台服务提供商Continuity最近获得1000万美元的融资，目前融资总额已经达到1250万美元。

数据分析的应用无处不在，那什么是数据分析呢？数据分析就是用适当的统计方法对数据进行分析，以求最大化地开发数据的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析技术不仅能通过对真实数据的分析去发现问题，还能够通过经济学原理建立数学模型，对投资或其他决策是否可行进行分析，预测未来的收益及风险情况，为做出科学合理的决策提供依据。在提高工作效率的基础上，也增强企业管理的科学性。无论是在国家政府部门，还是企事业单位中，数据分析工作都是进行决策和做出工作决定之前至关重要的一个环节。因此，针对项目可行性、风险承载力、投资回报率以及相关经济效益指标等方面的分析工作显得格外重要。在这个工作过程中，专业的数据分析人员扮演着无比重要的角色，数据分析成果的质量高低直接决定着项目投资、企业经营决策计划最终的方向。所以，各个行业对数据分析人员的需求之多是不言而喻的。传统行业，如政府机构：一类是计委、经委、统计局等一些经济综合管理部门所设有的调研处、研究室和情报所。第二类是商业、粮食、物资、银行等经济主管业务部门会设有信息中心或调研室，从本系统、本部门的业务出发进行专业性调研，提供支持本部门的市场信息。而伴随着数据分析应用的扩大，其在新兴行业中也得到了发展，如计算机软硬件及IT行业、电子商务与网络游戏、金融保险、消费品、咨询业与广告媒体、大型设备与重工业以及房地产行业等对数据分析师的需求量很大，尤其是电子商务，由于利用互联网，能够比传统零售业具有更好的数据收集和管理能力，能积累海量的数据，因此更看重从海量数据中挖掘出用户偏好和市场机会。研究机构：比如市场研究公司、咨询公司、证券公司、研究院。自主创业：取得注册项目数据分析师（CPDA）资格证可以自主创建或就业于项目数据分析师事务所等。所以，数据分析的行业应用是极其广泛的，并且随着大数据时代的到来，数据分析尤其是数据挖掘将借助互联网的发展，逐步形成人们依靠的重点，并可能成为未来发展与竞争的重点之一。由此我们可以看到数据分析师的就业前景是非常广泛而乐观的，无论是数学专业、统计专业，还是计算机专业的学生，都可以通过系统的学习数据分析课程来适应对数据分析人才的要求。

二、课程体系构建

1.主干课程。主干课程包含高代、数分、概率论、数理统计、多元统计分析、时间序列分析、市场调查与分析、统计预测与决策、数据结构、C语言、数据分析、数据挖掘、大数据分析与展示。理论课程的学习可以使学生了解数据分析的基本内容，学会如何对已获取的数据进行加工处理，如何对实际问题进行定量分析，以及如何解释分析的结果。掌握几种常用数据分析方法的统计思想及基本步骤，并具备一定的分析论证能力。

2.实验课程。数据分析的操作离不开计算机。目前数据分析行业常用的一些统计软件有SAS、SPSS和R软件。SAS软件是一个模块化、集成化的大型应用统计系统。它的功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等。SPSS软件是一个社会科学统计软件包，是采用图形菜单驱动界面的统计软件，SPSS的基本功能包括数据管理、统计分析、图表分析、输出管理等。R软件是一套完整的数据处理、计算和制图软件系统，包括：数据存储和处理系统、完整连贯的统计分析工具、优秀的统计制图功能、可操纵数据的输入和输入等功能。这三个软件在数据分析中针对不同行业的需求有不同方向的应用。

3.专业课程。从数据分析的行业需求出发，好的数据分析人员不仅要有较强的数据分析能力，还要有该行业的背景及相关知识的储备，这样才能将数据分析与行业特性联系起来，发挥数据分析的最大功能，即所谓的“因地制宜”。同时要兼顾学生的兴趣与学习的联系，需提供多领域的课程选择，如：经济学、金融学、保险学、管理学、会计学等。而在软件学习方面也要拓宽渠道，除了实验课程安排学习的软件，学生可根据自身发展意向再多掌握一些软件如：SQL数据库，熟悉office常用功能，尤其熟练运用Word和PowerPoint、Excel图表及数据分析等。同时还应该结合对数据分析师的要求设置一些相关课程：投资数据分析、市场调研与预测、预测技术分析、现金流量表编制、风险投资项目筛选、不确定性分析、编制数据分析报告等。

三、实践环节

培养数据分析的专业型人才目的就是为了学以致用。数据分析本身就是为了从数据中发现问题、建立模型、预测收益风险企业决策进而做出合理正确的决策判断。因此，学习了基本的知识和技能就要运用到实际操作中。学校可以和本地的数据分析事务所，或者大量需求数据分析人员的互联网行业建立实训基地，进行合作式教学，使得学生在实习的过程中能够理论联系实际，切身体会数据分析的商业操作体系，这样就能够促进学生有目的、有取舍地针对自身情况学习钻研，继而就能够培养出适应经济发展，满足市场需求的应用型人才。

四、结语

在大数据时代到来之时，数据分析在互联网中的应用将会空前广泛，与此同时对数据分析师的需求也将会井喷，无论是在军事、工业、企业还是在政治上，大数据分析都将会十分紧缺。因此，目前对数据分析师的培养刻不容缓。本文从分析数据分析行业发展及其重要意义、数据分析专业课程设置以及教学实践环节方面对构建数据分析课程体系进行了探讨。不仅从教学课程的内容上予以安排，而且更加注重引导学生自主学习，特别强调理论结合实践的合作式教学。希望能够结合行业需求合理地构建课程，培养出专门从事数据分析的项目数据分析师，从而能够满足市场需求和自身发展。

参考文献：

[1]范金城.数据分析[M].科学出版社，2010.

[2]http：///jrt/120922/70953.shtml