时间:2022-11-22 03:31:27
序论:写作是一种深度的自我表达。它要求我们深入探索自己的思想和情感,挖掘那些隐藏在内心深处的真相,好投稿为您带来了七篇大数据解决方案范文,愿它们成为您写作过程中的灵感催化剂,助力您的创作。
关键词:大数据;云计算;虚拟化
1认识大数据
相信大家都还记得2013年5月10日淘宝十周年晚会上,阿里巴巴集团董事局主席马云在其卸任集团CEO职位的演讲中说到:“大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。”
什么是大数据?
早在1980年,当时著名的未来学家阿尔文·托夫勒便在其著作《第三次浪潮》中热情洋溢地将大数据赞颂为“第三次浪潮的华彩乐章”。不过直到时光抵达2009年,“大数据”才开始成为互联网信息技术行业的流行词汇。
环顾四周,我们都已经切身感受到了当今的信息量正在以前所未有的速度膨胀。当我们的普通民众在上世纪90年代刚刚接触个人计算机的时候,1MB的磁盘,1GB的硬盘已经是不错的配置。然而现在呢?GB、TB都已经无法满足我们丈量数据大小的需要,PB、EB、ZB已经义无反顾地承担起了丈量数据的大任。
随着互联网自媒体的普及,每天都有数以亿计的人在发微博、写微信、更新个人主页、使用社交网站、发表个人评论……全球互联网上每天会有220万TB的新数据产生,90%的数据都是在过去的24个月内创造出来的,如今,这个比例还在不断上升。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,他们对大数据的表述是:大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。他们对大数据的特性进行了归纳,提出了4V特点,即Volume(数据量大)、Velocity(要求实时性强)、Variety(数据的种类多样)、Value(数据是有价值的)。
而《互联网周刊》则认为“大数据”的概念远不止大量的数据和处理大量数据的技术,或者所谓的“4V特点”之类的简单概念。大数据是涵盖了人们在大规模数据的基础上所能做到的事务,而这些事务在小规模数据的基础上是无法实现的。换句话说,大数据让我们能够以一种前所未有的方式,通过对海量数据进行分析,获得具有巨大价值的产品和服务,或者深刻的洞见,进而最终形成变革世界的力量。
2大数据应用的现状分析
最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出:数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大家都或多或少地意识到应该能从这些海量的数据中获取些什么,然而究竟我们能获取到什么呢?
一个被广为传播的典型案例是:在2012年初美国的一家Target超市,一位愤怒的父亲突然闯进来对店铺经理咆哮道:“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券,她才17岁啊!”经理下意识地认为是店里出了问题,也许是误发了优惠券,于是立即向这位父亲道歉。然而经理却没有意识到,其实这是公司正在运行的一套大数据系统得出的分析结论。
Target会从其会员的购买记录中去了解该顾客的性格、类别等一些列业务活动。上面的例子正是Target为适龄女性创建的一套怀孕期变化分析模型,如果相关客户第一次购买了婴儿用品,系统将会在接下去的几年中根据婴儿的生长周期向顾客推荐相关的产品,从而培养和提高客户的忠诚度。
果然,一个月后,该名愤怒的父亲打电话给商铺道歉,因为Target发来的婴儿用品优惠券不是误会,他的女儿确实怀孕了。
利用数据挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后发掘出更符合用户兴趣和习惯的信息、产品和服务,并对这些目标化的信息、产品和服务进行针对性地调整和优化,这便是大数据能带给商家最诱人的价值之一。
随着社交网络在人们生产生活中地位的快速提升,大量UGC(User Generated Content用户自生成的内容)进入互联网,上述价值的实现也变得越来越明显。
事实上,全球IT业巨头都已经意识到数据的重要意义和“大数据”时代的到来。包括IBM、EMC、惠普、微软在内的全球知名跨国公司都陆续通过收购与“大数据”相关的厂商来实现技术整合。
目前典型的大数据应用领域有:
商业智能。例如:用户行为分析,即结合用户资料、产品、服务、计费、财务等信息进行综合分析,得出细致、精确的结果,实现对用户个性化的策略控制,这在营销网络的流量经营分析中占有越来越举足轻重的地位。个性化推荐,即在各类增值业务中,根据用户喜好推荐各类业务或应用,这已成为运营商和门户提供商服务用户的一个最有效方式之一,比如应用商店的软件推荐、IPTV视频节目的点播推荐、购物或旅游网站的猜你喜欢等。
公共服务。一方面,公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用,从而提供更为广泛和深度的公共服务,如实时路况和交通引导;另一方面,公共机构也可以通过对某些领域的大数据实时分析,提高危机的预判能力,如疾病预防、环境保护等,为实现更好、更科学的危机响应提供技术基础。
政府决策。通过对数据的挖掘,从而有效提高政府决策的科学性和时效性。例如:日本大地震发生后仅仅9分钟,美国国家海洋和大气管理局(NOAA)就了详细的海啸预警。并且随即NOAA通过对海洋传感器获得的实时数据进行了计算机模拟,制定出详细的应急方案,并将制作的海啸影响模型实时在了YouTube等网站上。
3大数据解决方案的现状分析
以往谈及大的数据通常用来形容一个公司创造的大量非结构化和半结构化的数据。如今把“大数据”作为一个专有名词提及,通常指的是解决问题的一种方法,即通过收集和整理生产生活中方方面面的数据,然后对其进行整理、挖掘、分析、处理,进而从中获得有用的价值信息。这种衍化出的新的商业模式即为通常意义上的大数据解决方案。
虽然通常意义上的大数据解决方案描述了一种通常的行为,但要实现这种通常的行为,往往会遇到诸多技术和硬件上的问题。一个显而易见的问题就是:大数据包络万象,而且像音频、文本信息、视频、图片等非结构化数据正以突飞猛进的速度增长,加上移动互联网的普及所带来的如位置、生活信息等富含价值的数据,现有的,或者传统的对数据的处理手段和硬件配置已越来越跟不上数据发展的步伐。
于是革命爆发了!
哈佛大学社会学教授加里·金就说道:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
数据需要存储,存储需要设备,存储设备的容量和可扩展性以及读取的速度成为了一大问题(容量问题);大数据不是一日而成的,往往都需要一定周期的积累,在数据的积累过程中,以前的数据和现在的数据在存储上应该是能保持一致的,无论设备升级与否,而且这些数据要长期有效,这是一个持久的问题(积累问题);与持久相对应的,互联网是变化的、经济活动是变化的、整个世界都是变化的,针对某些实时问题,如交易、金融等,用已经过去的数据显然是不合适的,这也是一大问题(延迟问题);大数据包络万象,有些是可以随意获得、和消除的,有些,如金融数据、医疗信息、政府情报等,则是需要按不同级别进行保护和加密的,特别是在需要交叉数据参考的应用中,不同部分的数据有着不同的安全需要,这又是一大问题(安全问题);为了满足上述问题,我们显然可以通过不断加大投入,购买更多的存储设备、雇佣跟多的工作人员、建设更多的数据中心和分析中心,但这一切都是由成本的,特别是对于以盈利为目的的商业机构而言,成本和收益永远都是最优先考虑的问题之一(成本问题);当然还有很多其他的问题,这里就不一一罗列了。
驱动商业机构解决上述问题的动力肯定是商业利益。以全球知名的IT制造与服务和咨询提供商IBM为例,其全球CEO调研显示,唯有在数据获取、将数据转换为洞察力、再将洞察力转化为行动力等方面表现优秀的企业,才能有持续的绩效表现。绩效突出者从海量数据中挖掘出有价信息的能力是绩效不佳者的2倍。
IBM认为由于当今企业、市场、社会、政府之间的联系变得越来越紧密,传统的数据分析正日益呈现出“大数据”时代的新特点,即容量要求更高、速度要求更快、数据类型多样和数据来源复杂4个方面。结合多家领先市场咨询机构的调研数据显示:
2010-2015年,“大数据”市场年均符合增长率为39.4%,将是整个信息与通信技术市场增速的7倍;管理及维护数据的成本将是购买存储设备所需成本的4倍;全球数据量的年均复合增长速度为59%;未来需要分析的信息源中,混合类型数据所占比重将高达85%;数据分析直接受到服务器性能制约的数据量将占到总体的87%;仅2012年一年,服务器在整体“大数据”市场投资中就将占去14%的比重。
这就意味着传统计算的低效正在为企业发展带来阻碍,企业感到当前的IT系统变得更加复杂且难以管理。数据显示:企业用于运营和维护IT系统的费用已经超过整体预算的70%,并且这一比例仍在持续增长;企业有三分之二的IT项目及解决方案部署超出了原定计划;IT架构的复杂度将以当前速度每两年就增加一倍。
于是出乎绝大多数人意料的事情发生了:IT部门,这个曾经作为企业现代化和创新化能力标志的部门,正越来越成为企业新创新的阻力而非动力。
怎么办?
很多人立即想到了另外一个热词:“云计算”。
IBM全球高级副总裁Rod Adkins认为,当前全球IT领域有了令人振奋的发展趋势和挑战,现在每天有大量数据和信息生成,这为大数据分析提供了机会;数据中心的挑战也为IT提供了新机会,比如云计算,能降低数据中心成本。
EMC资深产品经理李君鹏认为,大数据本身就是一个问题集,云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台,大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理,也是云计算思想的一种具体体现。Teradata技术总监Stephen Brobst则表示,公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上,那样很危险。然而,是私有云架构确实有影响:第一,通过私有云,可以巩固数据集市,减少利用率不足的问题;第二,可以通过灵敏的方式将数据集成,实现业务价值。
于是有人就此理解为:大数据的最佳解决方案是采用云计算和分布式处理,利用互联网将运算能力、存储能力都做分布式的处理,认为这样做就可以最大程度上地降低成本、增加扩展性和灵活性。
然而事实真的如此吗?
让我们来分析一下最近IBM公司在国内针对百万人口的城市级信息中心制定的解决方案:
面对数量庞大且增长迅速的各类交通信息:120万辆机动车电子卡、4万辆机动车的实时GPS定位、200万笔公交IC卡数据、518个高清卡口的113亿张图片等,该市信息中心的领导意识到,当前多个项目能源消耗大、占地要求非常高、并且原有的网络设备难以满足新增的需求,网络设备经常更换,并且这些相互独立的数据库、服务器和存储,以及不同的访问权限和没有统一的管理界面,让本就压力巨大的数据中心的效率大打折扣,同时也极大浪费了宝贵的人力、能源和其他各种资源。
IBM给出的解决方案是:
首先,在基础平台上摒弃了分布式的服务器架构,而是采用大型服务器在基础架构上对处理能力、I/O吞吐和主存储进行了整合,这样做的最大亮点是,将原有成百计的分布式服务器整合到了个位数,极大地节省了空间和能源,做到绿色环保;因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配,节省了相当数量的管理人员;另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架,有效帮助信息中心实现中心控制,实现极高的性能。
其次,在整合的基础平台之上,采用“云计算”框架虚拟化设计,实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机,在统一云管理软件URM的配置下,能够提供统一的管理视图和管理机制,简化在多套异构业务系统环境下系统的运营和维护工作。
而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的SAN网络架构,具有很好的稳定性,能为前端各应用提供可靠的数据存储平台,并且整个SAN网络中的部件都配置了双冗余组件,保证任一部件的损坏不会影响整个系统的运行,而关键数据库的数据都通过合理的备份策略,定期备份在了物理磁带上,保证关键数据的绝对安全。
总结下来,整合的基础平台,“云计算”框架的虚拟化设计,和定制化的高速存储,打造出了最稳定、最可靠、最安全、最绿色的运行环境,让政府的大数据应用完美落地。
可见,大数据的解决方案不同于纯粹云计算的解决方案,虽然云计算带来了看上去更便宜的处理能力和存储能力,但对于往往都有相当数量级规模的大数据应用而言,在基础架构上巧妙地整合和部分的集中,反而能更好地解决安全性、可靠性、稳定性和绿色环保的需要。
4结束语
大数据时代科技与科学教育面临着诸多的问题
首先,科学出现了新的形态。现代科学之父伽利略是个里程碑式的人物,正是伽利略明确地将实物实验和数学推理方法引入到了科学研究之中,科学才得以系统而迅速地发展。从那时起,科学家们开始以实物实验和数学推理的方式认识自然世界,科学因此形成了两种形态,其一是实物实验形态,其二是数学推理形态。随着科学发展到今天的大数据时代,一些科学家和工程师离不开借助计算机手段研究事物,科学出现了基于计算机的第三种形态——计算形态。各个学科的边界变得模糊,科学研究的范式有了新的变化。以前学科分化越来越精细,但是科学发展到今天,信息科学、纳米技术、生物科学和生命科学、认知和神经科学被公认为最具革命性的学科领域,这四种科技的整合,将对人类社会产生深刻的影响,并可能再次改变我们人类的物种。学科在高度分化的基础之上开始走向学科之间的渗透和融合,特别是开始走向自然与人的融合。基于计算机的整合是当今科学发展与突破的必由之路。但是如何整合却是仁者见仁智者见智之事。
其次,技术的高速发展带来了日益严重的社会问题。比如生命科学中的克隆技术直接挑战人类社会传统的伦理问题;对于自然界的无节制索取,带来了日益严重的能源危机和生态环境恶化危机等。此外,物质生活的丰富与网络的言论自由带来了日益高涨的民主与平等的社会诉求。这些问题可能直接源自高速发展的科技,以致于我们的精神与理解出现相对滞后。诸多危机与问题要得到根治,除了需要加快人类智慧文明发展,还需要科技与科学教育的进一步高度发展,此所谓解铃还须系铃人。科学史上,科学家们为人类积累了丰富的化解人类危机的智慧与知识。
最后,一方面“科教兴国”得到普遍共识,人们开始懂得在科学教育之信息化方面投入大量的人力和物力;另一方面人们对技术的发展给生存环境构成影响认识不足,主要表现在看不到现代教育技术的革命性影响潜力,或者在现代教育技术面前感到茫然。这种状况除了造成设备因为闲置而带来的严重浪费现象之外,还限制了我们破解当今科技与科学教育难题的思考与方法。
为了解决诸多危机与冲突,需要探讨各种可行而有效的解决方案。通过分析大数据时代的科学教育的现状不难发现,如果只是从局部进行个别改动,问题难以有效地得到解决,当今的科学教育问题要想从根本上得以解决,必须运用系统观念,从整体上改变或者构建科学教育体系,换句话讲,需要从整合的角度才能提出可行的解决方案。
数字科学家计划
针对大数据时代人类面临的诸多危机,人们提出了一些对策与良方,其中影响最大的是国际21世纪教育委员会在向联合国教科文组织(UNIESCO)提出的21世纪教育的四大支柱策略:(1)学会认知(Learning to know):培养学生学会运用认知工具求知,学会发现问题,学会探究知识,学会构建知识。即培养学生认知方法,引导学生通过发现、探究和意义构建的途径获取知识,培养学生的继续学习能力。(2)学会做事(Learning to do) :既要学会实践,也要学会创造。重视建造可供学生参与的环境,激发学生兴趣,使学习者通过环境的交互作用,通过实践,通过做事获得知识和能力。(3)学会合作(Learning to together) :要培养学生学会与他人共同生活,就要学会合作生活,合作学习,从过去的集中教学方式到个别学习方式,到现在提倡的协作学习。(4)学会生存(Learning to be) :学会生活、学会做人、学会自身的发展。既要传授知识,还要注重能力和高尚情操的培养。
在科学教育领域之中形成了一种强调亲自动手学习科学的潮流。在美国、法国、英国、加拿大等国的国家科学课程改革方案中,科学探究被列为课程目标和课程体系的关键而基本的要素。“学习必须是主动的”已成为国际上基本的教育理念。其中影响较大的有“做中学”、“Hands-on”(动手做)、“Minds-on”(动脑做)、“STEM”(科学、技术、工程、数学)等科学教育实践。这些科学教育实践旨在使学生以科学的方法学习知识,强调学习方法、思维方法、学习态度的培养。
这些先进的科学教育理念与实践推动了科学教育的创新与实践。但是实践表明,一个好的理念要想转化为教学行为,往往需要一个较长时期的培训与转化过程,这个过程是艰难的,特别是对于教师和学生需要具有一定的专业理解能力。能否综合上述先进的科学教育理念,提出一种直观、易懂而且有效的科学教育模式的推广方案呢?数字科学家计划(E-Scientist Project, ESP)给出了一种大数据时代下科学教育模式的推广方案。
所谓数字科学家计划,就是一种大数据环境下以提高每一位学生科学素养水平为宗旨,以探究式教学为鲜明特征,以科学思想、科学方法和数据挖掘方法为核心,播种未来科学家种子的教学模式的推广方案。
数字科学家计划主要有两方面特征,其一,数字科学家是一种科学教育模式符号,以“科学家”符号将抽象的科学教育理念人物化和直观化,即准确地表述了现代的科学教育理念,也便于师生理解与实施。榜样的力量是无穷的,虽然科学不能解决人类所有的问题,但是科学家们为我们积累的知识、思想、方法、科学精神在过去和将来都是破解社会难题的重要途径;其二,强调发挥大数据环境下第三种科学形态的育人功能,这是当今科技与科学教育创新的重要切入点。
数字科学家的教学模式是在WebQuest(基于网络的主题探究)模式的基础上改造而成的。主要有以下五个模块:(1)核心问题:WebQuest的核心是设置一个开放性的问题。这个问题设定了WebQuest的清晰目标,鼓励学生回顾原先掌握的知识,激发学习者进一步探索的动机。(2)任务指南:提供一个“脚手架”,引导学生设计、经历和体验专家的思维过程。“脚手架”将令人望而生畏的探究项目打碎成若干个片段,引导学生研究较为复杂的科学问题。(3)海量资源:创建一些到其他互联网站点的链接来共享网络资源。通过运用多样化的互联网资源,可以为不同学习水平或不同学习方式的学生提供信息资源。(4)实施“做中学”:要提供高层次的思维指南,体现“做中学”的教学理念,保证动脑和动手的教学方式落到实处。(5)交流与评价:WebQuest一般用量规提供了自我评估的标准,提示学生已经学到了什么,并鼓励把这种探究的经验扩展到其他领域。评价人员可以是教师,也可以是家长和同学。
数字科学家计划产生于笔者主持的北京市教育科学“十一五”规划课题《数字科学家计划:基于数据探究理论的物理选修课程建设与研究》(2010年立项),已经在北京景山学校、北京一零一中学、北京师范大学亚太实验学校等学校展开实验。该项目在课题阶段探讨了校本特色选修课程的建设,但是随着课题研究的深入开展,数字科学家计划已经不再局限于校本选修课程,开始运用到正规的物理课堂教学;也不仅局限在物理学科教学,已经开始运用到小学高年级的科学课程与教学;还不仅局限在学校科学教学,已经开始运用于北京市东城区青少年科技馆的科普性质科学课程,并配合教学,于2013年11月成功地举办了北京市东城区“数码探科学”大赛。大赛令人耳目一新,引起了学者和教师的广泛关注。著名教育家顾明远先生在颁奖会上讲到,这次大赛让人们看到了大数据环境下的教学实践,学生们在数码探究中有模有样,学到了科学思想、科学方法,体验到了数码探究的乐趣。
经过三年的探索与实践,数字科学家计划已经从课题研究转向项目推广的初期阶段。初步建设了数字科学家网站,形成了一种大数据环境下的科学教育模式,也形成数字科学家课程的教师培训经验,还形成低、中、高端数字环境装备下课程实施经验,已经具备了在更大范围试验与推广的条件。
数据探究理论——数字科学家计划的基石
探讨破解大数据时代的科学教育难题的途径涉及大而复杂的社会问题,仅凭经验而没有理论的指导是难以理解与完成的。但是数字科学家计划已经形成了一些基本的概念与教学原理。这些基本概念与教学原理构成了所谓的数据探究理论。数据探究理论是数字科学家计划的基石。
信息(Information)是数据探究理论的逻辑起点。何谓信息?这是一个复杂而神奇的概念,学者们有着不同的见解,美国数学家和控制论创始者维纳不得已这样定义信息:信息就是信息,既非物质,也非能量。笔者考虑到人的因素,对信息进行了如下的定义:信息既不是物质,也不是能量,而是物质的波-粒二像性与人相互作用的存在形式。
数据(Data)是数据探究理论的另一个重要概念。数据是载荷或记录信息而留下的明确印迹。数据可以是数字、文字、图像、录像,也可以是计算机代码等。对数据背景的解读是获取意义的一种途径。数据背景是接收者针对特定数据的意义准备,即当接收者了解数据序列的规律,并知道每个数据或数据组合的指向性目标和含义时,便可以获得数据所载荷的意义。观察数据或者数据挖掘就是对数据背景的解读过程。数字科学家计划的核心环节在于信息观测、数据挖掘和数据价值与交流。
探究式教学是一种以科学探究为基本特征的教学模式,其实质是引导学生通过类似科学家的探索过程理解科学概念和科学本质。依据科学的三种形态,将探究式教学分成实物实验探究、数学推理探究和数据探究。所谓数据探究是一种基于计算机的探究式教学,是提高学生数据素养水平的必要途径。数据探究与其说是一种适应大数据时代的手段和途径,不如说是大数据时代的一种生活理念和生活态度。
数据探究在教师观、学生观、学习观和评价观上均具有新的内涵。简单介绍如下:(1)教师是数据探究的促进者与合作者。(2)学生是具有创造能力的学习主体。数据探究应该把学生置于一个有社会意义的团体中,培养“共生性”与“交互性”,体验创造的意义和价值。还应该体现STS教育,强调人对自然、社会、人生的责任和义务。(3)数据探究是一个建构的、社会化的综合体验过程。学习者总是依据已有经验、心理结构和信念来选择一些信息或者数据,从中经过数据挖掘得到推论,并根据推论来构建关于世界的认识。(4)评价是开放、多元的反馈过程。数据探究评价认为学习是一种建构独特意义的过程,注重对于探究过程的评价,关注评价的开放性与多元性。
总之,数字科学家计划在理论与实践上为我们提供了一种大数据时代科学教育整合的解决方案。
11月25日,国内领先的软件基础平台与解决方案提供商普元信息技术股份有限公司在北京隆重召开了普元政务大数据解决方案会。在此次会上,普元还推出了《共享、开放、融合政务大数据平台最佳实践》这一普元政务领域大数据平台解决方案白皮书,将实践提升到方法论层面,用“三级规划、五层能力”助力政府在国家战略下搭建政务大数据生态,推进政务大数据开启“共享、开放、融合”时代。
普元此次的政务大数据解决方案,涵盖“三级规划、五层能力”,能够有效帮助政府客户全面掌控与运营政务大数据。普元政企事业部副总经理王克强在演讲中提到,按照政务大数据现状及发展趋势,“三级规划”即按步调实现政务大数据平台的共享共用、开放服务、融合应用大阶段建设。在共享共用阶段,建立并完善数据标准,梳理并搭建共享主题库,依据标准实施数据集成,建立动态信息资源目录,实现先主后次、先易后难的政务数据共享体系建设落地;在开放服务阶段,支撑数据服务集成管理,建立政务数据开放平台,实现自主可控、逐项开放的政务数据开放生态构建;在融合应用阶段,提供全端数据可视化,建立实时响应机制,建设智慧生态政府,实现精准集约、动态敏捷的应用融合形态。
那么,如何达成上述三个阶段的发展目标呢?普元大数据产品线总经理王轩如此说道,围绕业务、技术和管理策略,政府大数据的落地需要存储、质量、共享、开放、应用五层实施能力提供支撑。这五层能力具体是指存储处理是根基,数据质量是底线,共享共用是关键,数据开放是趋势,融合应用是目标。通过这五大核心能力,可以充分挖掘数据价值,提升政府大数据技术服务能力,促进大数据与各行业应用的深度融合,以应用带动大数据技术和产品研发,从而形成成熟的大数据解决方案。
在产品支撑体系上,普元围绕五大核心能力,提供包括存储与处理、大数据集成、大数据治理、大数据运营和大数据应用五部分内容的一系列政务大数据平台,为政府客户提供最为有利的技术支撑。目前,普元拥有政府、金融和电信等多行业数据治理经验,能够长期为政府客户提供专业产品和服务,协助政务大数据可视化应用创新。
普元CTO焦烈焱进一步表示,普元成熟的解决方案,不仅能够在政务大数据领域全方位满足政府用户的深层需求,提供安全可靠、共享开放融合的政务大数据解决方案,还能够提供SOA、大数据、云计算三大系列产品以及相关的一站式解决方案。这个全面、高度集成的软件平台体系,可以为客户IT管理提供坚实支撑,帮助客户采用大平台、微应用模式建设新一代IT架构,实现“互联网+”时代的业务转型,提高核心竞争力。
数据的变化,从来不是一个循序渐进的过程。随着信息的砰然爆发,谁能合理地分析、管理、挖掘海量数据的内在价值,谁就有可能成为下一个行业巨头。无论从应用、需求还是解决方案层面,大数据都已经到了“应时而生”的时代。
“可以说,这是一场数据的‘工业革命’,数据迎来了量与质的改变,非结构性数据激增,计量单位已从T级升至P级,甚至是E级。”英特尔亚太研发有限公司总经理何京翔在接受本刊记者采访时称,“目前这些数据大部分是‘冷数据’,即采集完成后并没有进行实时分析,没有挖掘其潜在价值。”
包装的艺术
大数据涉及数据采集(存储)、数据传输(网络)、数据处理(计算),而这些恰恰都是英特尔的专长。“Intel Distribution for Hadoop是对传统英特尔平台的优化,然而,对Hadoop(目前最受欢迎的对网络搜索关键词进行内容分类的工具)进行逐一模块式的优化仍然是零散的,需要形成整体的、打包式的解决方案,这就进一步涉及管理。”何京翔解释,“目前仅Hadoop涵盖的20个模块是开源的,仅将开源软件定为企业级应用,其稳定性、可靠性、可维护性都成问题。因此,如何把零散的模块包装起来,形成整体效益,才是英特尔的‘绝活’,换句话说,Hadoop管理才是让‘1+1>2’的核心。”
何京翔表示,英特尔正在利用不同级别的处理器架构、不同的数据应用架构,以及相关的解决方案,帮助用户从端到端找到完整的解决办法。综合解决方案,意味着从芯片到存储,再到网络,最后到软件应用,形成链型优化,其直接效果就是原先4小时的处理时间能够被压缩至7分钟。
英特尔的综合解决方案并非一站式服务,这符合英特尔一贯主推的横向商业模式(Horizontal Model)。何京翔称:“英特尔大数据解决方案的客户都是我们的合作伙伴,我们认为,为不同客户提供不同层次的、灵活、强大和开放式的解决方案,方能真正为企业预留出创造价值和发挥优势的空间,帮助企业解决实际难点。”
群狼与雄狮
目前,英特尔大数据技术主要应用于四大领域:电信、金融、智能交通和医疗。
以电信行业为例,中国用户群庞大,自动产生的数据量大,数据分析是个很现实的问题。“电信公司的客户通讯数据产生的时候是结构化数据,但是数量太庞大,传统的结构化数据分析方式做起来比较吃力,所以现在我们先把它转成非结构化的,输入Hadoop,通过分布式处理,生成并存任务,然后再将结果写回结构化数据,最后我们合作伙伴看到的还是结构化的分析数据。”何京翔比喻说,“这是一个典型的‘一头雄狮子斗不过一群狼’的例子。”
提出“五级”转型战略
尽管当前很多企业都在积极采用大数据分析技术和解决方案来变革业务模式,提升企业的核心竞争力,但是很多企业都对自身的大数据项目并不满意。全球领先的基准研究和咨询机构Ventana Research的研究@示,79%的企业用户不具备运用高级分析技术的必备技能。
姜欣介绍,今年Teradata通过《经济学人》杂志在全球所做的一个调研结果显示,在大数据利用方面,企业主要存在以下三方面问题:第一,数据整合问题,57%的被访企业认为难以获取重要的业务数据;第二,数据应用问题,42%的受访企业认为数据过于繁杂,应用不够友好;第三,数据治理问题,75%的受访企业为因异构数据而浪费时间感到困扰。
“我们目前推出的解决方案和技术,就是为了解决以上三方面问题。”姜欣介绍说,为此Teradata提出了五级转型战略:
其一,坚定地走一体化数据分析平台的道路,不断完善一系列平台产品,其中包括最近推出的Teradata IntelliFlex数据仓库架构和Teradata Aster大数据探索平台
其二,全面向云转型,支持私有云、公有云和托管云等多种部署方式,并在这种云生态下提供咨询和开发部署服务。
其三,打造分析生态系统,将统一数据架构(UDA),以及Unity、QueryGrid和Listener等工具整合起来,形成一个大数据生态,并在这个生态下提供咨询和实施服务。
其四,从完全技术中立的角度为客户提供大数据咨询服务,如大数据战略规划服务、敏捷开发咨询服务、数据建模服务。
其五,坚持客户至上而非产品至上,用多元化的产品全面满足客户需求,帮助客户挖据数据价值。
由此可见,Teradata在大数据领域,除了不断完善产品和技术以外,还不断强化咨询服务能力。
推出无边界分析功能
作为Teradata多年的老客户,瑞典最大的工业企业集团沃尔沃汽车公司从2006年开始建立数据分析平台。一直以来,沃尔沃汽车公司面临的一个问题,就是数据散布在超过30个系统中。公司的整合数据存储库和数据模型中,除了有客户、经销商、车辆与车辆配置信息、质保和故障诊断等数据外,还有很多外部数据。这些数据有结构化数据,也有非结构化数据。
沃尔沃汽车公司亟须一个弹性好、敏捷性高的平台来处理所有这些数据。为此,沃尔沃汽车公司部署了Teradata统一数据架构,将所有需要处理的数据全部整合起来进行处理,从而解决数据孤岛和数据治理混乱问题。在部署了Teradata统一数据架构后,沃尔沃汽车公司构建了全球统一的敏捷的数据驱动环境,从而可以借助可靠的数据分析结果降低运营成本,提高盈利能力和客户满意度;形成基于事实的决策机制和文化,使得公司更加开放和透明;有效支撑“数据创客”活动,员工和合作伙伴可以基于数据平台开发数据产品。
沃尔沃汽车公司成功应用Teradata统一数据架构的案例,是Teradata新推出的无边界分析功能的一个应用典范。据悉,Teradata无边界分析打破了过去在进行数据分析时单一系统、单一技术分析的界限,突破时间、地点,以及所需数据和平台的限制,帮助企业高效完成数据分析工作。
Teradata无边界分析功能通过最新版本的Teradata QueryGrid软件和可以自动协调多系统Teradata环境的Teradata Unity软件来实现。其中,Teradata Unity软件具有高可用性特点和工作负载分配功能,从而确保用户在权限范围内可随时访问相关数据和分析。全新升级的Teradata Unity具有强大的跨系统功能,可进一步消除分析环境界限。
电子专业制造服务公司伟创力公司数据与分析团队主管森迪尔(Sendil Thangavelu)认为,采用多个分析引擎来分析来自多个数据存储库的数据以获得更全面、可视化的分析结果,将成为企业强化竞争优势的重要因素。“我们的Teradata数据管理环境已经非常卓越,但我们一直还在寻找解决方案来提高我们的能力。Teradata的无边界分析概念与我们的企业发展方向不谋而合。”森迪尔补充说。
推出快速分析咨询服务
姜欣告诉记者,2015年年底,Teradata总结出了在新形势下具有较强竞争力的新型企业――技术感知型企业。技术感知型企业应具有敏捷平台、行为分析、协同思维、自助应用和自动决策五大核心能力。
姜欣表示,技术感知型企业对内能够提供数据洞察能力,实现数据驱动流程,提升运营的ROI;对外可以整合数据价值,创新数据盈利模式,实现信息运营。
但是,成为技术感知型企业并不容易。为了帮助客户更加顺利、快速地成为技术感知型企业,Teradata还推出了Teradata RACE(快速分析咨询服务)和Teradata业务价值框架。据介绍,RACE是一套敏捷、技术中立的方法论,能够帮助客户在正式投资前了解分析解决方案的潜在业务价值。不仅如此,借助丰富的行业经验和专业的数据分析技术,Teradata还可以帮助客户将项目实施所需时间从数月缩短至6~10周。
据悉,作为Teradata RACE服务的核心,Teradata业务价值框架是Teradata从数千次与客户成功合作中积累的丰富经验的结晶。该框架通过发现切实有用的分析解决方案,帮助客户更快地从分析和数据技术投资中获取回报。
值得一提的是,随着物联网传感器数据等新型数据源的不断出现,新分析技术的不断涌现,用户部署和应用分析解决方案的难度越来越大。但依托适用Teradata业务价值框架详尽的可视化信息,接受RACE服务的客户可以在实施分析解决方案时,掌握清晰的路线图,了解该项目在何时、以怎样的方式带来投资回报。
姜欣介绍,RACE方法包含三个主要阶段:
第一阶段,沟通(Align)。Teradata的分析业务咨询顾问以业务价值框架作为出发点,帮助客户发现最具潜在价值的业务案例,并对准该业务案例开展工作,确认支持该使用案例关键数据资产的可用性。
第二阶段,创建(Create)。Teradata的数据科学家为选中的业务案例载入并准备数据,开发新分析模型或调整既有模型。本阶段数据科学家会与业务发起人对方案进行多次快速迭代,以确保分析结果能带来预期业务效果。
第三阶段,评估(Evaluate)。Teradata的分析业务咨询顾问分析结果,评估部署分析使用案例的潜在投资回报率,并为客户设计、部署方案。
Ventana Research高级副总裁兼研究主管大卫(David Menninger)指出,企业对数据分析项目不满的主要原因是相关技能短缺,而Teradata的业务价值框架将为企业提供所需技能和最佳实践案例,帮助企业获得丰硕的成果和可观的投资回报。
在互联网+时代,商业环境瞬息万变,无论是互联网企业还是亟待转型升级的传统企业,要想保持自身业务具有竞争力,就一定要走在变化的前沿。如今,越来越多的企业都在通过数据分析的手段来把握未来业务走向。可以看到,无论是全球还是中国大数据市场的规模都在迅速扩大。IDC最新研究结果,预测到2018年全球大数据技术和服务市场的2018年的复合年增长率将达到26.4%,规模达到415亿美元,是整个IT市场增幅的6倍。而根据易观智库的中国大数据应用行业的报告显示,2015-2018年中国大数据市场营销规模达到258.6亿人民币。环比增长率为37.2%。
“在大数据时代,应对海量数据增长不仅需要有强大性能的计算和存储基础设施,” IDC中国企业级研究部研究经理胡向东谈到:“随着应用的复杂化,人们信息需求不断增加,现有数据中心出现了不少自身无法解决的问题,必须要对现有数据中心进行优化或重建,尤其是数据中心网络的重建。而数据量的不断激增也促使企业用户在部署大数据解决方案的过程中,更加需要灵活、开放的网络解决方案。高速的带宽能够帮助企业数据中心逐步实现软件定义的网络、加速数据的分析,并进一步为企业业务提供强劲支撑。”
在实现软件定义网络并进一步推进大数据、云计算应用部署的过程中,对于需要保持竞争力、实现转型升级的企业而言,提高带宽、灵活性和可扩展性变得十分必要。“Spectrum’交换机作为我们开放式以太网交换机的最新产品,能够提供数据中心客户所需的万兆、2.5、4、5和10万兆以太网交换机解决方案的公司,使其能够跟上网络升级对数据获取和处理的要求,并进而保持竞争优势、降低其资本和运营开支,”Mellanox公司市场副总裁Gilad Shainer表示:“我们所推出的全新的端到端以太网解决方案为互联网企业与传统行业用户在云、Web 2.0、数据分析、人工智能等方面的应用开启了一扇大门,使他们可以重新构思数据中心对于不断变化的实际业务需求所能提供的价值。”
互联网公司一直以来都是创新技术应用的风向标。作为中国最大的自营式电商企业,京东拥有丰富的商品、海量的用户、最大规模物流基础设施。为了更好地满足消费者的个性化需求,提升库存配置、物流管理等方面的运转效率,京东在大数据、云计算方面也展开了实践。“大数据技术可以为京东提供智能销量的预测、精准的库存配置、解决物流行业浪费的问题、提升零售行业运转的效率;而借助京东云,我们也能更好地满足卖家和买家的电商应用和IT服务需求,与广大商家、用户、ISV和应用开发者,共同培育电商应用生态,”京东集团副总裁、京东云总经理何刚分享道:“在我们推进大数据、云计算技术在京东应用的过程中,我们深刻体会到,从数据的快速收集、处理、分析到个性化的预测,速度是至关重要的因素。为此,Mellanox所提供的高速、低延迟的开放式网络创新是我们的不二选择。”
在互联网巨头的带动下,在中国,零售、电信、金融服务、媒体等传统行业也迎来了日新月异的变化。传统企业会因互联网而发生裂变、重构和创新,并借助大数据技术实现业务的转型、升级。“据麦肯锡全球研究所的调查数据显示,美国17个行业所拥有的数据总量排名中,传媒业占据第三位。因此,在大数据时代来临之际,数据成为我们传媒产业相关经营活动的核心资源,”至顶网总经理、总编辑高飞谈到:“面对数据吞吐量出现出指数级的增加趋势,媒体也需要对海量信息进行深度挖掘,提炼更有价值的内容,并进行科学合理的包装,同时还需要通过对数据进行详细分类、加工、进行深度挖掘,再将这些洞察提供给有需求的企业用户或合作伙伴。因此,大数据技术的应用在传媒行业的转型中已经成为趋势,而Mellanox以太网解决方案能够在媒体行业运用大数据的过程中,实现降低网络延时,提升信息时效的作用。”
“作为国内领先的基础云服务商,青云一直致力于为用户打造简单、高效、可靠、易扩展的云计算平台,”青云创始人、CEO黄允松谈到:“众所周如,云计算的效率主要取决于网络的高效。因此,除了借助高性能的服务器、存储以及软件之外,高效的以太网解决方案也是构建灵活的、性价比极高的私有云、公有云或是混合云解决方案的重要因素。本次的Spectrum以太网交换机,能够为我们提供无阻塞6.4Tb/s全线速交换能力和路由能力以及业界领先的延迟和最低的功耗,能够帮助我们和最终用户提升数据中心效率、减少相关投入。”
戴尔亚太及日本地区总裁、全球新兴市场董事长闵毅达表示,戴尔目前更加清晰地将定位聚焦在云计算、大数据、移动和安全四大领域,通过这些解决方案来改善人们生活、业务运营与全球协作。“成功实现私有化后,戴尔将更具灵活性,为客户提供更好的解决方案与服务,并携手渠道伙伴、合作伙伴,持续坚持为客户带来端到端解决方案提供增值服务的战略。”
据介绍,戴尔本着利用先进技术、帮助客户转型创新的宗旨,根据市场需求,在其原先由不同专业团队根据消费类客户、中小企业、公共事业、大型企业等不同客户提供个性化解决方案的基础上,更加强调和构建各产品领域的专业化能力。戴尔企业级解决方案管理部门总经理Antonio Julio表示,目前,戴尔已经在全球范围内完成了终端用户计算、企业解决方案、软件和服务等四大业务部门的组织架构调整。在当前企业IT拥抱开放的趋势下,戴尔以PowerEdge服务器、EquaILogic、Compellent、PowerVault等存储系统,以及PowerConnect、Force10等网络产品为用户搭建安全、稳定的基础平台,并开发出多项创新的基础架构融合产品。
作为企业级IT端到端解决方案提供商,戴尔以更加清晰的定位与整合解决方案为用户提供云计算、大数据、移动以及安全等解决方案,改善人们生活、工作方式,并结合戴尔在国内多年深耕行业的经验,为互联网、移动互联网、教育、金融、医疗、制造等行业提供定制化的行业解决方案,助力各类企业以面向未来就绪的IT基础架构轻松拥抱开放新未来。
此次大会前,戴尔刚刚了13G PowerEdge服务器。戴尔全新PowerEdge 服务器依循三个根本原则,包括加速应用性能、在任何环境下提升工作负载,以及简化系统管理。通过这三方面的改进,客户可以将传统和新的IT模式相连,为在数据中心内采用创新技术和优化新应用做好准备。据IDC 2014年第二季亚太区x86服务器市场季度跟踪报告显示,在中国这个成长速度最快的市场,戴尔x86服务器连续第9个季度排名市场第一,充分显示在戴尔在这方面的实力。