英特尔着眼于下一代大数据技术
- 来源:计算机世界 smarty:if $article.tag?>
- 关键字:英特尔,大数据,处理器芯片,Spark技术 smarty:/if?>
- 发布时间:2015-01-08 08:40
英特尔在大数据方面,除了坚持开放性,还盯着下一代技术。
在大数据方面,英特尔一直以一个积极参与和推动的角色出现。在日前举办的“2014中国大数据技术大会”上,英特尔大数据首席架构师戴金权介绍了基于Spark软件栈的下一代大数据分析,再一次凸显英特尔在大数据技术研发中的领先性。对此,记者采访了戴金权和英特尔云创新中心解决方案架构师程从超。
“作为在处理器芯片方面的领先者,英特尔在大数据方面所做的工作远远不止提供一个硬件平台。”程从超说。2014年4月,英特尔投资大数据软件提供商Cloudera,曾引起业界广泛关注,之后,英特尔还与业界许多厂商在大数据方面成为合作伙伴。程从超表示,英特尔大数据战略采取完全开放的架构,不论从硬件还是对开源社区的贡献,以及对一些特定产品的开发和提供行业解决方案,英特尔都是开放的态度。
程从超介绍说,英特尔在大数据方面所做的工作和开放性主要表现在三方面。第一,从最底层的硬件层面,英特尔提供一个平台,处理器方面就有很多型号是针对不同大数据应用的,同时,英特尔与传统的硬件厂商和数据库厂商都有很好的合作,并支持现在很火的Hadoop NoSQL技术,以及在网络、存储等方面提供支持。第二,英特尔对大数据开源社区和开源软件的贡献在全球排在前三名。第三,在行业解决方案方面,英特尔在中国建立了云创新中心,针对特定的垂直行业提供集成了软件、硬件、行业应用的端到端的大数据解决方案。
戴金权表示,Hadoop将MapReduce分布式计算和大数据技术带入主流应用,但是,随着大数据需求和使用模式的扩大,Hadoop已暴露出诸多局限性,特别是越来越多的数据应用需要使用超越MapReduce的全新大数据分析模式,对数据进行准实时的深度挖掘和分析。“这些下一代的大数据分析场景和平台有几个显著的特性”,戴金权说,比如对来自不同来源、不间断的输入数据进行准实时的流式处理;对海量数据使用大规模复杂的机器学习和图计算,进行深度挖掘和分析;使用分布式高速内存数据缓存,以支持交互式、迭代计算和数据分析。
英特尔正是看到这些日益明显的大数据发展趋势,因此在开源社区与合作伙伴一起,为了达成下一代大数据的愿景,做了大量的工作。戴金权说,Spark目前在业内是比较领先的技术,围绕着ApacheSpark,英特尔从两三年前就开始与UCBerkeley进行了很紧密的合作,在软件上尤其是一些开源开发方面做了大量贡献。在Spark技术方面,2015年在美国和中国都会有相应的会议,目前来自不同行业的用户和厂商也都在关注Spark,并在研究如何在具体的应用中利用Spark。
尽管Spark技术刚出现不久,并不完善,但戴金权认为,这其实与Hadoop刚出现时的情况类似,对大多数企业来说,它可能还是一个高精尖的技术,如何能得到更广泛的应用,可能还需要做大量的商业化的工作,“我们看到,在开源社区和业界的一些公司中,目前已经开始在做这方面的工作,期待未来会有很好的应用。”戴金权说。
本报记者 郭平
