HPC China 2013:迈入高性能计算时代
- 来源:计算机世界 smarty:if $article.tag?>
- 关键字:大数据,云计算,HPC smarty:/if?>
- 发布时间:2013-11-14 13:15
大数据、云计算,这无疑是近些年来IT业界最为炙手可热的两个“流行词”。不过,当人们热衷于谈论起这些概念的时候,却忽视了其背后的一个重要技术:高性能计算。尽管我们不能说,高性能计算是实现大数据和云计算应用的唯一支撑,但是毫无疑问,没有了高性能计算,大数据和云计算概念是有缺憾而且不完整的。
不过,时至今日还是有很多人认为,高性能计算和超级计算机只是停留在实验室里的产物。殊不知,其目前已经应用于包括金融、能源、地质勘探、互联网等多种领域之中。“高性能计算正在逐渐深入到我们的实际应用之中。”在10月29日~31日举办的2013年全国高性能计算学术年会(HPC China 2013)上,业内多位专家均抛出了这样的观点。
大数据大发现
高能物理、高性能可视化与可视化分析、生物学、气象,甚至社交网络,这些都成为了HPC China 2013会议的演讲主题。与以往不同的是,本届全国高性能计算学术年会不仅将重点放在了对高性能计算技术的论证和研讨上,同时还将多场演讲的主题与大数据应用挂钩。
这也就无外乎,为什么大数据分论坛成为本次大会最为火热的一个场次了。“从大数据到大发现”,这是中国科学院高能物理研究所研究员孙功星在HPC China 2013上的演讲题目。这一题目其实可以很好地概括高性能计算与大数据之间的联系。
孙功星介绍说,在高能物理领域的大数据处理过程主要包括三个方面:首先是Data Recording,也就是从探测器中获取Raw Event,以二进制格式记录的探测器信号,再由计算机产生模拟实验的蒙特卡罗模拟数据,将物理信号数字化;然后是Data Processing,即读出Raw/MC Raw,处理产生相关物理信息,如动量、对撞顶点等;最后就是Data Mining,这一布是物理学家对由上千个属性所组成的DST Event文件进行分析,并最后产生物理结果。
“现在我们已经在开始尝试采用Hadoop本地系统进行研究。采用Hadoop方案之后,对于网络、磁盘阵列的需求减少很多。”孙功星表示,“未来高能物理领域将会产生出更多数据,这会为计算带来更大的挑战。因此,高能物理未来的发展趋势是与新型的计算机体系结构,以及高性能计算机结合起来。”
孙功星的观点也可以说是代表了目前业界的一种普遍观点。曙光公司副总裁邵宗有在本届学术年会上就向记者表示:“高性能计算完美契合了大数据在运算能力、高性能存储等方面需求,而大数据则给高性能计算提供了新型商业市场,有助于推动高性能计算拓展新的市场蓝海,两者在产业生态链上的紧密衔接可以很好的推进信息资源组织模式的深入变革与发展。在应对大数据挑战的过程中,高性能计算可以起到重要作用。从数据的存储与处理的角度来说,采用高性能计算系统不仅可以大幅降低大容量存储的成本,而且其处理数据、传输数据、恢复数据的速度会远远超过普通的计算系统。在过去完整恢复一块硬盘的速度可能需要48个小时,但融合了曙光高性能计算技术的存储产品,能将时间控制在十几分钟,显著降低了大规模集群存储系统中用户运维的压力,提高了系统效率。”
构建完整生态体系
从全球领域来看,伴随着技术的不断进步,高性能计算的应用范围不断扩大,其正在迸发出前所未有的活力。而在这一过程中,相关厂商的作用不容忽视。一方面,他们将科研成果加以实践和应用;另一方面,他们还在积极地营造出一个高性能计算的生态系统,培养更多技术人员。
孕育技术、培植市场、发现商机,再由厂商对科研进行资助,在我国高性能计算的领域已经形成了一种良性商业循环。HPC China 2013现场所举办的“2013全国教育科研并行应用程序优化大赛”,就是这种循环的体现。在这场主题为“寻找优秀并行应用,提高并行程序性能”的比赛中,汇集了来自中科院计算所、中科院软件所、中科院超算中心、国防科技大学计算机学院、中国科学技术大学、西安邮电大学、清华大学计算机系以及山东大学等研究机构和高校的8支团队。
中国计算机学会高性能计算专业委员会(CCF TCHPC)与英特尔(中国)有限公司共同主办了这次比赛,并由北京并行科技有限公司所承办。最终,国防科技大学计算机学院以优异的并行程序性能夺得桂冠,获得5万元奖金和“微异构优化奖”奖杯及证书。中国科学技术大学和清华大学计算机系共同获得第二名,分别获得1万元奖金,以及“微架构优化奖”和“多线程及MPI优化奖”奖杯及证书。另外五支参赛团队分别获得5000元奖金及“并行应用优化奖”奖杯。
在本次比赛中,应用到了并行科技所开发的大数据可视化软件 Paramon应用运行特征收集器和Paratune应用运行特征分析器。并行科技总经理陈健表示:“对很多人而言,高性能计算有如阳春白雪,过于高端。而实际上高性能行业的发展趋势即是让更多的人较为直观地看到一些应用运行特征。”他认为,用户需要的不仅仅是英特尔所提供的方便的工具和良好的开发环境,还需要更直观的应用环境。作为英特尔的代理商,并行科技希望借助于英特尔让更多人使用并行科技所开发出的Paramon软件,降低用户使用能耗,实现数据采集、数据分析及数据可视化。
英伟达(Nvidia)在HPC China 2013上阐述了他们对于高性能计算生态系统的看法。众所周知,英伟达在很早以前就已经在高性能计算领域推出了GPGPU(通用GPU)的概念,并积累下大量的应用实例。在这个从无到有的过程中,英伟达构建起了一套完整的体系。这个体系中有像GeForce这种面向游戏和消费领域的高销量产品,也有像Tesla这类面向高性能计算的专业系统。英伟达公司高性能计算开发技术经理王鹏表示,高性能计算系统的开发是非常耗费成本和精力的,英伟达在其中的做法是,以GeForce产品系列的开发为基础,将算法移植到高性能计算方面。王鹏介绍说,在英伟达,由于算法部分拥有很高的相似度,因此科学计算与游戏编程已经很好地结合在了一起,“模拟分子运动也可以等同于模拟游戏”。同时,无论是密集型科学计算还是带宽密集型科学计算,都可以应用到游戏方面的经验,从而使高性能计算真正为应用服务。
英伟达方面表示,其正在致力于继续开拓高性能计算应用开发的市场,降低进入门槛。“未来所有采用英伟达显卡的个人电脑和工作站,即使是消费领域的GeForce产品,都可以进行高性能计算应用的开发。”王鹏表示,“这将为高校学生接触高性能计算打开一扇窗。”
除此之外,前不久英伟达与IBM、谷歌等公司组建起了OpenPower联盟,这一联盟将提供开源的POWER固件,即控制基本芯片功能的软件。因此,整个联盟将提供前所未有的开放性,能够帮助开发人员针对各类计算工作负载定制全新的服务器硬件。
链接1:
TOP100,重磅级发布
每一年的HPC China大会,最重磅的内容都是TOP100超算排行榜的发布。北京应用物理与计算数学研究所研究员袁国兴研究员在本次大会上发布了2013年最新一期的TOP100超算排行榜单。在榜单中,天河二号当之无愧而且毫无悬念的成为了第一名,第二名则是去年的冠军天河一号A,这两台超级计算机均来自国防科大,神威蓝光位列季军。据悉,本次TOP100榜单共有59台超级计算机系统全新上榜,榜单内容相比去年进行了大幅度的更新。值得一提的是,来自国家气象局、广东省气象局的3台IBM超级计算机分别获得了榜单排名的并列第11名和22名。
本次TOP100榜单中的亮点不至于次。近日刚刚发布的上海交通大学高性能计算机在榜单中排名第37位,也是目前为止第一次采用CPU+GPU+MIC三重架构的产品。而从榜单的整体来看,采用异构计算的超级计算机数量相比去年有了明显的提升,包括了排名第75位的厦门超算中心的神威4000H和排名第100位的中科院理论物理所的曙光GHPC1000。
为什么每年TOP100都会收到很大的关注度?实际上,这个榜单就是中国高性能计算领域的一个缩影。总结这几年的TOP100我们会发现,不仅高性能计算的性能在逐渐提高,其市场也在逐渐扩大,新技术层出不穷。结合大数据和云计算应用的普及,我们可以毫不犹豫的判断出,这个世界已经进入了一个“高性能计算时代”。
链接2:
英特尔展示微异构Embree照片级光线追踪解决方案
在HPC China 2013现场,英特尔展示了基于至强 E5处理器和至强融核协处理器平台的Embree照片级光线追踪解决方案。
英特尔数据中心及互联系统事业部技术计算和平台应用支持团队平台架构师何万青介绍说,所谓光线追踪(ray tracing)就是一个在二维(2D)屏幕上呈现三维(3D)图像的方法。简单来讲,这个技术的原理就是通过一个光线跟踪程序利用数学方式确定和复制从一幅图像的光线的路线。在计算机图形领域中,这种技术被普遍应用于生成高质量的照片级图像,大大简化了构建渲染模型,并且最大化的还原物体的细节。目前,该技术被广泛应用于游戏、动画、电视和DVD制作、电影等专业图形应用领域。但是在实际使用中,光线追踪技术应用运行的速度成为了最大挑战之一。
Embree 是一组由英特尔研究院开发的高性能光线追踪内核。这些内核经过专门的优化,并且支持 SSE 和 AVX 指令集,可在最新的英特尔处理器上进行照片级的渲染。除了光线追踪内核,Embree 还提供了一个照片级渲染引擎的示例。Embree 专为 Monte Carlo 光线追踪算法而设计,其中大部分光线都不连贯。在这种情形下,Embree 中特定的单条光线穿越内核可以提供最佳性能,而且它们极易集成到现有应用当中。
在本次的展示中Embree系统被运行于基于英特尔至强处理器与至强融核协处理器的微异构平台之上。 何万青表示:“之所以采用微异构,是因为光线追踪技术对计算、尤其是并行计算的能力需求很高,以实现高质量的实时渲染,这也是至强融核协处理器最擅长的。与传统架构平台对比,采用至强处理器与至强融核协处理器的平台将渲染速度提升至4倍之多。”
链接3:
国际高性能计算咨询委员会中国研讨会召开
作为中国高性能计算学术年会的重要组成部分,由国际高性能计算咨询委员会主办的中国研讨会在桂林召开。来自中外的高性能计算研究人员、程序开发人员、系统管理员,以及众多大学相关领域老师学生汇集一堂,共同探讨高性能领域的最新动态及未来发展。
科学计算和大数据给高性能计算带来了跟多的应用需求,进一步促进高性能计算向百亿亿次计算的目标进军。在这个过程中,包括体系架构、应用编程、运维管理等多方面的问题,都在拷问高性能计算的方方面面。
来自美国俄亥俄大学的Panda教授在其演讲中指出,未来基于RDMA特性的InfiniBand产品将会在高性能计算系统中大有作为,不过这些新的解决方案需要在软件方面进行全新的设计,以发挥出它们的特性。Panda教授的观点也得到了来自Mellanox公司Richard Graham教授的认同,后者曾经在美国橡树岭国家实验室工作。在他看来,百亿亿次计算平台面临着来自通信、Scalable MPI标准等多方面的挑战,而基于Infiniband解决方案能够带来了性能方面极大地提升。在演讲中,Graham教授结合美国德州TCAA超算中心、中国深圳超算中心等实际应用,介绍了Mellanox相应的IB解决方案是如何帮助用户解决网络传输带宽和延迟的问题。
在本次会议上,除了来自各方专家的报告外,还公布了首届RDMA编程大赛的获奖名单。国际高性能计算咨询委员会的刘通表示,RDMA作为一种能够克服传统以太网缺陷,在高速网络上实现互联的新型通信方式,正在越来越被业界所观众。但是,目前国内高校尚缺乏对RDMA技术的关注,自然在人才培养上也存在不足。国际高性能计算咨询委员会之所以举办这样的比赛,就是希望能与众多教育机构一起,推动相应人才的培养。本次大赛,心音了21所高校的2支参赛队伍,最终来在来自华中科技大学和西北工业大学的同学获得了一等奖。“这样的比赛还将继续下,以推动更多的同学能够投身到在高速网络通信技术上的研究。”刘通说。
本报记者 李旭阳 汤铭
