面向科学大数据处理的可计算存储系统

   随着科学大数据的蓬勃发展,新兴的信息化技术日新月异,促进科研方式变革升级,推动重大科技成果产出。高能物理、空间天文、国防军工、航空航天等科学实验装置复杂度和规模的不断增加,产生了PB级甚至EB级的科学大数据,对传统计算体系架构带来前所未有的挑战,全球专家都在积极探索和研究最新的解决方案。在计算机体系结构方面,摩尔定律逐渐失效,传统“冯∙诺依曼”架构由于 “存储墙”问题,导致数据交换成为数据密集型计算性能提升的瓶颈。

面向科学大数据处理的可计算存储系统 

   在此形势下,中国科学院高能物理研究所程耀东研究员主持研发了“面向科学大数据处理的可计算存储系统”,提出将前沿的可计算存储技术应用于科学大数据处理,并为军工领域提供国产化选型方案,系统实现了完全自主设计的可计算存储服务器,使得传统的存储设备具有了计算能力,并把数据密集型的任务从计算节点下沉到存储设备,通过计算存储一体化的架构大幅提高数据处理效率。在本项目完成时将实现可计算存储的容量达到50PB(1PB=1024TB),存储服务器上FPGA(Field Programmable Gate Array:现场可编程逻辑门阵列)功能毫秒级快速动态切换,支持相关典型应用的数据处理效率提高10倍以上。

   “面向科学大数据处理的可计算存储系统”是一种适应于大数据时代的新型技术方案,系统基于国产软硬件系统实现,具有高性能、低延迟、低功耗等技术特点,符合军民两用行业对大数据高效存储和处理的应用需求。