文章
  • 文章
搜索
详细内容

大庆油田案例


▶背景


        大庆油田是我国目前最大的油田,也是世界上为数不多的特大型砂岩油田之 一,近年来随着并行计算机、高性能集群技术以及 GPU 等硬件的快速发展,石油勘探的计算频率也得到了巨大的提升,为满足石油勘探软件的不断变革与推新 所带来的存储需求,存储系统就需要针对石油勘探软件算法的特点,开展高性能 集群并行存储技术研究,对存储系统进行定制开发,使存储系统能够高效的满足 石油勘探计算平台需求,为大庆油田的高性能计算平台构建一个高性能、高可用 的存储平台。由于深国科技在大庆油田一期存储项目中得到了大庆油田用户的广 泛好评,特应要针对大庆石油高性能计算平台数据读写特点进行二期存储系统的 定制研发,以满足现今计算飞速发展而对存储带来的需求。 


▶挑战 

        • 存储系统需针对石油勘探计算平台中多种石油勘探软件的 I/O 模式进行分 析,解决在高性能计算平台中由于计算任务量大、并发度高、随机性强等因 素带来的巨大访问压力; 

        • 计算平台在计算过程中会产生海量无规则的大小文件,存储系统需高效的支 持海量文件的并发访问以及快速检索; 

        • 由于石油勘探软件运行模式的多样化,在某段时间内应用平台在访问数据时 存在局部性,为使计算任务的效率更高,存储系统需根据应用系统局部性的 特点,通过智能缓存技术来加速石油勘探计算应用数据的访问;

        • 由于整个计算平台是面向研究院的各个科研室的共享平台,为防止用户之间 发生数据篡改或误删除现象,存储系统需要提供面向多用户的权限管理技术来保证不同任务数据的安全性;

        • 整个计算平台在实际的使用环境中处于 7*24*365 小时的实时运行环境,存储 系统需要提供全局数据高可用机制防止硬件设备损坏导致的数据丢失;

        • 计算平台在实际的使用过程中,随着时间的推移,计算任务规模的不断扩大 以及系统硬件设备的更新换代,需要存储系统能够实现不停机在线扩容以及 更换老旧设备。 


▶深国集群存储优势  


        深国科技研发团队由中科院多名硕博组成在项目上已经有 5 年研制和实用经 验,并在多个行业提供了大量的解决方案和系统方案,支持了国内众多的海 量数据用户,积累了丰富的专业知识和技术。针对于不同应用软件,具备很 强的研发能力,可根据应用特点针对石油行业的具体需求进行定制研发;  

        深国存储系统完全采用通用硬件构建,而性能又能极大超越传统的存储系 统,是目前业内具有最佳性能价格比的技术和产品,能够为石油勘探行业节 约大量的购买和维护成本;  

        此项目完全针对石油勘探软件应用访问特点进行定制性开发,具有独特的创 新性、唯一性和领先性,安全可靠,通过独有的元数据集群技术,高效的分 片技术以及数据恢复等技术,具有世界领先的先进性,创新性,完全符合石 油勘探计算平台的长期存储需求。


▶深国集群存储特点

 

        • 存储系统无容量上线,可有效支撑单卷 300PB 以上的存储容量,保证存储系 统可满足随着时代的变迁产生的不同需求  

        • 独特的元数据调度机制与字节粒度的集群锁机制,可有效支撑数千计算节点 同时进行数据处理,并保证所有数据服务器负载均衡与数据的一致性  

        • 采用集群的形式架构,可充分利用起系统中每一块磁盘的性能,形成聚合带 宽,满足高性能计算环境下的聚合带宽需求  

        • 灵活的存储架构,具有故障恢复、故障自动切换、负载均衡等功能;在不影 响原有系统的前提下进行计算节点、传输带宽、数据迁移能力、数据存储容 量等方面的扩展,可有效支持在线更换存储硬件设备  

        • 统一存储管理界面,可以很好的检测系统中所有服务器的硬件故障以及负载 情况,可单人单点管理数 PB 存储容量 


▶深国带来的提升

 

        • 深国科技针对高性能计算研发了独特的数据恢复算法,使整个存储空间利用 率高达 80%,且数据恢复速度比传统 RAID 机制数据恢复机制提升五倍以上;

        • 根据石油勘探多用户访问特点,研发独特权限机制,可以动态设置目录容量 以及访问权限,完全屏蔽掉由于多用户应用模式存在的安全隐患;  

         •完全针对石油勘探应用访问特点进行定制研发,整个存储平台同时运行多款 石油勘探软件,包括 Omega、CGG、GeoEast、Agt、闪电等多种处理软件, 并在性能上得多种处理软件得到较大提升;      

        • 现今整个平台可为用户提供超过 60GB/s 的聚合带宽,以及 6PB 的实际使用空间;

        • 在实际平台中,cgg 处理软件,使用相同计算节点运行相同作业,原有高端 光纤设备存储需要 4 天完成的作业;龙存只需 10 小时即可完成; 使用 Novaseis(agt)处理软件,分别对深国存储磁盘和原有高端光纤设备磁 盘进行数据读入、排序和输出时间如下: 

360截图20191226171040730.jpg




深国大数据有限公司

扫一扫关注我们

Copyright @ 2018 . All rights reserved.

底部导航

关于我们

联系我们

电话:0755-86665665
微信:18018785757
邮箱:2709172732@qq.com
址:深圳市南山大冲商务中心A

         座1802

IT综合运维管理平台,智能制造整体解决方案服务商

技术支持: 拉米拉 | 管理登录