文章
  • 文章
搜索
首页 >> 解决方案 >>大数据应用及解决方案 >> 中国石油勘探院案例
详细内容

中国石油勘探院案例


▶背景


        中国石油勘探开发勘探院是中国石油天然气股份有限公司唯一的综合性研 究机构和公司战略决策的参谋部、油气勘探与开发生产的高新技术支持中心、技 术服务中心和高水平人才培养中心。其总部设在北京,并在廊坊、兰州、杭州、 荆州等地设有五个分支研究机构,研究人员 1800 多人,40 多年来,勘探院先后 参加了中国大多数大、中型油气田的勘探开发研究工作,是新中国石油工业建设 和发展的直接参与者和贡献者。 

        随着石油行业的发展和地震数据采集技术的不断进步,数据量的急剧上升和 复杂地质构造与地震岩性成像已成为迫切需要解决问题。地震资料处理是将地表 图层数据采集并数字化,供软件分析成像,以满足油田复杂地质构造与地震成像 的要求。为了保持复杂地质构造与地震岩性成像,勘探院采用先进的 IT 技术作 为发展动力,在三维地震叠前时间/深度偏移处理方面,广泛采用了基于 Linux 的 HPC 集群,以近千台服务器加快计算性能并减少费用支出。当计算集群大幅 度提升了地震资料处理的效率之后,作业运行的效率瓶颈就从计算处理方面转移 到了数据 IO 方面。由于原有的存储方案的 IO 性能限制,作业需要花费大量的时 间在等待数据 IO 完成的过程上,浪费了大量的 CPU 计算资源。由此,勘探院迫 切的需要一个具备更高性能、高安全性的存储系统来提升作业运转效率。 、


▶挑战 


       • 石油勘探数据量增长迅猛,容量需求不断变化,为应对未来计算平台发展趋 势,存储系统最大支持容量,将成为一套存储系统的主要关注点;  

        •数千计算节点同时进行并发计算,随机度很高的情况下,对存储系统的数据 读写调度、文件一致性以及负载均衡能力,带来极大挑战;  

        •高性能计算集群极大的提高了资料计算处理能力,导致系统的计算能力远远 高于磁盘带宽,使得系统 I/O 性能与计算能力间产生瓶颈;  

        •随着时代的发展,数据中心无法避免硬件的损坏,当硬件损坏时如何保证数 据的安全性,如何保证应用系统不会受到丝毫影响;  

        •数据量不断增长的情况下,如何对存储系统进行统一管理,减少数据中心运 维成本与复杂度; 


▶深国产品优势 


        中国石油勘探院对多家知名的存储和系统厂商的高端存储产品进行了评测, 最终还是选择了深国科技的 LoongStore 来作为大规模 Linux 计算集群的后端存 储系统。对于具有高并发访问的地震资料处理应用,LoongStore 具有如下突出 的优势: 

        •存储系统无容量上线,可有效支撑单卷 300PB 以上的存储容量,保证存储系 统可满足随着时间推移产生的不同需求;  

        •独特的元数据调度机制与字节粒度的集群锁机制,可有效支撑数千计算节点 同时进行数据处理,并保证所有数据服务器的负载与数据的一致性;         

        •采用集群的形式架构,可充分利用系统中每一块磁盘的性能,将系统中所有 服务器的 CPU、内存、网络、硬盘性能聚合起来,形成一个超强的聚合带宽,满足高性能计算环境下的聚合带宽需求          •灵活的存储架构,具有故障恢复、故障自动切换、负载均衡等功能;在不影 响原有系统的前提下进行计算节点、传输带宽、数据迁移能力、数据存储容 量等方面的扩展,可有效支持在线更换存储硬件设备  

        •统一存储管理界面,可以很好的检测系统中所有服务器的硬件故障以及负载 情况,可单人单点管理数 PB 存储容量 


▶深国构建存储系统简介 

  

        •深国集群存储系统通过文件全局共享的特性让所有的计算节点以更高的并 发粒度对数据进行存取,以超过 5GB/s 的聚合带宽满足上百台 Linux 计算刀 片并发处理的 IO 需求(网络利用率超过80%);  

        •目录权限管理,支撑多用户访问模式,管理员可在线设置与变更目录的访问 权限,禁止未授权用户对目录内数据进行非法操作;  

        •存储系统共支撑数百台计算刀片进行地震资料处理操作,处理软件包括 omega、paradig、cgg 等应用软件;  

        •集群存储系统使用通用的硬件构建的大规模共享存储平台,不但控制了成本 支出,还有效的提升了 Linux 计算集群的资料处理效率,加快了作业运转的 效率。 


深国大数据有限公司

扫一扫关注我们

Copyright @ 2018 . All rights reserved.

底部导航

关于我们

联系我们

电话:0755-86665665
微信:18018785757
邮箱:2709172732@qq.com
址:深圳市南山大冲商务中心A

         座1802

IT综合运维管理平台,智能制造整体解决方案服务商

技术支持: 拉米拉 | 管理登录