文章
  • 文章
搜索
首页 >> 解决方案 >>大数据应用及解决方案 >> 资源三号 02 星-卫星影像大数据处理的创新与应用
详细内容

资源三号 02 星-卫星影像大数据处理的创新与应用


        2016 年发射成功的资源三号 02 星,是我国首次实现自主民用立体测绘双星组网运行,形成业务观测星座,缩短重访周期和覆盖周期,充分发挥双星效能,长期、连续、稳定、快速地获取覆盖全国乃至全球高分辨率立体影像和多光谱影像。

            资源三号 02 星前后视立体影像分辨率由 01 星的 3.5 米提升到 2.5 米,实现了 2 米分辨率级别的三线阵立体影像高精度获取能力,为 1:5 万、1:2.5 万比例尺立体测图提供了坚实基础。双星组网运行后,遥感影像数据获取能力得到极大提升,在高空间分辨率、高光谱分辨率、回访周期短、影像条带宽、立体成像能力和多种成像模式等方面,越来越多的不同平台搭载的观测传感器使得人们可以获得近乎连续高维度数据。这种信息采集的爆炸式增长为信息提取带来了巨大挑战,对数据处理系统的时效性,存储系统的容量、性能、扩展、管理、安全等多方面提出了更高的要求。这些海量的数据的存储、计算和安全,包括整个存储系统自身的持续运维,都对于传统的基于数据库和磁盘阵列的存储架构提出了严峻的挑战。

        我中心通过采用用时下流行的云计算、云存储、超融合等架构,突破多项关键技术,实现了多种技术创新,在国内率先解决了卫星大数据生产处理问题。、


一、基于分布式存储为核心的卫星影像云存储架构


        中心现有大量 FC-SAN、IP-SAN、NAS 等传统存储架构,包括容量、性能、扩展能力、安全性等方面均已无法满足卫星影像业务处理的需求。

        我中心通过定制开发一套高效率的存储系统,将影像生产计算集群中大量各种不同类型的存储设备作为存储资源池,提供统一可动态扩展的存储服务。采用当前技术最先进的分布式存储技术架构,可根据需要自行调度数据和所需的存储资源,通过数据切片并发访问处理的高效性,通过纠删码校验来保证数据的可靠性。随着组网运行的卫星数量和卫星影像数据处理的规模迅速增加,会急速产生大量卫星影像数据,卫星影像云存储可以满足数据量不断增长的按需扩展要求同时可以降低设备成本,提高数据的可靠性和访问效率,并可支持基于云存储的高效并行处理。

360截图20191226173044103.jpg

    

        • 针对分布式存储的特点以及卫星测绘遥感影像数据格式的特点,从并行计算和存储需求一体化的角度出发,研究卫星影像数据的划分策略、存储和组织方法,建立分布式卫星测绘遥感影像数据存储方式设计直接支持影像文件读写的数据类型,实现高性能函数库,提供卫星影像数据文件打包、存储和访问的接口,支持各种卫星影像作业高效访问。


        • 分别从卫星测绘遥感影像数据的特点,以及分布式存储的特点出发,针对卫星测绘遥感影像数据产品,统一考虑计算需求与存储需求,提出了分布式存储下的资源管理、资源调度、认证授权、分层存储、备份恢复、快照管理、性能监控、统计等存储功能。


二、采用计算与存储统一的云计算超融合处理


超融合定义


        现在市场上通常的超融合基础架构是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。
        由于这种超融合架构实现方式还是采用虚拟化的技术实现。虚拟化技术存在快速部署,故障恢复,高可靠,弹性部署,自动化运维管理等优势。面对计算不大的应用场景,将各种应用通过虚拟化技术灵活分配服务器资源,可以提高服务器资源的利用率,提高服务器计算能力。但是虚拟化技术本身是需要一定硬件资源损耗的,对于我中心卫星影像数据处理这种对 CPU、内存、I/O 等计算资源要求极大的应用场景,硬件资源基本都在满负荷状态下工作,所以采用虚拟化技术就并不是特别适合。


计算与存储统一的业务超融合


我中心基于建设好的分布式存储架构的基础上,设计出全新的一种业务超融合架构方式,将卫星影像数据生产业务,直接运行在云存储的硬件资源上,每一台云存储服务器既提供存储服务用,又同时作应用生产用,实现真正的应用超融合

360截图20191226173444304.jpg


第一:通过这种全新的计算与存储方式,首先大幅减少通过网络获取数据的流量,从而提高了系统的计算及存储效率,并解决了传统存储盘阵单点故障的问题;

二:不采用虚拟化技术来消耗服务器的计算资源,使计算资源全部提供给卫星影像数据处理使用;

第三:减少计算服务器的数量,提供全新的一种服务器整合的方法,减少卫星影像数据处理整体的硬件采购成本;

第四:通过降低空间、网络、散热以及电力消耗等途径压缩中心成本;

第五:通过动态资源配置提高对业务的灵活适应力;

第六:通过动态资源配置提高对业务的灵活适应力。


▶系统运行效果


整体系统部署运行后,效果良好:


  ① 部署 32 台存储服务器,总容量高达 1PB,为多个前端业务系统提供存储服务。实际测试聚合读写性能超过 25GB/s,相比原有存储系统性能提升 200%上;


  ② 将卫星影像数据生产业务,直接运行在云存储的硬件资源上,每一台云存储服务器既提供存储服务用,又同时作应用生产用,实现真正的应用超融合;


  ③ 同时将已有的硬件设备全部整合起来,设备利旧,协同工作,实现了存储资源统一调度;


  ④ 极大增强了系统未来的可扩展性,系统未来可持续在线扩容来获得更高的性能和容量,并且不锁定特定存储硬件和厂商。全面实现卫星中心存储系统在容量、性能、扩展、管理、安全等多方面的更高要求。


▶总结


        我中心通过采用时下流行的云计算、云存储、超融合等先进技术,不仅可以充分利用云计算架构的大规模数据并行计算能力,而且能有效解决数据生成的性能瓶颈问题,大幅提高了卫星影像数数据生成的效率,实现了多种技术创新,将进一步加强国产卫星影像在国土测绘、资源调查与监测、防灾减灾、农林水利、生态环境、城市规划与建设、交通等领域的服务保障能力。





技术支持: 拉米拉 | 管理登录