云资讯

为了更好地开展对海量数据的大数据分析与挖掘,该单位想在私有云上使用搜索引擎和数据库等应用。部署的时候,IT团

探索深藏大地的“秘密”,云计算助力遥感卫星“落地”

来源:香港服务器 作者:服务器托管 浏览量:153 更新:2020-04-24

从前的人们很难想象,有朝一日我们能够利用遥感卫星从太空窥探深藏大地的“秘密”。

6月初,大理州剑川县的剑湖单看像一片月牙,给人一种圆润的美感。加上被旁笔直的阡陌、错落的村庄以及绿油油的田野包围,剑湖又好似一个正在孕育中的“宝宝”。

8月中旬,一片呈螺旋性旋转的巨大云团以每秒数十米的强风速呈逆时针方向旋转的同时,又以每小时数十公里的运行速度向我国沿海城市袭来……

这些遥感卫星不仅能生动形象地展示祖国的秀丽河山还能监测台风。当然,遥感卫星的作用远不止于此:天气预报、国防建设、城市规划、森林火灾监测、洪涝灾害监测等也是遥感卫星的重要应用领域,国内某卫星单位几十年如一日的做着这些事情,为我国的经济建设和社会发展作出了重要贡献。

国内某卫星单位成立于1991年,承担着我国对地观测卫星数据处理、存档、分发和服务设施建设与运行管理。例如,在矿产勘察工作中,该单位通过遥感图像数据收集、数据预处理、信息提取、遥感异常圈定和遥感地质编图等处理步骤,实现矿场资源预测评价。

经过多年发展,该单位的卫星系统已经从过去单一类型的卫星转变为现在的陆地观测和高分系列卫星,业务范围也从过去只专注于国内需求,转向国内和国际。迄今为止,该单位运行管理着资源系列、环境减灾系列、高分系列等十余颗卫星;有将近3000个法人单位,1万多个注册用户。截至目前,该单位分发的数据量已超过1000万件,已经成为国家陆地、气象、海洋三大卫星数据中心之一。

海量数据的存储、检索、分发是难题

遥感卫星收集的影像数据,需要在地面进行集中处理和分发。2005年,该单位的数据处理系统主要有三个,即:CBERS卫星实验系统用户服务分系统、CBERS-02B卫星用户服务分系统和全国陆地观测卫星数据分发分系统。海量的数据需要高效的地面数据处理系统。2011年,该单位在资源三号卫星和资源02C卫星地面系统建设时,将上述所有分系统数据进行了整合,建成了统一对外服务的数据分发服务分系统。

以往的影像数据是对历史真实、客观的记录,随着时间推移会越来越珍贵,需要永久留存,而多颗卫星同时运作,需要存档的数据就会越来越多。据统计,2015年9月,该单位卫星的在线数据存储达到了10拍,这些卫星每天还会产生超过10太的数据需要存储。

当前对地观测卫星的主要特点表现在高空间分辨率、高光谱分辨率、回访周期短、影像条带宽、立体成像能力和多种成像模式等方面,越来越多的不同平台搭载的观测传感器使得人们可以获得近乎连续高维度数据,这种信息采集的爆炸式增长给分发服务系统带来了巨大的压力,该系统逐渐暴露出了效率和服务等各种问题,而且随着新型载荷不断发展,对分发服务的服务模式也提出了更多要求。

为了更好地开展对海量数据的大数据分析与挖掘,该单位想在私有云上使用搜索引擎和数据库等应用。部署的时候,IT团队发现,这些应用与原有的虚拟化环境并不能很好的兼容,要解决这个问题需要对现有的虚拟化云平台以及裸机平台进行统一的资源管理,营造一个随时、随需的申请和使用存储、计算资源的云实施环境。

基于Animbus打造“即申即用”的云环境

为此,该单位早前就采用了九州云Animbus平台,该平台基于OpenStack、Ceph、外接EMC商业存储为其构建了一个内部OpenStack私有云平台。私有云平台对现有的网络交换机、X86服务器、Isilon存储等硬件资源进行了集成,软件层面则提供前台门户、虚机定制、流程审批、分布式存储和对象存储等功能。具体如下图所示:

私有云平台的搭建,一方面实现了异构资源统一纳管,兼顾传统网络和云网络的无缝对接、平滑过渡和统一管理,帮助该单位减小了云平台的运维难度;另一方面,该单位已经形成了基于专线、电子政务网和互联网“三网合一”的不同层次、多类用户的数据分发体系,该平台的使用也实现了资源实时推送管理分发,为信息共享提供了数据保障。具体效果如下:

专线:与国土资源部、环境保护部、水利部、住建部、减灾委、交通部等国家部委建设了21条专线,实现了数据的自动推送服务;

电子政务网:覆盖范围扩展到京内85家部委行业用户以及京外31个省、自治区、直辖市和新疆建设兵团;

互联网:所有互联网连接的用户都可通过互联网方便快捷地获得数据。

扩容升级,让遥感卫星数据更好地“落地”

部分文章来源与网络,若有侵权请联系站长删除!