11泰坦遥感智能并行处理与云服务平台.pdf
二、项 目 简 介 项目简介(限1000字) 针对我国信息化建设与遥感产业发展重大需求,在国家重点专项、863计划、科技 支撑计划等项目支持下,北京航天泰坦科技股份有限公司联合国内知名大学与中科院 等科研院所,产学研相结合持续攻关,突破多项关键技术,基于目前国际上新兴主流 的计算机大型云服务软件所依托的Kuburnetes(K8s)体系架构,结合Docker容器化、 微服务的设计理念,实现了完全自主知识产权的遥感地理空间数据、地面传感网采集 数据、实时动态的视频数据等超过十几种类型的数据“存储、管理、计算、发布、服 务”为一体的大型综合软件平台,即泰坦遥感智能并行处理与云服务平台(以下简称 “平台”)。 项目突破海量遥感影像多层次混合并行处理、基于深度学习的遥感影像目标智能 识别、异构时空数据分布式动态存储与管理服务等成套关键技术,创新性提出了基于 哈希算法的影像匹配方法、基于单像簇的影像连接点并行化匹配策略、遥感影像处理 全环节超细颗粒度在线并行化机制、基于信息熵和Agent的时空数据组织与存储方法 等。相关研究取得22项发明专利,28项软著,发表83篇学术论文(其中SCI检索17篇, EI检索32篇)。通过由行业知名专家组成的评价委员会评价,认为成果总体居于国 际先进水平,其中在海量遥感影像的快速匹配、大范围遥感影像镶嵌的自动并行处理 等方面达到国际领先水平。相关技术研究成果已成功应用于泰坦遥感智能并行处理与 云服务平台,为平台的高效智能运行、动态配置服务体系架构、便捷更新算法模型、 按需建立空间信息的云服务体系,奠定了坚实的基础。 研究成果已形成产品并规模化应用,改变了传统遥感生产作业模式,提高了遥感 数据处理和时空信息服务能力及效率,在国民经济、社会发展和国防建设等众多应用 领域中取得了良好的社会、经济和军事效益,推广前景广阔,对促进我国遥感软件国 产替代、产业跨越发展和提升国际竞争力,保障国家空间信息基础设施和信息化工程 建设的自主安全可控具有重大意义。 三、科 技 创 新 科技创新(限5000字) 1.立项背景 在习近平总书记“探索浩瀚宇宙、发展航天事业、建设航天强国”的伟大号召鼓 舞和引领下,我国航天事业迅猛发展,已成功发射多颗高空间分辨率、高光谱分辨率 和高时间分辨率遥感卫星。除高分系列外,我国也建立了气象、海洋、资源、环境等 全面的卫星系列,形成比肩欧美的天基资源。高性能微小卫星也呈“井喷”式发展。 无论是国内还是国际的影像获取能力都在大幅度提高。 随着应用的范围和深度不断提升,各领域各行业对卫星影像的需求越来越大,各 行业对多源遥感数据产品的处理技术以及快速生产能力的需求也日益增加。但是,我 国卫星应用和市场化水平与国际先进水平相比尚有差距,大量在轨卫星资源利用率和 天空地一体化数据处理、应用水平偏低。 在国外,摄影测量与遥感数据并行处理系统开发方面,法国InfoTerra公司首先提 出了像素工厂的概念并于2002年完成研制,集成了多项遥感数据处理技术和自动化处 理技术,并具有大规模并行处理和动态作业流程管理功能。2009年,加拿大PCI Geom atics公司的GeoImaging Accelerator(GXL)将高性能计算与PCI Prolines自动化工作 流程的准确性紧密结合,通过使用OpenMPTM和NVIDIA CUDATM 技术,支持多核CPU和 多GPU的并行处理。这两款软件在国内多个领域得到广泛应用。 立项时,在国内以武汉大学、战略支援部队信息工程大学、北京大学等高校为主 的研究机构将计算机网络技术、集群计算技术、摄影测量与遥感数据处理技术进行了 结合,开展了航空航天遥感数据的自动快速处理与服务的相关技术和方法研究,但当 时几乎还没有比较成熟的相关处理和服务系统。 由此可见,立项时国内外在多源遥感数据快速处理技术已经接近成熟,高效率的 应用产品和专题产品生产是当时的市场需求重点,如何结合新兴的网络技术、计算机 视觉技术、人工智能与大数据等先进技术构建一套面向各行各业测绘与遥感数据生产 的网络化、智能化、分布式、快速处理和应用服务平台,便显得非常迫切和尤为重要 。 2.科技含量 (1)总体思路 针对我国信息化建设与遥感产业发展重大需求,在国家科技支撑、863、重点专项 等项目支持下,产学研相结合持续攻关,突破海量遥感影像多层次混合并行处理、基 于深度学习的遥感影像目标智能识别、异构时空数据分布式动态存储与管理服务等成 套关键技术,设计并开发可兼容全国产软硬件环境并具有自主知识产权的遥感智能并 行处理与云服务平台,完整支撑遥感大数据存储、管理、计算、分发与服务的产业链 级应用。 (2)技术方案与创新成果 在对海量遥感影像快速精确匹配关键技术的研究中,提出并采用“基于哈希算法 的海量遥感影像匹配方法”、“基于单像簇的影像连接点并行化匹配策略”,大幅提 高了遥感影像匹配的效率;提出的基于双视线特征感知编组的影像匹配方法和利用自 由形状线特征的遥感影像分级匹配方法,明显提高了成功匹配的自由形状线特征数量 、精度和稳健性。相关研究为后续快速、精确光束法区域网平差和DSM生成奠定了坚 实基础。 在对参考数据支持下的卫星影像稀少控制定位关键技术的研究中,率先将“水边 线等高”、“潮汐模型支持”等条件和数据引入到海岸带遥感影像稀少控制定位中, 提出引入截尾最小二乘估计的最小高差法实现DEM之间的稳健匹配,解决了海岸带、 海岛(礁)、境外地区卫星影像定位精度较差的技术难题。 在对异构时空数据分布式动态存储与管理关键技术的研究中,提出基于信息熵的地理 空间数据自组织方案、基于Agent 的无中心异构时空数据存储方法,引入基于空间知 识云环境的云存储模型与管理、基于元元数据的影像产品数据的管理和检索等方法, 有效利用了多机集群分布式处理能力,采用高速存储系统网络与相关服务,实现PB级 的海量时空数据存储、管理和访问。 在对海量遥感影像多层次混合并行处理关键技术的研究中,提出了一种大区域遥 感影像快速几何处理方法,对大规模影像涉及的瓦片化、纠正、融合、匀色、镶嵌等 处理均进行超细颗粒度在线并行化处理,充分利用计算资源,最大限度地提高几何处 理效率。 在对基于深度学习的遥感影像目标智能识别关键技术的研究中,提出了基于深度 学习的遥感影像标注方法、结合卷积神经网络与集成学习的遥感影像场景分类方法, 设计了基于级联卷积神经网络的遥感影像飞机目标检测方法和基于深度学习的遥感影 像敏感信息自动屏蔽方法,实现了遥感影像目标的半自动标注、场景自动精确分类、 目标的快速高精度检测和敏感信息的自动屏蔽。 在对高分辨率陆地卫星高精度反射率获取关键技术的研究中,基于中国区域长期 实际观测的大气光学、物理和化学参数,构建了6类我国典型气溶胶模型,提出了大 气气溶胶粒子散射对高分辨率卫星陆地成像的退化机理,构建了地表辐射控制点库, 并在此基础上,提出了面向我国复杂多变大气条件的国产高分辨率陆地卫星的高精度 反射率定量反演方法,为后续各类陆表参量的定量提取奠定了基础。 相关研究取得22项发明专利,28项软著,发表83篇学术论文,其中SCI检索17篇, EI检索32篇。 (3)实施效果 依托上述关键技术攻关成果,设计和开发了具有完全自主知识产权的泰坦遥感智 能并行处理与云服务平台。平台基于互联网或移动终端为载体表现形式,以按需共享 的方式为用户提供基于遥感时空大数据的商业应用云服务,利用云存储、云计算、智 能调度能力,整合空间数据资源、行业应用资源、基础设施资源等资源,形成从原始 遥感时空大数据到行业应用的产业链服务,打造基于云平台的空间产业与应用生态圈 。实现了对时空信息资源、技术资源和智力资源的系统整合,构建了一套完整的集存 储、管理、计算、分发与服务于一体的产业链级服务模式,提供一站式、日常化、持 续性服务,使遥感贴近各层次用户、直接支持业务应用,形成为遥感时空大数据量身 打造的云服务平台。 平台推动了遥感产业化的进程。平台立足于国产自主高分辨率对地观测数据,结 合计算机网络及集群处理技术、建设高性能、高自动化、高分辨率遥感数据生产线, 提高我国遥感软件平台的质量与水平,进一步加快遥感产业化的进程,真正实现遥感 云服务平台的实际应用。 平台推动形成遥感产品生产线,并带动相关产业的发展。通过本平台的建设,具 备基于云平台的高分海量遥感数据快速处理能力,形成实用的、可靠的、稳定的、流 程化的遥感数据产品加工生产线;为不同的行业、不同的部门、不同的应用领域提供 更加丰富、更加实用、更加急需的各种遥感数据信息服务;同时也带动了更多遥感产 品应用行业、领域的发展,并带动与之相关的产业的发展。 3.创新点 (1)提出了多种海量遥感影像快速匹配方法。基于哈希算法匹配方法和基于单像 簇的影像连接点并行化匹配策略,较国际著名的SIFT算子在匹配效率上提升两个数量 级;基于双视线特征融合编组和边缘特征的分级匹配方法,显著提高了边缘点匹配的 数量和精度。 佐证材料:附件2研究报告;附件4评价与鉴定意见;附件5查新报告;附件8专利 证明1、2;附件9软著证明1—15;附件10论文证明1—15。 (2)提出了基于信息熵和Agent的时空数据组织和存储方法,结合Kubernetes和d okcer等容器化技术实现了时空大数据动态异构存储,充分利用多机集群分布式处理 能力,实现PB级的海量异构时空数据的存储、管理和访问。 佐证材料:附件2研究报告;附件4评价与鉴定意见;附件5查新报告;附件8专利 证明3、4、5;附件9软著证明2、13—23;附件10论文证明16—21。 (3) 提出了一种大区域海量遥感影像自动并行几何处理方法,采用遥感影像处 理全环节超细颗粒度在线并行化机制,充分利用计算资源实现海量遥感影像的高速协 同处理。 佐证材料:附件2研究报告;附件4评价与鉴定意见;附件5查新报告;附件8专利 证明6—19;附件9软著证明1—16、24—26;附件10论文证明1—15、17—73。 (4)分别提出了基于深度学习的遥感影像目标智能标注、检测和信息自动屏蔽方 法,其中飞机目标检测的平均精度比国际公认的Faster RCNN高出约11%。 佐证材料:附件2研究报告;附件4评价与鉴定意见;附件5查新报告;附件8专利 证明20、21;附件9软著证明1—2、13—15、27—28;附件10论文证明74—79。 (5)揭示了气溶胶粒子散射对高分卫星陆地成像的退化机理,构建了我国6类典 型气溶胶模型和地表辐射控制点库,提出了适合我国气溶胶特性和陆地遥感卫星特点 的大气订正方法,有效提高了我国复杂大气条件下的陆地遥感卫星反射率定量反演精 度。 佐证材料:附件2研究报告;附件4评价与鉴定意见;附件8专利证明22;附件9软 著证明1、2、13;附件10论文证明80—83。 4.保密方面 推荐项目的详细科学技术内容中无需要保密的技术内容。 5.国际比较 国际上遥感数据智能并行处理与云服务技术研究和系统开发方面,美、法、加拿 大等国家处于领先水平。影像特征提取与匹配是遥感数据智能并行处理的基础和关键 ,这方面国际上著名的算子包括SIFT 算子、SURF算子、KAZE算子等。SIFT 算子是提 出最早最著名的尺度不变特征变换算子;SURF 算法在SIFT 算子基础上,进一步提高 了特征点提取和匹配的效率;KAZE算子具有更好的尺度和旋转不变性。遥感数据智能 并行处理系统开发和应用方面,国际上最著名的当属法国InfoTerra公司的像素工厂 和加拿大PCI Geomatics公司的GXL,以其大规模并行处理能力和自动化程度享誉世界 。在地理空间数据云存储与服务方面,ArcGIS Online服务是ERSI公司面向全球客户 推出的云GIS商业服务,可以充分利用云基础设施,方便用户存储和管理地图与地理 信息。 本项目的相关技术研究和平台开发充分吸纳了当前国内外最新的研究成果。海量 遥感影像的快速匹配中,在SIFT 、SURF等算子基础上,提出了基于哈希算法的海量 影像匹配方法HashSIFT,在兼顾匹配特征点数量和正确率的前提下,匹配效率可高出 SIFT算子两个数量级(提高200倍以上), 高出SURF算子50倍以上。提出的大区域海 量遥感影像自动并行几何处理方法,采用遥感影像处理全环节超细颗粒度在线并行化 机制,充分利用计算资源实现海量遥感影像的高速协同处理。项目在陆地遥感卫星反 射率定量反演、时空大数据组织和存储、深度学习目标智能解译等方面也取得了突破 性研究成果,创新点突出。研发的泰坦遥感智能并行处理与云服务平台,可完整支撑 遥感大数据处理、存储、管理、访问与服务的产业链级应用。通过对比,平台功能比 像素工厂、GXL和ArcGIS Online更强大,处理效率更高,支持的时空数据更多样。 综上所述,经过专家鉴定、评价,一致认为成果总体居于国际先进水平,其中在 海量遥感影像的快速匹配、自动并行处理等方面达到了国际领先水平。 佐证材料:附件2研究报告;附件4评价与鉴定意见;附件5查新报告;附件8专利 证明;附件9软著证明;附件10论文证明。 四、推广应用情况 1、推广、应用情况及社会评价(限 2000字) 泰坦遥感智能并行处理与云服务平台是基于互联网或移动终端为载体表现形式, 以按需共享的方式为用户提供商业应用云服务,利用云存储、云计算能力,整合空间 数据资源、行业应用资源、基础设施资源、服务资源、技术资源和智力资源,形成从 原始数据到行业应用的产业链服务,打造基于云平台的空间产业与应用生态圈。 目前,该平台已推广至东南亚的菲律宾、泰国、哈萨克斯坦等“一带一路”沿线 国家相关企业,已与16个国家建立对接联系,侧重发展国际代理、促进项目合作;重 点跟踪推进的国家:乌兹别克斯坦、印度尼西亚、尼日利亚、以色列、哈萨克斯坦、 白俄罗斯等;在国内方面,产品已经在北京、云南、福建、甘肃、浙江、湖北等20余 个省市自治区进行推广,累计解决了300多个政府部门、企事业单位、教育、交通、 农业、林业、水利、环保、国土等行业用户以及3500多个人用户对数据进行存储、管 理、计算、发布、服务等问题。 泰坦遥感智能并行处理与云服务平台先后在“巴楚县现代畜牧养殖基地信息化工 程项目”(合同额14530万元)、“崂山区森林防火智能监管系统”(合同额4168.68 万元)、“昆明市林业信息化项目(二期)”(合同额1446.8万元)、“贵阳市林业 信息化项目(二期)技术开发”(合同额1258万元)等多个项目中得到广泛应用,已 产生直接经济效益总额超5亿元,实现上缴税收近千万元,间接经济效益累积超过20 亿元。 该项目的研究成果得到了广泛的应用,相关案例不胜枚举,如福建省利用泰坦遥 感智能并行处理与云服务平台作为建设“海丝”卫星数据服务中心的尖兵利器,将其 应用于遥感大数据智能管理服务、遥感数据处理服务、信息共享服务以及遥感影像智 能解译服务,为海上丝绸之路卫星应用建设提供了技术支撑。依托本项目研究成果, 建设了国家林业和草原局时空大数据平台,将用户现有的各类航空遥感、地面实时采 集和地面调查数据及产品集成到平台上,推进各类“天-空地”数据及产品高效应用在林业资源监测评价领域,提升林业资源管理水平,推动林 业现代化建设。依托本项目建设的云南省基础影像数据管理及发布平台,实现了对20 16年以来云南省的基础地理数据,包括正射影像产品数据、DEM高程数据和部分矢量 数据等的管理(自动入库、编目管理、查询检索)、在线处理、服务发布。从2017年 初开始依托该项目进行大规模影像生产镶嵌和在线发布,目前已经管理和在线发布了 超过3万景高分辨率遥感影像。 通过泰坦遥感智能并行处理与云服务平台建设,满足了政府、企业不同的需求, 推动空天数据存储、处理、分析和应用等方向相关技术创新和产业化应用创新,推动 系统开发、数据运维等产业发展和基于海量空天数据的消费市场形成,从而带动产业 和行业发展。 此外,通过本项目的建设,形成一系列具有自主知识产权的先进技术和关键产品 ,突破空天信息行业中数据全生命周期管理困难,数据应用周期过长,行业用户“最 后一公里”的需求等瓶颈,满足用户对基于空天数据越来越高的移动式、嵌入式、交 互式应用需求。 伴随着“云计算”技术的不断发展,未来地理信息产业将逐步过渡云服务阶段, “终端+网络+云”的新模式既节约资源、方便服务、又提高劳动生产率和效率,同时 终端、网络、云,各有各的计算、数据、软件和安全问题,各有各的核心技术,正在 逐渐形成自己的技术体系,未来地理空间信息云服务平台的需求将是非常巨大的,市 场前景不可估量。