大数据时代下地理信息成果的管理
发布时间:2020-02-06
【摘要】随着我国综合国力的不断增强,经济与科学技术得到了快速发展,地理信息数据的更新速度也越来越快,在未来,地理信息将呈现出数据多样化与海量化的增长,怎样对这些多样化与海量数据信息进行管理是目前急需解决的问题。论文在数据仓库的基础上提出了地理信息的整合方式,也就是在各种地理信息不被改变的情况下提出一个可用的、统一的出口,对地理信息数据进行管理,并为地理信息的应用与表达方式构建起解决措施。
【关键词】大数据时代;地理信息成果;管理
1我国地理信息数据现状
随着社会的不断发展,地理信息数据也在不断增多,但是“信息孤岛”现象依然存在,针对目前我国的地理信息现象,虽然在地理信息平台的辅助下,在一定程度上解决了基础地图应用的问题,但是还有大部分地理信息呈现在“孤岛”系统中,无法进行相互连接与共享,主要问题包括:(1)现有的地理信息资源目录涉及的范围较窄,相关行业在使用过程中无法达到普遍性,且不能满足实际需要;(2)进行编目时,所用时间较长,且资料相对老旧,更新速度慢;(3)由于目录的编辑形式比较传统、固定,只对地理信息内容进行简单的描述,给查询增加了难度;(4)描述信息不足,原数据间的联动性较弱。因此,应运用一项科学合理的方式对地理信息编目进行统一的管理,以此提升信息发布、信息查询、信心共享的效果,这是当前地理信息成果管理继续的需求,在数据仓库技术的基础上采集、整合地理信息元数据,同时,利用资源注册快速定位等技术可以更好地解决上述问题[1]。地理信息建模的规划设计思路和流程如图1所示。
2数据仓库技术
数据仓库技术涉及的方面较多,主要包括地理信息数据的处理、信息的管理、信息的共享以及信息的服务等,在关系型数据理论的基础上建立起多维数据库,进一步实现了关系数据库的建立、管理以及可视化等。
2.1构建数据仓库
在对海量的地理信息成果数据进行管理时,以往使用的管理方法是构建不同种类、数据量较大的数据库,并统一对多元异构数据的格式进行转换,或使用相似的方式进行数据建模,但是经常会因为要处理的数据量较大,给数据管理与维护带来了较大的困难。然而,运用数据仓库技术可以对不同数据的特征及关系进行描述,并可以支持更多领域。数据仓库是根据某一特定数据主体进行分析的集成系统,可以对地理信息成果数据进行选取、加载及清洗等,在处理好这些关系后,可以形成更加精准、更贴近主体、集成性较强的数据信息[2]。
2.2加强对元数据的管理
元素数据管理是建立数据仓库的主要环节。元素数据指的是数据的数据,贯穿于整个数据仓库建立的过程,多用于对数据仓库的构建、使用、管理与维护。在构建地理信息成果元数据时,应严格遵守国家地理测绘信息管理规定。在数据仓库中,元数据库是将具有相同逻辑关系的数据进行组合,以此实现对数据库的管理与维护。
2.3资源注册定位技术
地理信息数据具有息量较大且更新速度较快的特点,目前,中介模式标准化元数据地理资源统一注册是较常使用的方法,其是利用多元化、多结构的地理信息进行工艺的管理。图2为技术流程图。构建资源注册库后,可以对数据库中的元数据进行统一的管理,并可以更好地实现对不同地理信息元数据的统一发布与导航。要快速发现并对地理信息成果资源进行定位,应合理的运用编目技术。数据中所存储的元数据信息可以通过计算机技术进行快速的识别,并可以根据数据特点构建唯一的标识。
3解决措施
3.1具体的实施对象
目前,我国数据成果一体化建设可以分为3大类:第一类,国家相关地理信息部门的普查数据,这类数据现已构建起独立的数据库与单独的管理系统,主要包含了地质地貌数据信息、遥感影像解释数据信息、遥感技术影像数据、专题数据信息、地理国情主要因素数据信息、地表覆盖数据信息及地理国情统计分析成果数据信息等7类数据信息,还包括与这些数据信息相关的历史信息数据、元数据、所使用技术的档案与相关管理数据等[2]。第二类,对地理基础信息成果数据进行绘制,其带有独立监控及自主管理系统。(1)DLG数据与DLG元数据。主要数据有1∶10000、1∶250000、1∶1000000等比例。(2)DOM数据与DOM元数据。与传统的DOM数据相比,新标准DOM数据是将1∶10000成果数据进行整合处理。(3)DEM数据与DEM元数据,是将传统的DEM数据与新标准10000数据进行整合处理。以上所描述的2类数据均来自独立系统数据,在入库后形成地理信息成果。第三类,主要以日常搜集的土地信息成果为主,这些数据比较分散且没有经过组合,因此,很难以GDB的形式进行储存。
3.2相关的技术支持
主要的技术有:(1)Quartz任务调度框架技术,Quartz是利用Java程序对开源作业的调度框架进行编写,在Java程序的辅助下,作业调度可以构建起一个既简单又有利的机制。Quartz可以根据软件开发的时间安排调度作业。可以实现多个调度作业与触发器间的联系,还可以实现一个调度作业与不同出发器间的联系。(2)GEOKettleETL工具,GEOKettleETL工具是“空间可用”版本的Pentaho数据集成(Kettle)。其实际功能是强大的元数据驱动系统,可以将不同来源的数据进行整合。(3)SolrCloud搜索工具,其是在Solr和Zoo-keeper基础上所构建的分布时搜索方案,其核心组件为Solr4.0,其主要会使用到Zoo-keeper数据集群配置中。(4)ORACLE数据库,此数据库多用于储存与数据仓库相关的地理信息数据。
3.3具体的实施环境
地理信息数据仓库实施环境部署主要采用了图3的方式,具体的配置信息如表1所示。首先,可以将ORACLE系统安装在地理信息数据库服务器一点,利用其构建数据库环境,存储地理信息、注册信息等[3]。
其次,可以分别在地理信息管理服务器与ETL服务器中构建起Quartz任务管理工具和GEOKettle数据抽取融合工具,再对每天的数据进行提取、转换、更新等,GEOKettle工具的主要作用是对任务进行具体实施。
再次,可以利用JSP+HTML+TOMCAT模式与Solr-Cloud技术对所应用的服务其进行布置,并构建起B/S服务环境与适合数据仓库使用的系统。在相关技术的支持下实现对数据的注册、输入以及快速搜索及信息导出等。最后,用户可以利用系统成果数据构建起地理成果数据库、基础数据成果数据库等,并可以通过关键字的输入查询到所需要的地理信息。
4应用效果
将数据信息做好设置与介入后,可以通过数据仓库对从不同数据源得到的地理数据信息进行管理,再将数据进行统一编制,统一管理;同时还可以将地理信息成果制作成标签对其进行描述。在得到的地理信息数据中任何一个数据都可以利用快速间进行查询,并对数据成果进行更新,让用户快速得到需要的信息。
5结语
本文先对我国目前地理信息资源成果管理的现状进行了分析,在对地理信息成果进行管理时,以数据库与基础测绘数据库等设置为数据来源,并以数据中心为基础利用数据仓库的方法对地理信息数据进行统一的管理,在大数据时代对多样化数据、海量数据的管理提供了科学合理的方式,提升我国地理信息管理效率。
大数据时代下地理信息成果的管理相关期刊推荐:
《测绘与空间地理信息》(月刊)创刊于1978年,由黑龙江省测绘学会主办。反映测绘学科及地理空间信息科学前沿理论和技术并指导地理信息工作者从事科研、开发、生产的技术性、知识性刊物,主要刊载测绘高新技术、地球空间信息和地理信息系统的前沿理论与技术;地理信息系统工程建设的技术总结与经验交流;测绘行业管理与改革的先进经验;测绘生产技术交流、科研成果推广及教学经验介绍等;测绘学和地理信息学中的理论探讨;国内外地理信息学术动态及测绘科技报道与介绍;测绘科普知识;测绘仪器最新发展等。