数据集成融合服务器_融合数据库

hacker|
89

文章目录:

数据的集成

数据的集成是将电子文本、相关数据的内容信息、结构信息、背景信息采用标准和规范手段,进行编码、聚合、重组,使其成为一个有机整体,以便集中、交汇和共享。

集成的作用,是将分散的“祼文件”与“纯数据”按照地质资料的内在联系要求,按项目或课题为单位实施集中。它是对分散形成的电子文本及数据体形成有机融合和优化使用,是对电子文本要素优化和体系重构,以便将各类信息同电子文件与部分数据信息一起提取出来,从而符合地质资料管理标准。

集成可采用专用接口方法、共享数据库方法和建立集成平台方法。这三种方法在一些矿产类企业中已经使用,并在实践中逐步趋向完善。专用接口方法,是将工程一线的测井、录井数据及时通过网络传输到研究院工作站等专用接口;共享数据池方法,是开发了勘探开发数据池,将日常形成的相关数据与电子文件传入服务器,由专人负责日常数据维护,研究人员可以随时随地访问数据池;建立集成平台方法,是目前正在起步阶段的数据中心应用平台建设,所有经过验收的数据进入数据池,综合分类有序管理,并建设软件应用平台,以供给客户在勘探、开发、研究、决策的工作使用,不但在后台提供数据和各种电子文本,而且能在平台上进行应用研究与部署演示。

西北地质灾害调查数据集成与服务系统建设初探

李 林 张红英 李 珂

(中国地质调查局西安地质调查中心)

摘 要 应用信息技术将海量的地质调查数据信息按照一定的标准进行数字化存储、管理,通过现代网络服务技术,不仅可以实现信息资源的目录查询,而且可以实现信息的空间查询、检索、浏览,及时有效地为用户提供综合客观的地质信息服务。本文基于此地质信息服务发展方向,依据西北地质灾害调查项目特点和空间数据库现状探索地质灾害管理与防治信息通过网络信息术进行集成与服务。系统基于地质数据库管理思想,架构于大型数据库系统(SQL Server2008)上,充分利用数据融合、集成及管理技术,空间搜索查询技术以及网络技术,采用 C/S 和 B/S 模式将地质灾害数据获取体系、数据管理与分析评价体系,以及数据共享与发布体系关联起来,探索实现集地质灾害的数据采集、信息分级管理、灾情评估、快速响应以及信息发布。

关键词 地质资料 数据集成 系统建设

1 引言

我国是世界上地质灾害最严重的国家之一,每年因地质灾害造成的直接经济损失占自然灾害总损失的 20% 以上,直接影响了人民的生活,制约了社会的可持续发展。国家对此很重视,尤其 1999 年以来地质灾害逐步成为地质环境工作的一项重要职能,越来越受到重视。随着地质灾害研究的深入和地质灾害资料的积累,地质灾害信息基础数据库日益庞大。如何管理这些基础数据乃至从中挖掘和组织出更有用的信息,这都是传统的方法和技术所难以胜任的。随着以 GIS 技术为核心的 3S(GIS,GPS 和 RS)技术在地球科学领域中的蓬勃发展,地质灾害的研究和信息服务工作开辟了一条崭新的途径,使得地质灾害信息共享和动态管理、综合分析和预测、快速预报和应急指挥等成为可能。

西北地质灾害调查数据集成与服务系统的建设就是探索将地质灾害管理与防治信息,通过网络数据库技术进行集成,打破时间、空间和部门分隔的限制,将地质灾害防治管理带入不断积累、科学管理和合理利用,地质灾害防治带入动态评估、快速响应、远程会商及应急指挥的良性循环轨道,系统全方位地实现了向社会提供优质、透明和高效的信息服务,达到了提高地质灾害防治管理效率和质量的目的。

2 系统框架

西北地质灾害调查数据集成与服务系统基于地质数据库管理平台,架构于大型数据库系统(SQL Server 2008)上,充分利用数据融合、集成及管理技术,空间搜索查询技术以及网络技术,采用 C/S 和B/S 模式将地质灾害数据获取体系、数据管理与分析评价体系以及数据共享与发布体系关联起来,实现集地质灾害的数据采集、信息分级管理、灾情评估、快速响应以及信息发布等功能为一体的综合应用。

3 数据集成内容

完整、齐全、有效的第一手资料是建立空间数据库的前提,而地质灾害所涉及的信息众多且来源广泛,能有效地对系统所涉及的多源海量数据进行管理、再现和分析是系统的核心、关键。本次数据集成依据西北地质灾害调查项目特点和空间数据库的建库现状,进行数据筛选、以确定建库所需的数据资料。

集成数据内容包括西北地区历年来完成的“县(市)地质灾害调查”与“1∶50000地质灾害调查”成果,目前分类别分阶段完成了西北“县(市)地质灾害调查”200 多个县市成果的地质灾害调查报告、成果图件及数据库等内容和“1∶50000 地质灾害详细调查”成果,包括延安等 30 个县调查报告、成果图件及数据库等内容进行整合。

为便于数据管理与分析,对地质灾害信息采用了分类、分组、分层的管理模式,将数据库划分为地质灾害调查数据库、地质灾害成果图件数据库、非结构化资料数据库(office 文档、照片、视频等)等多个专题数据库,每个专题数据库中的数据又由若干分组信息组成。易于实现整体查询和归并检索输出,同时也保证了系统的快速高效的性能要求。

4 数据处理与汇总

将地质灾害信息数据上载至集成与服务系统之前,须经数据整理与汇总集成,具体包括灾害调查属性数据整理、成果图件数据整理、图件图层文件整理、投影变换整理、图件图例统一、元数据等几方面的整理。

4.1 灾害调查属性数据整理

灾害调查属性数据整理,重点是根据最新版“县市地质灾害调查数据库”和“1∶50000 地质灾害调查数据库”格式为标准,整理崩塌、滑坡、泥石流、地面塌陷、地裂缝、遥感解译等地质灾害点属性表,统一属性结构;检查统一编码一致性,确保编码与空间位置、行政编码逻辑一致性;检查空间位置经纬度坐标表达是否正确;检查调查表关键属性的正确性,如灾害类型、规模、危害性、稳定性等关键字段是否为空,表达是否严谨、下属词是否正确。

4.2 图件数据整理

成果建库图件文件进行规范检查和统一处理,统一转换为西安 80 坐标系下的经纬度投影图件,所有建库图件及索引图件必须统一转换为 ArcGis Shape 格式,便于上传。

4.3 非结构化文档整理

office 文档、照片、视频等数据,是地质工作实践产生最多、利用率最高的数据。相对存储在各类数据库应用系统地质图数据库、矿产地数据库结构化数据,统称为非结构化数据。采用的处理解决方案是 Mapgis 图形统一为 Mapgis6.7 文件格式;Word、Excel、Powerpoint 文档统一为 office2003 文件格式;PDF 文档为支持汉字编码的 PDF 版本;图片、照片格式统一为 JPEG 格式;未列出的其他文件格式统一压缩为 ZIP 格式。

4.4 查询索引整理

索引整理主要将行政区划、图幅、工作程度等基本、常用检索方式进行统一要求整理。行政区划参照国家最新省、市、县、乡行政区,标准图幅分别按 1/50 万、1/25 万、1/20 万、1/10 万、1/5 万、1/1 万整理,工作程度以县为单元整理(表 1)。

表 1 查询索引属性表

续表

5 系统功能

5.1 地质灾害资料目录管理

地质灾害资料目录服务模块组织并管理地质灾害调查所有的基础与成果信息,是数据信息操作的入口,是整个软件系统数据管理的核心;表现为目录树窗口。地质灾害资料目录管理服务模块可为各个子系统公共调用。

为便于对数据信息的查找与索引,建立目录树结构应对数据进行分类。结合地质灾害调查的实际情况与多年来地质灾害建库经验,同时考虑数据性质、数据类型、数据用途等多方面因素,将信息分为自然地理、地质环境、地质灾害、风险管理与预测评价、气象预警和综合文档等六大类进行管理。大类由系统组织管理,在建库伊始确定,在数据库维护与使用过程中固定不变。其下各个专题可以依据部门以及项目需求自由组织管理,可与信息存放文件夹结构一致,用户可以根据部门及项目数据具体情况,通过调整数据存放路径来改变。

5.2 地质灾害元数据查询

数据查询检索,是在数据库中查找符合某些特定条件的数据信息,包括空间特征查询和属性特征查询。查询功能主要依据用户不同需求完成,能够实现查询结果的定位、闪烁与生成查询结果属性列表。

空间特征查询,包括点击查询、矩形查询、多边形查询,由用户在浏览窗口内用鼠标选取,是以用户交互的方式获取感兴趣信息。

属性特征查询,包括字符串查询、模糊查询和 SQL 查询,用户可以根据实际需要选择适当的方式,同时属性选择支持 SQL 查询和错误检验,输入 SQL 语句,即可进行查询。另外,属性选择还提供了一个查询向导,使用这一向导,一般用户可以很方便地进行属性选择。

5.3 地质灾害调查信息统计

对于数据库中入库的大量地质灾害调查数据而言,能够面向应用才是建库的根本目标,对于目前的研究水平以及应用层次,系统可以提供多种调查信息统计与基于统计的分析功能来满足项目管理的需求。

信息统计功能可以实现对于地质灾害信息属性的各种统计分析,并可将统计结果以图表、饼图、柱状图等形式直观展示。多种统计结果展现形式实现信息的高效管理。

5.4 地质灾害资料文档共享

数据输出包括图形数据和属性数据的输出,输出的范围包括当前查询结果输出和当前数据全集输出,输出方式有存盘输出和打印输出。图形数据的输出涉及图形数据的导出、图形数据格式转换输出、图形数据的生成输出。属性数据的输出涉及属性数据的其他格式导出、属性数据的统计及输出、属性数据的报表输出。

5.5 地质灾害调查信息网络发布

将数据入库整理后,挖掘出部分数据,构建网络信息发布数据库,自动发布地质灾害调查信息,为社会各部门提供不间断网络查询服务。

6 结论

(1)数据平台与数据挖掘服务的结合,在内容处理与信息二次加工方面能够得到极大的增强。挖掘服务可以帮助用户整理完善海量的数据,智能地对地质资料进行数据抽取和索引数字化,从而获得统一的标准化内容集,最终实现以海量内容驱动为基础的综合信息管理和服务系统。

(2)基于 B/S 和 C/S 网络的跨部门、跨地域分布式模式,可以做到资料信息即时产生即时更新维护,减少了传统手动管理的时间延时,从而最大程度地提高资料管理的质量和效率。

(3)系统支持面向空间位置、核心元数据、专业关键词和电子介质文档内容的文字检索等多种资料查询检索模式。

(4)针对地质矿产行业特殊资料如 Mapgis 图件、文档报告等,都给出了特殊的处理方法和解决方案,方便用户利用、浏览。

(5)通过网络和数据库系统安全控制机制,能够保证电子介质资料在线预览的安全控制和脱机安全控制。基于多级角色权限管理模式,实现细粒度的功能控制,最大限度地保证系统平台的安全访问。

(6)此平台基础上集成构建西北地区地质灾害资料管理库,初步形成西北地区地质灾害调查成果数据库管理系统的框架结构,为成果资料信息的社会化共享和服务奠定基础。

该平台专门针对海量异构地质资料数据集成应用难题,提出对包括综合成果、中间研究成果、图件、档案等多种非结构化资料实施分布式统一管理,跨部门、跨地域透明检索的专业解决方案。通过在地质专业核心元数据和地质主题词库基础上构建动态编目、全文检索,以及对地质图件缩略图、在线显示和内容检索的支持,使其更具行业特色,查准率更高。

融合服务器是什么,它的作用

做一个形象的比喻:服务器就像是邮局的交换机,而微机、笔记本、PDA、手机等固定或移动的网络终端,就如散落在家庭、各种办公场所、公共场所等处的电话机。我们与外界日常的生活、工作中的电话交流、沟通,必须经过交换机,才能到达目标电话;同样如此,网络终端设备如家庭、企业中的微机上网,获取资讯,与外界沟通、娱乐等,也必须经过服务器,因此也可以说是服务器在“组织”和“领导”这些设备。

它是网络上一种为客户端计算机提供各种服务的高性能的计算机,它在网络操作系统的控制下,将与其相连的硬盘、磁带、打印机、Modem及各种专用通讯设备提供给网络上的客户站点共享,也能为网络用户提供集中计算、信息发表及数据管理等服务。它的高性能主要体现在高速度的运算能力、长时间的可靠运行、强大的外部数据吞吐能力等方面。

服务器的构成与微机基本相似,有处理器、硬盘、内存、系统总线等,它们是针对具体的网络应用特别制定的,因而服务器与微机在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面存在差异很大。尤其是随着信息技术的进步,网络的作用越来越明显,对自己信息系统的数据处理能力、安全性等的要求也越来越高。

目前,按照体系架构来区分,服务器主要分为两类:ISC(精简指令集)架构服务器:这是使用RISC芯片并且主要采用UNIX操作系统的服务器,如Sun公司的SPARC、HP公司的PA-RISC、DEC的Alpha芯片、SGI公司的MIPS等。

IA架构服务器:又称CISC(复杂指令集)架构服务器,即通常所讲的PC服务器,它是基于PC机体系结构,使用Intel或与其兼容的处理器芯片的服务器,如联想的万全系列、HP的Netserver系列服务器等。

从当前的网络发展状况看,以“小、巧、稳”为特点的IA架构的PC服务器得到了更为广泛的应用。

多功能服务器就是可以通过一台服务器提供企业所需的全方位网络服务,包括:企业的电子邮件、企业网站、Web服务、FTP文件传输、文件共享、项目管理系统、网络办公系统等常见的互联网服务需求, 同时可与企业现有系统进行无缝整合,保证企业的投资及原有系统的运用。多种安全机制,用于解决网络安全和网络管理服务问题,保障企业上网安全及数据安全。

目前市场上生产多功能服务器的厂商还并不是太多,而且功能也是各有所长

,并没有一个完全的标准,就拿深圳亿讯时空的 “istation企业e站”多功能服务器来说吧,它包含有系统应用(备份,还原,更新,初始化,自动升级等),网络应用(PPPoE/DHCP/FTP,防火墙,路由器,网络管理,流量控制,DDNS,VPN等),软件应用(公司网站,网上商店,企业邮箱,即时通信,企业短信,网络传真,VoIP,OA/CRM等)三大主题功能)。

多功能服务器可以让用户省去了网站建设,申请邮箱空间,购买管理软件,办公设备,还有防火墙,路由器等的巨额费用。如果与平台相结合的话,还可以实现网络营销、行业资讯订阅、网站流量分析等定制功能,帮助企业分析网站推广的有效性,并且每天把专业的行业信息准时有效在开机的第一时间呈现在电脑的桌面上。与邮件系统紧密融合的OA及CRM协同办公软件可以帮助企业提升管理水平,提高在信息时代的IT竞争力。

“融合设备”、“融合架构”、“超融合一体机”、“微融合”都属于“融合系统”吗?什么是“融合系统”?

首先说下什么融合系统,准确来说应该是融合架构,它更强调各种硬件的组合(参考资料:百度百科:融合系统)

在传统的企业IT采购中,企业需要分散的购买服务器、存储、网络,在进行集成和调优,而今,融合系统将这三大组件工厂集成,形成一种“框架计算机”的模式,或者说是将数据中心压缩到一个“盒子”中。

其次,什么是超融合架构

超融合基础架构(Hyper Converged Infrastructure,或简称“HCI”)是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。

超融合一体机是搭载了超融合软件的一种超融合设备。

可见市面上将存储设备、服务器、网络交换机放在一个机柜里整体交付的融合方案(如:VCE Vblock)则和超融合完全不是一回事,融合架构更多强调软件硬件预先配置和验证好,整体交付。

1条大神的评论

  • avatar
    访客 2022-07-07 上午 12:25:01

    1 万整理,工作程度以县为单元整理(表 1)。表 1 查询索引属性表续表5 系统功能5.1 地质灾害资料目录管理地质灾害资料目录服务模块组织并管理地质灾害调查所有的基础与成果信息

发表评论