油田数据中心设计

中国科技博览 / 2018年10月09日 09:23

品牌

毛永刚+邹晓峰

[摘 要]本文通过油田目前现状分析油田信息化建设存在的问题,提出需要进行统一设计油田数据中心,建立健全油田大数据建设应用体系,并结合当前数据库技术设计了油田数据中心架构,从而实现油田数据的集中存储、共享应用,并对油田数据进行安全、质量、模型、任务、系统管理。解决目前信息化建设的问题,满足油田各领域数据应用的需求。

[关键词]数据中心

中图分类号:TP311.13 文献标识码:A 文章编号:1009-914X(2018)05-0017-01

0 引言

数据作为企业的重要资产,在企业运行中起到越来越重要的作用,目前在油田开发信息化建设不断发展的情况下,油田数字化程度在不断加大,自动化仪表、工控等设备越来越多,由此产生的数据越来越多,大量的数据给当前油田数据管理工作带来了很大的压力,利用当前先进的技术搭建油田数据中心,高效的管理油田时时产生的数据,为油田生产业务信息化提供数据支撑,为油田生产业务决策提供支持,必将为油田带来巨大的效益。

1 现状

在最近几年油田也在不断的进行信息化建设,在油田各业务领域建设了许多信息化系统,为油田信息化进程提供了很大的促进作用,但同时也产生了许多的问题,各系统以条带化分割,系统涵盖业务重复交叉,如各系统都涵盖数据采集,相互之间不能进行通讯,无法进行信息共享,产生了许多信息孤。工控系统产生的数据只能用于现场监控,工控网络没有和办公网络连接,数据没有转存到数据库,时时采集到的数据没有发挥价值而流失。

目前油田缺乏信息化建设的顶层设计,统筹油田信息化建设架构设计,统筹建设油田数据中心,建立健全油田大数据建设应用体系,使数据为油田开发建设提供价值。

2 数据中心架构设计

数据中心建设是一个比较老的话题,在多年的信息化建设中被提及,但数据中心建设是油田信息化的基础性建设,建设的好坏直接影响油田的信息化整体的水平。所以在信息化建设不同时期,数据中心的建设都不能够放松,特别是在当下大数据应用技术不断进步,在各领域发挥很大的作用的时候,数据中心的建设要满足大数据时代的应用需求。

油田数据中心包括结构化、非结构化、半结构化的数据,数据中心架构要考虑不同结构数据的存储,各数据的共享关联,甚至于数据的分析,使数据发挥最大价值。

目前结构化数据我们有多年的管理经验,采用ORACLE关系型数据库系统,能够保证数据稳定、安全,并与现有系统的应用环境一致,对原有业务无影响。

半结构化及非结构化数据目前没有进行全面统一管理,主要以磁盘文件形式存储,数据没有集中、查找困难、利用率低。目前比较流行的HADOOP系统能够存储半结构化及非结构化数据,数据量级能够达到PB级的数据管理,HADOOP生态体系中HDFS是分布式的文件系统,能够存储非结构化数据,并具有高可用、容错机制、易于扩展等特点,HADOOP中的HBASE是NoSQL数据库,能够存储半结构化数据,此系统建立在HDFS文件系统之上的,同样具有高可用、易于扩展等特性,那么以HADOOP系统存储半结构化与非结构化数据是一种可行方案。

利用SOA技术建立数据共享交换平台,实现数据各数据库之间的数据同步,使ORACLE数据库与HADOOP系统之间数据能够自由流动,非结构化数据以及海量数据经过分析挖掘形成的数据,能够存储到结構化数据库中,结构化的数据达到一定数据量级能够批量导入到HADOOP中参与数据分析计算。同时ORACLE数据库与HADOOP系统通过数据共享平台与外界数据库进行数据交换,对于外界的应用来讲数据中心就是一个整体。

数据中心还包括安全管理、数据模型管理、数据质量管理、任务管理以及系统管理。

安全管理,数据中心的最主要的任务是保证数据安全,对于HADOOP系统,通过分布式存储、多复本存储保证数据的安全性,对于ORACLE系统,可以通过goldengate技术搭建读写分离的数据库系统,根据读写特性优化数据库,提高数据库运行效率,又能够保证数据的安全,在此基础上还要建立数据库的备份机制,使数据具有双重保险。

数据质量管理,以现有的数据质量控制体系为基础,不断健全元数据库,对基础数据、项目数据进行数据质量控制,在数据产生的各个节点上进行数据质量控制,使用前台控制,后台评估的方式严格控制数据质量,保证产生数据的质量。

数据模型管理,提供数据模型管理,数据中心存在多个数据库,那么也就存在多套数据模型,数据模型也是不断增多,在数据库的应用过程中也存在数据模型修改需求,模型的版本、增加、修改都需要进行统一的管理。

任务管理,数据中心中的数据分析、计算、配送、数据的流动需要任务来进行,那么任务的执行状态、调度、监控需要进行统一的管理,保证各项任务的正常执行。

系统管理,数据中心作为一个整体的系统在运行,那么他的内部需要不同的系统来构建,如:ORACLE数据库系统、HADOOP系统,以及各服务器,这些系统都需要进行管理,系统的运行维护管理,系统的扩充等等。

综上所述,形成了一个完整的数据中心体系架构,由源数据、开发数据、项目数据、知识库构成结构化数据库以ORACLE数据库存储,而非结构化数据以HADOOP,HDFS、HBASE进行存储,在此数据存储之上建立数据共享平台,提供数据中心与外部数据的流通渠道,同时提供数据中心内部各数据之间流通的接口,建立整个数据中心的元数据库,对数据中心数据进行安全、质量、模型、任务、系统管理,整个数据中心架构图如图1:

3 结论

本文以HADOOP、ORACLEGOLDENGATE、SOA等技术设计实现油田数据中心,解决油田各应用系统的信息共享问题,使油田数据能够完整集中存储,方便进行油田大数据的分析、应用,对油田信息化建设具有深远的意义。endprint

1.精品生活网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.精品生活网的原创文章,请转载时务必注明文章作者和"来源:精品生活网",不尊重原创的行为精品生活网或将追究责任;3.作者投稿可能会经精品生活网编辑修改或补充。