引用本文: | 段成,王增平,吴克河.一种轻量级电网实时数据ETL系统的设计与实现[J].电力系统保护与控制,2010,38(18):174-177,182.[点击复制] |
.[J].Power System Protection and Control,2010,38(18):174-177,182[点击复制] |
|
摘要: |
以某省电网实时数据监测系统的数据中心建设项目为背景,提出了一种轻量级的,适合于电网实时数据迁移与同步更新的ETL系统解决方案。系统支持多种关系型数据库和数据文件,提供全量、增量、主细表等多种自定义模式数据迁移方案。系统利用JDBC数据库访问技术、JSR-166的Util.Concurrent并发线程包以及SWT技术,结合元数据的管理,解决了异构数据的快速抽取、清洗转换与加载、任务的调度和跨平台运行的问题,并在实际应用中表现出了实用性和稳定性。 |
关键词: ETL系统 异构数据 增量 任务调度 跨平台 |
DOI:10.7667/j.issn.1674-3415.2010.18.034 |
|
基金项目: |
|
|
|
() |
Abstract: |
|
Key words: |