数据仓库ETL任务调度模型研究
来源期刊:控制与决策2011年第2期
论文作者:宋旭东 刘晓冰
文章页码:271 - 275
关键词:数据仓库;抽取-转换-加载;任务调度;同层划分;遗传算法;
摘 要:数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.
宋旭东1,2,刘晓冰2
1. 大连交通大学软件学院2. 大连理工大学CIMS中心
摘 要:数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.
关键词:数据仓库;抽取-转换-加载;任务调度;同层划分;遗传算法;