ETL调度技术平台 TASKCTL
本文导语: ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要组成部分;从架构层面讲,...
ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要组成部分;从架构层面讲,调度是ETL技术体系的核心;从应用层面讲:调度是成百上千任务的管理者、控制者,它不仅限于调度任务,同时还担当各种任务的分类管理、展示、监控维护等诸多重任。可见ETL调度的重要性,ETL调度独立发展将是ETL技术发展的一种必然趋势!
TASKCTL开源版作为目前唯一的ETL调度领域开源软件,保证100% free,绝无黑盒代码。它志在促进该领域的独立发展,使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷,使企业基础架构更清晰、更易管理。
(一)主要适用环境
操作系统:aix/linux/unix等(由于采用标准c语言构建,理论上可应用与各种主流unix系列)
项目规模:适用于中小型ETL项目
ETL工具环境:TASKCTL由于采用任务插件驱动机制,因此,可支持各种存储过程、各种脚本、以及诸如DatastageInformaticakettle等各种ETL工具任务。
(二)主要功能
核心调度功能:主要可以完成串行、并行、依赖、互斥、执行计划、定时、容错、循环、条件分支、远程、负载均衡、自定义条件等各种不同的核心调度功能。
扩展功能
网络扩展:可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署
应用扩展:技术平台设计有专门的应用API接口,可实现更多的调度应用。
任务类型扩展:为了适应不同类型的任务调度,平台可通过具有统一模版、统一接口的插件进行快速扩展。
应用功能:配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能。
(三) 主要创新
无数据库设计:国内首款专业无数据库调度技术平台。
插件机制:业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台。
流程设计代码开发设计理念:调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比,操作更方便、设计更灵活、可读性更强。
(四)其它
主要文档
《TASKCTL1.0(开源版)快速使用指南》
《TASKCTL1.0(开源版)流程XML代码》
《TASKCTL1.0(开源版)任务驱动插件应用》
《TASKCTL1.0(开源版)技术白皮书》
《TASKCTL1.0(开源版)二次开发手册》
《TASKCTL1.0(开源版)源代码简要说明》
您可能感兴趣的文章:
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。