DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
最近更新: 5年多前DataX集成可视化操作,支持页面配置JSON脚本,手动触发执行,实时查看运行日志,集成定时任务,支持分布式,支持运行记录浏览,kill运行进程。
最近更新: 接近6年前Sentinel 是阿里中间件团队开源的,面向分布式服务架构的轻量级流量控制产品,主要以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度来帮助用户保护服务的稳定性。本项目为sentinel与dubbo结合的改造项目,主要解决sentinel与dubbo相结合的几个问题: 1. sentinel设定除了限流异常以外都会被认为是需要进行熔断统计,业务异常需要进行自定义处理。 2. sentinel的启动配置太过原始,一定要在java -jar的时候加参数启动,调试困难。 3. sentinel与zookeeper相结合时控制台/客户端无法直接使用zookeeper作为datasource等问题。
最近更新: 6年多前基于zeus重写的分布式任务调度系统支持任务的定时调度、依赖调度、手动调度、手动恢复支持丰富的任务类型:shell,hive,python,spark-sql,java可视化的任务DAG图展示,任务的执行严格按照任务的依赖关系执行某个任务的上、下游执行状况查看,通过任务依赖图可以清楚的判断当前任务为何还未执行,删除该任务会影响那些任务。支持上传文件到hdfs,支持使用hdfs文件资源支持日志的实时滚动支持任务失败自动恢复实现集群HA,机器宕机环境实现机器断线重连与心跳恢复与hera集群HA,节点单点故障环境下任务自动恢复,master断开,worker抢占master支持对master/work 负载,内存,进程,cpu信息的可视化查看支持正在等待执行的任务,每个worker上正在执行的任务信息的可视化查看支持实时运行的任务,失败任务,成功任务,任务耗时top10的可视化查看支持历史执行任务信息的折线图查看 具体到某天的总运行次数,总失败次数,总成功次数,总任务数,总失败任务数,总成功任务数支持关注自己的任务,自动调度执行失败时会向负责人发送邮件......