相关动态
分布式批量任务调度、自动化运维管理监控平台Taskctl
2024-11-10 17:32

前言 随着企业拥抱数字化程度的提高,数据是企业的发展关键。数据的需求来源于业务也服务于业务,数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入。数据的调度就是作业的调度。批量作业调度是金融行业信息后台最为重要的技术形态。

分布式批量任务调度、自动化运维管理监控平台Taskctl

金融行业每天会进行交易相关的结算、清算、结息、对账等生产活动。这些活动都是通过一个个相互耦合的作业来实现的。因此需要一个作业调度平台来管理这些大量的作业。

随着金融行业新系统建设以及旧系统的更新、扩展,运维部门接手运维的应用系统越来越多,每天凌晨有数十个系统需要执行日切任务,近百万的批量作业需要执行,工作量非常繁重,如果有任务出错,很难及时排除故障,导致工作效率很低,影响数据的准确性和及时性。而开源软件、系统自带任务计划、传统批量调度工具逐渐无法满足业务对批量作业调度的需求。企业需要功能更强、性能更佳的国产化产品。

批量调度现状及诉求

目前,由于金融行业内部缺乏一款专业批量产品支撑,缺乏一定的批量调度规范与标准,企业内部几十上百个系统的批量作业调度混乱,难以管理。

调度原始落后

时至今日仍然有一些系统使用人工调度或操作系统的Crontab方式调度实现作业运行的自动化。这种方式容易引起依赖关系错误对业务构成威胁,当上游作业结束时间晚于下游作业,则会影响到作业执行的及时性和准确性。耗费人力、 容易出错、难以监控已成为这类系统的致命性问题。

使用开源软件

调度系统使用开源软件,没有免费的技术支持、学习成本高、维护费用高、安全性低、bug修复不及时、生命周期不确定。

调度自主研发

调度系统伴随项目自主研发,研发成本高、成熟度低、维护成本高、严谨性和稳定性难以保证,需求扩展性差。

作业规模变大

随着金融行业分布式新核心以及大数据平台的建设,批量处理作业规模越来越大,相对应的调度场景更加多样,系统调度逻辑也会更加复杂,系统开发人员很大一部分精力花费在了调度逻辑的控制,而非业务处理本身。另外,随着作业规模的增长,对调度性能和稳定性、扩展性提出了更高要求,一些现有系统 已经逐渐不能满足要求。

系统越来越多带来管理和运维困难

企业系统越来越多,不同系统,技术要求不同,批处理作业管理越来越复杂。一个技术人员很难同时熟悉多个系统,导致需要大量的技术人员分别管理和运维。夜间值班人员同时开着十几个甚至更多监控屏幕也成为常态和痛点。这些问题显然也同时导致了运维投入的不断增加。

产品介绍

Taskctl 批量调度平台是专业的批量作业自动化调度与监控解决方案,它能有效地规范整合、高效管理企业业务系统的批量作业,达到全企业批量作业有序、高效运行的目的,极大降低运维成本,助力企业数字化转型。

软件下载&授权

产品定位

批量调度平台解决方案定位:金融日切等生产运营活动的最终实现平台。

主要面向银行、证券、保险等金融行业,对所有应用系统(包括业务系统、渠道系统、管理系统及数据跨平台作业调度)进行总体的、统一的调度和监控。

跨平台作业调度

支持作业跨业务系统、跨操作系统、跨网络区域的统一调度管理。

海量高效

基于事件的实时调度机制,能够支撑海量作业。

强大的调度引擎

支持各种编排调度场景(时间依赖、文件依赖、人工复核依赖等),提供丰富的人工干预能力(挂起、恢复、取消、终止等)。

多维度监控

提供业务系统、作业流、作业等多个维度进行监控。

可视化编排

提供可视化拖拽式流程编排,支持流程节点自动排版。

强大的扩展性

支持横向水平扩展、支持纵向能力扩展。

访问方便

B/S架构,用户可直接通过浏览器访问。

产品架构图

产品核心功能

Taskctl 批量调度平台,提供了非常强大的调度核心。具体功能。如下图所示:

【串行调度】

串行调度,即作业的执行按照设定好的顺序,依次执行,当前一个作业执行完成后,后一个作业才能开始执行,作业串行调度往往是因为后面的作业运行需要使用到前一个作业的执行的结果。

【并行调度】

并行调度,互相之间没有依赖关系,即多个作业同时执行。

【条件分支】

作业执行到分支节点,需根据前一个作业的执行结果,判断后续执行分支A还是分支B。

前置命令检测

作业执行前,会检测该命令执行是否成功。

人工复核

执行到设置了人工复核的作业时,作业的状态变为待复核,用户需对作业进行复核的操作,才能继续执行。

挂起

将等待状态的作业暂停,不会继续后面的执行。

恢复

将挂起状态的作业恢复执行。

取消

将作业状态置为取消,依赖于此作业的其他作业将继续往下执行。

终止

终止后不会继续后面的执行,并且无法恢复。会强制终止此作业。

重新执行

复制一份该作业,并放入原作业流中。如果新的作业成功,那么对作业流就是成功了。

释放依赖

释放此作业的被依赖关系(包括时间依赖),作业立即执行。

强制成功

针对错误、失败状态的作业,强制设为成功。

客户价值

批量调度平台的建设,为企业带来的价值体现在以下几个方面:

For业务人员:

企业内部几十上百个系统相关批量作业采用了各种各样的调度方式,使得调度混乱,极易出错。批量调度平台的建设,可帮助业务人员规范、整合各个业务系统的批量作业,为业务人员提供一个专业的、统一的、规范化的技术平台,减少项目实施的工作量,提升各个应用系统的实施效率。

For运维人员:

    以上就是本篇文章【分布式批量任务调度、自动化运维管理监控平台Taskctl】的全部内容了,欢迎阅览 ! 文章地址:http://sjzytwl.xhstdz.com/news/2798.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://sjzytwl.xhstdz.com/mobile/ , 查看更多   
最新文章
苹果手机开不开机如何解决,苹果手机开不开机是咋回事苹果手机如何开机「苹果手机开不开机如何解决,苹果手机开不开机是咋回事」
苹果手机开不开机怎么办苹果手机开不了机这种情况,还有可能是手机处于死机状态,也可以先尝试一下同时按住开机键开机键+HOME键
这么多年过去了,米家为啥还不能实现离线操作?小米手机闹钟在哪里设置「这么多年过去了,米家为啥还不能实现离线操作?」
这么多年过去了,米家为啥还不能实现离线操作?“ 小爱同学,打开空调 ”“ 小爱同学!,打开空调 ”“ 小爱同学???? ”这么
手机上的这些隐形参数 厂商可能不会告诉你隐形手机「手机上的这些隐形参数 厂商可能不会告诉你」
在文章正式开始之前,先问大家伙儿一个问题:在挑手机的时候,不知道各位主要会看哪些参数?像是芯片、屏幕、影像、内存、存储、
山西一男子高速上边开车边玩手机游戏被处罚开车玩手机「山西一男子高速上边开车边玩手机游戏被处罚」
  这名司机心真大!山西一男子高速上边开车边玩手机游戏被处罚   新华社太原11月26日电(记者王飞航)究竟是命重要,还是玩游
米忽悠派对最新版本 v1.0手机版派对手机「米忽悠派对最新版本 v1.0手机版」
米忽悠派对是一款以米哈游的游戏ip打造的全新派对游戏,在游戏中能够看到许多米哈游的不同游戏集合在一个游戏中,游戏玩法十分简
油电同智 全球同行,奇瑞汽车智能化战略发布会盛大开幕
3月18日,智能化战略发布会在安徽芜湖顺利召开。活动聚焦“油电同智 全球同行”,正式发布奇瑞集团智能化战略规划,并集中展示猎
投影仪如何通过手机投屏-实用教程手机怎么投屏到投影仪「投影仪如何通过手机投屏-实用教程」
第二步:开启手机投屏功能打开手机上的设置或者控制中心(不同手机可能位置不同),找到“投屏”或者“无线投屏”这样的选项并点
才发现手机蓝牙竟然有这么神奇的功能,你们都知道手机蓝牙的哪些作用呢?手机蓝牙有什么作用「才发现手机蓝牙竟然有这么神奇的功能,你们都知道手机蓝牙的哪些作用呢?」
提到手机蓝牙,大家能想到的它的功能是什么呢?不少人可能对手机蓝牙的作用还停留在以前,两个手机配对之后可以用来传输文件,这
全球最火的十大射击游戏推荐 好玩的射击游戏前十2023手机最真实的射击游戏「全球最火的十大射击游戏推荐 好玩的射击游戏前十2023」
现在手机上的射击游戏种类是很丰富的,不同题材的射击游戏给大家提供了不同的体验,射击游戏里的众多枪械可谓开拓了大家的眼界,
苹果发布iPhone8和iPhoneX 后者系第一代价格十倍苹果x手机多少钱「苹果发布iPhone8和iPhoneX 后者系第一代价格十倍」
  在苹果手机面世10周年之际,苹果公司12日发布iPhone 8和iPhone X等最新产品,以此向已故联合创始人史蒂夫?乔布斯致敬。