MySQL分库分表同步至MaxCompute
说明 DataWorks的离线同步任务通过调度资源组将其下发到数据集成任务执行资源组上执行，所以离线同步任务除了涉及数据集成任务执行资源组外，还会占用调度资源组资源。如果使用了独享调度资源组，将会产生调度实例费用。您可通过 任务下发...
MySQL分库分表同步至MaxCompute
说明 DataWorks的离线同步任务通过调度资源组将其下发到数据集成任务执行资源组上执行，所以离线同步任务除了涉及数据集成任务执行资源组外，还会占用调度资源组资源。如果使用了独享调度资源组，将会产生调度实例费用。您可通过 任务下发...
使用Python SDK执行滚动升级任务
format('json')#模板名称根据所选升级方式替换 request.set_TemplateName("ACS-ESS-RollingUpdateByRunCommandInScalingGroup")#关联滚动升级任务和伸缩组，用于在伸缩组中查询任务执行情况 request.set_Tags("{\"scaling_group\":\"asg-...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
等待资源
说明 如果资源使用率高但实际无任务执行或资源组上可执行任务数未达资源组上限但仍无法执行任务，您可以单击 申请链接 或扫描下方二维码加入DataWorks钉钉交流群进行售前售后咨询，咨询可直接@智能机器人，值班时间段内也可直接联系值班...
OpenAPI问题
接口限流策略是什么?每分钟可以调用几次?每个接口，单用户1分钟100次。用API创建K8s任务，控制台报错无法打开页面怎么办？K8s任务必须配置xAttrs属性。更多信息，请参见 Demo。支持API创建工作流吗？暂不支持。API触发任务，可以指定单次...
数据传输作业：数据集成
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据源网络环境已经连通，详情请参见 配置资源组与网络连通。实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步...
MySQL分库分表同步至Hologres（方案1.0）
说明 DataWorks的离线同步任务通过调度资源组将其下发到数据集成任务执行资源组上执行，所以离线同步任务除了涉及数据集成任务执行资源组外，还会占用调度资源组资源。如果使用了独享调度资源组，将会产生调度实例费用。您可通过 任务下发...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
快速扩缩容ECI实例
步骤一：创建伸缩组 伸缩组是弹性伸缩的核心单元，用来管理满足该公司业务需求的一组实例。弹性伸缩将会在该伸缩组内自动增加或减少实例。登录 弹性伸缩控制台。在左侧导航栏中，单击 伸缩组管理。本步骤中以前往伸缩组列表页面操作为例。...
配置离线集成管道任务资源
您可根据业务场景为集成任务配置所属资源组提升资源利用率。本文为您介绍如何配置集成任务的资源配置。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 配置对话框。在任务 属性 抽屉对话框 资源配置 区域，配置任务的资源。...
快速扩缩容ECS实例
步骤一：创建伸缩组 伸缩组是弹性伸缩的核心单元，用来管理满足该公司业务需求的一组实例。弹性伸缩将会在该伸缩组内自动增加或减少实例。登录 弹性伸缩控制台。在左侧导航栏中，单击 伸缩组管理。在顶部菜单栏处，选择地域。在页面左上角...
全球消息路由
什么是全球消息路由 云消息队列 RocketMQ 版 的全球消息路由功能依托阿里云优质基础设施实现的高速通道专线（高速通道无需另行开通），高效地实现不同地域之间的消息同步复制。具体实现如下图所示。计费影响 全球消息路由为 云消息队列 ...
使用流程
使用弹性伸缩管理业务所用的ECS实例或ECI实例时，伸缩组是基本的管理单元。伸缩组用于管理具有相同应用场景的ECS实例或ECI实例，并支持关联多个负载均衡实例和RDS实例。更多信息，请参见 伸缩组概述。说明 伸缩组关联负载均衡实例和RDS实例...
玩转邮箱群组
什么是邮箱群组？群组：即组织协作平台，该平台为用户提供企业项目协作沟通交流服务。通过邮件、网盘、任务模块来进行相互协作，以邮件组将群组中的成员串联起来，以达到便于交流和信息共享的目的；群组管理员：创建群组的用户默认为该群组...
任务管理
配置项 配置项 是否必选 说明 示例 任务名词 是 任务名词 视频分析任务 作业预启动数 是 任务下的计算作业数量 1 作业可支持流 是 单个计算作业可分析的视频流数量 6 任务流类型 是 任务处理的流类型，默认为视频流-video video 算法包 是 ...
什么是服务组
本文主要介绍什么是服务组。定义 服务组是人员管理的集合，人员列表中添加的人员可被加入到各个服务组；创建的服务组可以被设置为报警、事件、故障的通知订阅对象；服务组以服务或组织架构为创建前提。核心功能 通知精准送达：服务组以服务...
报警任务概述
报警任务是弹性伸缩利用云监控服务（CMS）产品功能的一种动态管理伸缩组的方式。类似于定时任务，报警任务通过触发您指定的伸缩规则来执行伸缩活动，达到自动调整伸缩组内实例个数的目的。报警任务介绍 报警任务通过监控特定的监控指标，对...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
MySQL分库分表同步至Hologres（方案2.0）
步骤八：资源组配置 运行当前同步解决方案将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的 资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。说明 离线和实时同步任务推荐使用不同的资源...
名词解释
Job 即任务，Job是SchedulerX中调度的最小单位。Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境间的资源...
JobContext参数说明
参数 解释 long jobId 任务ID long jobInstanceId 任务实例ID Long workflowId 工作流ID long wfInstanceId 工作流实例ID long taskId 分布式任务子任务ID，根任务是0。DateTime scheduleTime 实例的计划调度时间 DateTime dataTime 实例的...
概述
拓扑任务是一种特殊的任务，是通过事件触发的任务集合。拓扑任务中的任务执行流程均起始于开始节点，终止与结束节点，任务的执行流程形成一张有向无环图。拓扑任务本身可以通过 CRON 表达式或者事件触发，但其中的任务节点必须符合以下要求...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
通知联系人和通知联系人组
通知联系人和通知联系人组是SchedulerX 2.0发送通知的基础。本文介绍如何创建通知联系人和通知联系人组。创建通知联系人或通知联系人组 创建通知联系人 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 通知管理>通知...
EMR Hive数据整库离线同步至MaxCompute
说明 数据集成离线任务通过调度资源组下发至对应的数据集成任务执行资源组上运行，会产生调度相关费用，关于任务下发机制说明，请参见 任务下发机制。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，可以试运行并查看同步结果...
EMR Hive数据整库离线同步至MaxCompute
说明 数据集成离线任务通过调度资源组下发至对应的数据集成任务执行资源组上运行，会产生调度相关费用，关于任务下发机制说明，请参见 任务下发机制。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，可以试运行并查看同步结果...
暂停和恢复伸缩组流程
您可以主动暂停伸缩组某些指定流程，然后再去执行其他操作，方便您更精细地控制伸缩组活动。您也可以恢复被暂停的伸缩组流程，由伸缩组继续按功能逻辑执行指定流程。本文介绍暂停或恢复伸缩组流程后的影响以及操作方法。暂停伸缩组流程 ...
如何使单应用支持十万以上的定时任务
在SchedulerX中创建的应用默认最多只支持1,000个任务，而在某些场景下1,000个任务远远满足不了业务需求。另外，实际业务场景中，不同定时任务的调度时间可能不一样。本文介绍如何通过一系列配置，使单应用能够支持上万，甚至十万以上的定时...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
查看监控报表
资源组指标 指标名称 描述 资源组运行中查询任务数 当前资源组Running状态的查询任务数。资源组使用CPU核数 当前资源组正在使用的CPU核数。该值为一个估计值，通常是在测量指标的两次时间点之间的平均使用量。资源组CPU使用占比 当前资源组...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
AnalyticDB for MySQL
DataWorks的AnalyticDB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for MySQL节点进行任务开发的主要流程。前提条件 已购买相应版本服务。购买DataWorks标准...
CreateProbeTask-创建拨测任务
为指定的智能接入网关设备创建拨测任务。接口说明 目前仅软件版本为 2.7.0 及以上的 SAG-1000 设备支持应用拨测监控功能。在创建拨测任务时，智能接入网关实例需提前开启深度监控功能。您可以调用 SetAdvancedMonitorState 接口设置深度...
功能特性
数据湖集群 数据服务集群 节点管理 节点组管理 节点组是您使用阿里云E-MapReduece服务对集群节点进行管理的核心单元，通常是由相同规格的ECS实例组成。管理节点组 节点组扩容 当E-MapReduce集群计算资源或存储资源不足时，您可以通过水平...
离线同步常见问题
说明 由于离线同步任务通过调度资源组下发到数据集成执行资源组上执行，所以一个离线同步任务将同时耗费一个调度资源，若离线同步任务长时间运行未释放资源，除了阻塞其他离线任务运行外，可能还将阻塞其他类型的调度任务运行。如何处理...
创建StarRocks计算源
Datpahin支持为不同优先级的任务指定资源组名称，在任务运行时自动设置任务的资源组从而达到不同任务的资源分配和隔离。不指定任务资源组：将使用StarRocks集群中所配置默认资源组执行提交的任务。指定资源组：根据优先级填写对应的资源组...
通知联系人和通知联系人组
通知联系人和通知联系人组是SchedulerX 2.0发送通知的基础。本文介绍如何创建通知联系人和通知联系人组。创建通知联系人或通知联系人组 创建通知联系人 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 通知管理>通知...
DataWorks资源组概述
资源组介绍 DataWorks包括独享资源组、公共资源组，各资源组根据任务调度、数据集成、数据服务等不同的使用场景，细分为不同类型的资源组，包括：独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共调度资源组、公共数据服务...
CreateCdnDeliverTask-创建报表订阅任务
调用CreateCdnDeliverTask创建报表订阅任务，订阅成功后系统会周期性地以邮件方式向您发送报表统计数据。接口说明 说明 单用户调用频率：3 次/秒。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
- 产品推荐
- 这些文档可能帮助您