通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
新建BLINK_SQL任务
说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等...
新建BLINK_SQL任务
说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。操作步骤 请参见 离...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
查看并管理手动任务
说明 系统仅支持对Prod和Basic项目中的任务（即生产环境任务）配置监控。查看手动任务详情 单击 操作 列下的 图标或单击任务对象名称，页面右侧为您展示当前任务的详情。您可以单击 图标，隐藏手动任务列表，放大手动任务详情页。区域 描述...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
新建拓扑任务
{shardingCount}：替换简单任务配置的分片数。{triggerTime}：替换预期的触发时间。描述（可选）配置任务的描述信息，例如业务含义、影响范围等，最多 1024 个字符。说明 关于自定义参数，您也可以在业务端通过上下文 context（该对象必须...
批量新增离线数据同步任务
配置基本信息、数据元和目标端。在配置向导页面，选择所属目录，输入任务的描述。在 数据源配置 区域，选择数据源类型。在 数据对象 的左侧区域勾选待同步的数据，单击"class="image inline">图标。在 目标端配置 区域，配置目标端、分区...
查看并管理手动任务
调度资源组：可根据手动任务配置的调度资源组进行筛选。如果您需要重新选择，则单击，可快速清除已选筛选条件。③ 手动任务列表区 手动任务页面以列表形式为您展示已提交到运维中心的手动任务。列表 操作 栏为您展示手动任务支持的运维管理...
配置订阅任务（新控制台）
单击 创建任务，配置源库信息以及消费网络类型。警告 选择源实例后，建议您仔细阅读页面上方显示的 使用限制，否则可能会导致任务失败或无法消费订阅数据。类别 配置 说明 无 任务名称 DTS会自动生成一个订阅名称，建议配置具有业务意义的...
创建质检任务
操作步骤 登录 智能双录质检控制台，在左侧导航栏中选择 云端质检>云端任务配置 菜单项。在云端任务配置页面中，单击 创建任务 按钮，页面中弹出创建任务的窗口。任务名称：为当前创建的质检任务定义一个名称，且不能与已有的任务名称重名...
配置迁移任务（新控制台）
单击 创建任务，配置源库及目标库信息。根据实际需求选择或填写源库和目标库的信息。更多信息，请参见 迁移方案概览 中的相关配置文档。警告 选择源和目标实例后，建议您仔细阅读页面上方显示的 使用限制，否则可能会导致任务失败或数据不...
配置变更
修改定时任务 在定时任务配置列表中，选择要修改的定时任务，单击操作列的 修改 按钮，在弹出框中更新信息，然后单击 确认 即可。删除定时任务 说明 仅支持删除暂存在研发容器中的定时任务，无法删除已经在 SOFAStack 中存在的定时任务。在...
通过单条管道创建集成任务
运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见：离线管道任务运行配置。步骤四：保存并...
通过单条管道创建集成任务
运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见：离线管道任务运行配置。步骤四：保存并...
通过脚本模式创建集成任务
运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见 离线管道任务运行配置。单击 确定。步骤四...
通过脚本模式创建集成任务
运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见 离线管道任务运行配置。单击 确定。步骤四...
新增实时任务
配置任务基本信息：在 实时数据同步管理 页面上方，填写任务名称、所属类目、描述。配置同步资源，包括源端和目标端。在 源端配置 区域，选择数据源、topic、消息格式、模板。说明 单击 查看同步链路支持范围，可查看实时同步链路源端和...
新增实时任务
配置任务基本信息：在 实时数据同步管理 页面上方，填写任务名称、所属类目、描述。配置同步资源，包括源端和目标端。在 源端配置 区域，选择数据源、topic、消息格式、模板。说明 单击 查看同步链路支持范围，可查看实时同步链路源端和...
数据集成
再配合运维中心的补数据功能，可实现基于一套完整的任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或指定分区。数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列...
迁移消费者程序
在 创建任务 配置向导页面，完成以下操作。在 配置基本信息 页签，设置任务名称，选择 任务类型 为 迁移，然后单击 下一步。在 配置源服务 页签，配置以下参数，然后单击 下一步。参数 说明 示例 接入点 配置源Apache Kafka集群的接入点...
Second delay
在 创建任务 配置向导的 定时配置 页签中配置相关信息，然后单击 下一步。配置项 描述 时间类型 选择 second_delay。固定延迟 范围为1~60，单位为秒。时间偏移 数据时间偏移，单位为秒。时区 根据实际情况选择。查看秒级别任务的统计信息 ...
快速入门
本文以简单任务为例，介绍如何快速完成一个简单任务的本地开发以及控制台任务配置等。说明 若您需要任务调度工程示例代码，请下载 示例工程。操作步骤 本地应用开发。创建 SOFABoot 工程。下载并配置好一个 SOFABoot 工程原型。配置步骤，...
数据传输的审计事件
DescribeConfigRelations 查询任务配置关系。DescribeConnectionStatus 测试迁移任务的连通性。DescribeConsumerChannel 查询订阅实例消费组详情。DescribeConsumerGroup 查询DTS订阅实例中的消费组详情。DescribeDataCheckReportUrl 查询...
创建MQTT Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建...编辑任务配置：单击 编辑，在 编辑任务 面板，修改任务详情及属性。启停任务：单击 启用 或者 停用，然后在 提示 对话框，单击 确认。删除任务：单击 删除，然后在 提示 对话框，单击 确认。
DM（达梦）数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
导出开源引擎任务
脚本模式同步任务配置详情，请参见 通过脚本模式配置离线同步任务。其他DataWorks不支持的节点 虚拟节点 无 环境准备 下载工具 依赖设置：您需使用1.8及以上JDK版本；2.7及以上Python版本。导出操作 解压导出工具。使用如下语句解压导出...
快速入门
配置构建任务 单击 Java 构建上传 任务，打开任务配置面板。查看 Jav a 构建 步骤配置，可按需修改。查看 构建物上传 步骤配置，可按需修改。本例中，需要将target/application.jar和deploy.sh两个文件打包到制品中，打包路径 按下图配置。...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX...选择待导入的任务配置文件后单击 导入，即可完成XXL-JOB任务配置信息和SchedulerX任务配置信息的同步。
如何在SchedulerX 2.0平台上托管XXL-JOB任务
选择XXL-JOB任务配置中导出的任务配置文件执行导入，即可完成XXL-JOB任务配置信息至SchedulerX任务配置信息的同步。常见问题 jobprocessor is null 需初始化XxlJobSpringExecutor。示例代码：/*Copyright(c)2022-present Alibaba Group*...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
实时模式Checkpoint配置
在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行生效：若该处Checkpoint未配置，以运行参数中配置进行生效。若该处...
启动数据解析任务
数据解析任务配置完成后，您需启动任务。数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，...
配置任务流依赖检查节点
任务编排的任务流依赖检查节点可实现任务流自依赖或跨任务流间依赖，依赖的目标对象可以是某个任务流或任务节点。本文介绍配置任务流依赖检查节点的步骤。应用场景 跨任务流依赖：任务流A需要在任务流B运行成功后才能执行。例如，每周一...
实时模式Checkpoint配置
在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行生效：若该处Checkpoint未配置，以运行参数中配置进行生效。若该处...
数据集成侧同步任务能力说明
全增量同步任务配置 全增量同步任务配置时支持的能力如下，详细配置请参见：数据集成侧同步任务配置。任务配置相关能力说明请参见：数据集成侧同步任务配置相关能力。全增量同步任务运维 全增量同步任务为您提供了一键增加及删除同步表功能...
配置Alibaba Blink离线模式资源
Alibaba Blink流批一体任务离线模式的资源配置支持配置任务的资源队列和引擎版本。本文为您介绍如何配置流批一体任务离线模式的资源配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 ...
配置同步任务
在 同步任务 页面，单击已创建的同步任务，配置参数。配置 同步来源 区域的参数，根据数据源类型不同，配置的参数也不同。当数据同步来源端为 MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL、MongoDB、Microsoft SQL Server 时，...
MaxCompute数据源
整库级别同步任务配置指导 整库离线、整库（实时）全增量、整库（实时）分库分表等整库级别同步任务的配置操作，请参见 数据集成侧同步任务配置。常见问题 读取MaxCompute（ODPS）表数据时，添加一行注意事项 读取MaxCompute（ODPS）表数据...
- 产品推荐
- 这些文档可能帮助您