上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 ...
上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
查看并管理实时任务
实时任务批量操作 实时任务在实时任务页面支持的运维操作如下：操作 描述 启动正式实例 支持同时启动运行多个实时实例。说明 仅适用于Prod和Basic项目，且选中的实时任务均未启动运行。批量启动正式实例不支持实时集成任务。勾选多个 未...
查看并管理实时任务
实时任务批量操作 实时任务在实时任务页面支持的运维操作如下：操作 描述 启动正式实例 支持同时启动运行多个实时实例。说明 仅适用于Prod和Basic项目，且选中的实时任务均未启动运行。批量启动正式实例不支持实时集成任务。勾选多个 未...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
查看实时计算任务详情
实时计算任务是数据开发时发起的实时任务，运维监控支持查看实时计算任务及其详情。本文介绍查看实时计算任务的详情。前提条件 在数据开发中，已新建并运行实时计算任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择...
实时研发基本流程概述
步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行指标、配置监控告警等运维操作。步骤五：启动实例并插入数据 可视化分析 非必选。启动实时实例后，...
实时研发基本流程概述
步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行指标、配置监控告警等运维操作。步骤五：启动实例并插入数据 可视化分析 非必选。启动实时实例后，...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
查看实时任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看实时任务监控...在 实时数据同步 页面，单击目标实时任务 操作 列的 监控。跳转到 实时同步任务 页面，可查看实时任务运行详情，更多信息，请参见 查看实时同步任务详情。
查看实时任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看实时任务监控...在 实时数据同步 页面，单击目标实时任务 操作 列的 监控。跳转到 实时同步任务 页面，可查看实时任务运行详情，更多信息，请参见 查看实时同步任务详情。
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
MySQL一键实时同步至MaxCompute
步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 执行同步任务 同步任务运维 实时同步报警配置 Merge节点监控报警配置 创建同步任务 选择同步方案。创建同步解决方案任务，选择需要同步...
MySQL一键实时同步至MaxCompute
步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 执行同步任务 同步任务运维 实时同步报警配置 Merge节点监控报警配置 创建同步任务 选择同步方案。创建同步解决方案任务，选择需要同步...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发...
UDF（嵌入式）
本文为您介绍如何通过代码嵌入式UDF（Embedded UDF）将Java或Python代码嵌入SQL脚本。背景信息 您可以通过MaxCompute的代码嵌入式UDF解决以下代码实现过程繁琐，且不方便阅读和维护的问题：创建UDF并完成代码开发后，您还需要完成代码编译...
审计日志
实时计算任务列表 BulkChangeOwnerForStreamJob 批量修改实时任务负责人。BulkGetLockForStreamJob 批量获取实时任务锁。BulkSubmitStreamJob 批量提交实时任务。BulkOfflineStreamJob 批量下线实时任务。BulkDeleteStreamJob 批量删除实时...
新建BLINK_SQL任务
本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Alibaba Blink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者...
新建BLINK_SQL任务
本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Alibaba Blink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者...
新建FLINK_SQL任务
本文为您介绍如何基于Ververica Flink引擎创建FLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者...
新建FLINK_SQL任务
本文为您介绍如何基于Ververica Flink引擎创建FLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者...
Ververica Flink实时任务资源自定义
Ververica Flink实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，...
Ververica Flink实时任务资源自定义
Ververica Flink实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
信号量
更正文档 概述 信号量是多任务系统中实现任务间同步，并且协调多任务对共享资源访问的一种互斥机制。信号量允许有多个使用者，所以采用计数值来表示可用的资源数，当请求一个信号量时，该计数值减1，若此时计数值大于等于0，表示当前有可用...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
RAM权限配置
自定义策略主体结构 {"Statement":[{"Action":"edas:*",/操作Action配置项，配置说明参考下一节《操作Action》"Effect":"Allow","Resource":"*"/操作对象Resource配置项，配置说明参考下一节《资源Resource》}],"Version":"1",} 操作Action...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
- 产品推荐
- 这些文档可能帮助您