天任务依赖分钟任务最佳实践
本实验的实现思路如下：创建一个同步节点作为上游的分钟任务，一个SQL节点作为下游的天任务。设置同步节点的调度时间为每5分钟调度一次（开始时间00:00，结束时间23:59，时间间隔5分钟）。配置同步节点 依赖上一周期>本节点，以形成自依赖...
同步节点
同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息，关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，支持用户自定义，同一个...
同步节点
同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息，关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，支持用户自定义，同一个...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
通过DataWorks数据集成迁移日志数据至MaxCompute
通过脚本模式配置离线同步节点 成功创建离线同步节点后，单击工具栏中的 转换脚本。单击 提示 对话框中的 确认，即可进入脚本模式进行开发。单击工具栏中的 导入模板。在 导入模板 对话框中，选择从来源端的LogHub数据源同步至目标端的ODPS...
准备数据
配置离线同步节点 配置电量下降趋势数据同步节点。双击电量下降趋势数据同步节点，进入节点配置页面。选择数据来源。参数 描述 数据源 选择 MySQL>workshop。表 选择MySQL数据源中的表 trending。数据过滤 您将要同步数据的筛选条件，暂时...
EMR Hive数据整库离线同步至MaxCompute
方式二：双击业务流程名称，然后单击 新建节点，将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源...
EMR Hive数据整库离线同步至MaxCompute
方式二：双击业务流程名称，然后单击 新建节点，将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源...
配置PolarDB输入
在实时同步节点的编辑页面，单击 输入>PolarDB 并拖拽至编辑面板。单击 PolarDB 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的PolarDB数据源，此处仅支持PolarDB数据源。如果未配置数据源，请单击右侧的 ...
配置数据过滤转换
在实时同步节点的编辑页面，鼠标单击 转换>数据过滤 并拖拽至编辑面板，连线已配置好的输入节点。单击 数据过滤 节点，在 节点配置 对话框中，配置各项参数。节点配置 规则：对数据源中的数据进行规则过滤，满足规则的数据才会被保留。例如...
配置字符串替换
在实时同步节点的编辑页面，鼠标单击 转换>字符串替换 并拖拽至编辑面板，连线已配置好的输入节点。单击 字符串替换 节点，在 节点配置 对话框中，配置各项参数。参数 描述 规则 规则包括以下参数：字段：选择前一个步骤的输入字段。正则...
配置DataHub输入
在实时同步节点的编辑页面，鼠标单击 输入>DataHub 并拖拽至编辑面板。单击 DataHub 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的DataHub数据源，此处仅支持DataHub数据源。如果未配置数据源，请单击右侧...
各类型节点的调度参数配置示例
SQL类型节点及离线同步节点 SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似，可供多数节点参考使用。本文以ODPS SQL节点为例，为您展示如何为系统内置变量及自定义参数赋值，并在代码中进行调用。说明 部分节点可能不...
配置AnalyticDB for MySQL输出
在实时同步节点的编辑页面，单击 输出>AnalyticDB for MySQL 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 AnalyticDB for MySQL 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的 AnalyticDB for ...
OSS数据离线同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：OSS侧参数 配置离线同步节点的数据来源...
OSS数据离线同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：OSS侧参数 配置离线同步节点的数据来源...
配置DataHub输出
在实时同步节点的编辑页面，鼠标单击 输出>DataHub 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 DataHub 节点，填写 节点配置 对话框中的参数。参数 描述 数据源 选择已经配置好的DataHub数据源，此处仅支持DataHub数据源。如果...
Kafka增量数据同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：Kafka侧参数 配置离线同步节点的数据来源...
Kafka增量数据同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：Kafka侧参数 配置离线同步节点的数据来源...
参数节点
以上图为例，sql_3、sql_4、sql_5、sql_7节点均需使用参数，此时您可以新增一个参数节点，将各个下游节点使用的参数都添加至参数节点中，将需要使用参数的节点挂在此参数节点下游。注意事项 某个任务节点引用参数节点中的参数时，需在业务...
配置Hologres输出
在实时同步节点的编辑页面，单击 输出>Hologres 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Hologres 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Hologres数据源，此处仅支持Hologres数据源...
采集数据
以同样的方式新建两个 离线同步 节点，节点名称 分别为 di_ods_raw_log_d_emr 和 di_ods_user_info_d_emr，用于后续同步RDS用户信息与OSS日志信息。通过拖拽连线，将 workshop_start_emr 节点设置为两个离线同步节点的上游节点。配置...
配置MySQL输入
在实时同步节点的编辑页面，单击 输入>MySQL 并拖拽至编辑面板。单击 MySQL 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的MySQL数据源，此处仅支持MySQL数据源。如果未配置数据源，请单击右侧的 新建数据...
配置MaxCompute输出
在实时同步节点的编辑页面，单击 输出>MaxCompute 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 MaxCompute 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的MaxCompute数据源，此处仅支持...
配置LogHub（SLS）输入
在实时同步节点的编辑页面，鼠标单击 输入>LogHub 并拖拽至编辑面板。单击 LogHub 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的LogHub（SLS）数据源，此处仅支持LogHub（SLS）数据源。如果未配置数据源，...
配置Kafka输出
在实时同步节点的编辑页面，鼠标单击 输出>Kafka 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Kafka 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源，此处仅支持Kafka数据源。如果未...
基本概念
节点类型：任务流中包含的同步节点、MaxCompute_SQL节点、Flink_Vvp节点、自定义计算节点等在不同计算资源上运行的计算任务节点。补数据计划：通常情况下，对于离线周期任务，当前序任务失败或任务第一次上线，需要通过补数据计划同步或...
配置Elasticsearch输出
在实时同步节点的编辑页面，单击 输出>Elasticsearch 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Elasticsearch 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Elasticsearch数据源，此处仅...
配置同周期调度依赖
依赖配置：对于使用SQL任务加工离线同步任务的产出表的场景，为了方便SQL任务对离线同步任务产出表进行加工时，可通过血缘自动解析快速依赖离线同步任务，您需手动将离线同步节点的产出表配置为节点输出，或者将离线同步任务产出表名作为离...
配置Kafka输入
在实时同步节点的编辑页面，鼠标单击 输入>Kafka 并拖拽至编辑面板。单击 Kafka 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源，此处仅支持Kafka数据源。如果未配置数据源，请单击右侧的 新建...
配置数据脱敏
在实时同步节点的编辑页面，鼠标单击 转换>数据脱敏 并拖拽至编辑面板，连线已配置好的输入节点。单击 数据脱敏 节点，在 数据脱敏 对话框中，配置各项参数。新建 脱敏规则：单击 新建脱敏规则，在弹出来的 新建脱敏规则 对话框中选择需要...
MSE Sync迁移方案
JAVA_OPT="$JAVA_OPT-Dmsesync.deamon.refresh.interval=10"重要 定时任务时间间隔默认为60秒，扫描间隔不宜设置过短，否则会造成服务端和同步节点压力过大。具体时间设置需要根据集群负载和同步工具负载确定，建议值不要小于10秒。请勿在...
调度配置
背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能调度下游节点。...
调度配置
背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能调度下游节点。...
组复制简介
例如，5个节点的集群，3个节点收到Binlog，2个节点未收到Binlog，此时有2个节点故障：如果故障的2个节点是收到Binlog的节点，那至少还有1个节点上有数据。如果故障的2个节点是没收到Binlog的节点，那至少还有3个节点上有数据。说明 多数派...
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
最佳实践：文件管理OpenAPI基础实践
例如：fileType=23的离线同步节点，应该在数据集成目录下。request.setFileType(99);文件依赖的上游文件的输出，此处依赖根节点projectIdentifier_root。必填，不然无法提交。request.setInputList("zxy_8221431_root");对应ide页面调度...
- 产品推荐
- 这些文档可能帮助您