03创建开发环境场景并运行

dataq_dws_rds_prod 将dws层公共节点和对应的同步节点进行连线。步骤三:运行开发环境场景 单击 图标,保存画布后,单击 图标,进行离线节点运行。说明 如果场景运行失败,您可将鼠标指针指向状态后并单击后面的 查看日志,通过运行日志...

同步节点

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息,关键参数说明如下:参数 说明 节点名称 节点的名称,支持用户自定义。节点标识 节点的唯一标识,支持用户自定义,同一个...

同步节点

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息,关键参数说明如下:参数 说明 节点名称 节点的名称,支持用户自定义。节点标识 节点的唯一标识,支持用户自定义,同一个...

新建同步节点并运行后上线

数据同步节点,实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一:登录节点任务设置页面 登录企业数据智能平台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,...

新建同步节点并运行后上线

数据同步节点,实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一:登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组...

数据集成

DataWorks数据集成支持复杂网络环境下的数据同步,您可在数据开发(DataStudio)界面直接 创建离线同步节点,用于离线(批量)数据周期性同步;实时同步任务运维,用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...

通过DataWorks数据集成迁移日志数据至MaxCompute

通过脚本模式配置离线同步节点 成功创建离线同步节点后,单击工具栏中的 转换脚本。单击 提示 对话框中的 确认,即可进入脚本模式进行开发。单击工具栏中的 导入模板。在 导入模板 对话框中,选择从来源端的LogHub数据源同步至目标端的ODPS...

准备数据

配置离线同步节点 配置电量下降趋势数据同步节点。双击电量下降趋势数据同步节点,进入节点配置页面。选择数据来源。参数 描述 数据源 选择 MySQL>workshop。表 选择MySQL数据源中的表 trending。数据过滤 您将要同步数据的筛选条件,暂时...

EMR Hive数据整库离线同步至MaxCompute

你可以通过以下两种方式创建离线同步节点:方式一:展开业务流程,右键单击 数据集成>新建节点>离线同步。方式二:双击业务流程名称,将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。...

EMR Hive数据整库离线同步至MaxCompute

你可以通过以下两种方式创建离线同步节点:方式一:展开业务流程,右键单击 数据集成>新建节点>离线同步。方式二:双击业务流程名称,将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。...

DataStudio侧实时同步任务配置

完成数据源、网络、资源的准备配置后,您可创建实时同步节点,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务,并在创建完成后查看任务运行情况。前提...

配置PolarDB输入

在实时同步节点的编辑页面,单击 输入>PolarDB 并拖拽至编辑面板。单击 PolarDB 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的PolarDB数据源,此处仅支持PolarDB数据源。如果未配置数据源,请单击右侧的 ...

配置数据过滤转换

在实时同步节点的编辑页面,鼠标单击 转换>数据过滤 并拖拽至编辑面板,连线已配置好的输入节点。单击 数据过滤 节点,在 节点配置 对话框中,配置各项参数。节点配置 规则:对数据源中的数据进行规则过滤,满足规则的数据才会被保留。例如...

配置字符串替换

在实时同步节点的编辑页面,鼠标单击 转换>字符串替换 并拖拽至编辑面板,连线已配置好的输入节点。单击 字符串替换 节点,在 节点配置 对话框中,配置各项参数。参数 描述 规则 规则包括以下参数:字段:选择前一个步骤的输入字段。正则...

采集数据

本教程中,由于虚拟节点和同步节点无血缘关系,所以此处通过业务流程 拉线 设置虚拟节点 WorkShop_Start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系,更多依赖关系设置方式,详情请参见 调度依赖...

采集数据

本教程中,由于虚拟节点和同步节点无血缘关系,所以此处通过业务流程 拉线 设置虚拟节点 WorkShop_Start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系,更多依赖关系设置方式,详情请参见 调度依赖...

配置DataHub输入

在实时同步节点的编辑页面,鼠标单击 输入>DataHub 并拖拽至编辑面板。单击 DataHub 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的DataHub数据源,此处仅支持DataHub数据源。如果未配置数据源,请单击右侧...

通过脚本模式配置离线同步任务

开发流程 步骤一:新建离线同步节点 步骤二:配置同步网络链接 步骤三:转脚本模式并导入模板 步骤四:编辑脚本,配置同步任务 步骤五:配置调度属性 步骤六:提交并发布任务 步骤一:新建离线同步节点 创建业务流程。详情请参见:创建业务...

各类型节点的调度参数配置示例

SQL类型节点及离线同步节点 SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似,可供多数节点参考使用。本文以ODPS SQL节点为例,为您展示如何为系统内置变量及自定义参数赋值,并在代码中进行调用。说明 部分节点可能不...

通过向导模式配置离线同步任务

开发流程 步骤一:新建离线同步节点 步骤二:配置同步网络链接 步骤三:配置数据来源与去向 步骤四:配置字段映射关系 步骤五:配置通道 步骤六:配置调度属性 步骤七:提交并发布任务 步骤一:新建离线同步节点 创建业务流程。详情请参见...

配置AnalyticDB for MySQL输出

在实时同步节点的编辑页面,单击 输出>AnalyticDB for MySQL 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 AnalyticDB for MySQL 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的 AnalyticDB for ...

配置DataHub输出

在实时同步节点的编辑页面,鼠标单击 输出>DataHub 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 DataHub 节点,填写 节点配置 对话框中的参数。参数 描述 数据源 选择已经配置好的DataHub数据源,此处仅支持DataHub数据源。如果...

OSS数据离线同步至MaxCompute

新建离线同步任务 在数据开发(DataStudio)页面的某个业务流程下,新建一个离线同步节点,根据界面提示配置节点的路径、名称等信息,操作详情请参见 通过向导模式配置离线同步任务。配置数据来源:OSS侧参数 配置离线同步节点的数据来源...

OSS数据离线同步至MaxCompute

新建离线同步任务 在数据开发(DataStudio)页面的某个业务流程下,新建一个离线同步节点,根据界面提示配置节点的路径、名称等信息,操作详情请参见 通过向导模式配置离线同步任务。配置数据来源:OSS侧参数 配置离线同步节点的数据来源...

使用DataWorks同步iGraph数据

您可以进入离线同步节点的编辑页面,单击右侧的 调度配置,下文将为您介绍如何在同步任务中配置节点调度属性。调度参数使用说明请参见 数据集成使用调度参数的相关说明。配置节点调度属性:用于为任务配置阶段使用的变量赋值调度参数,您在...

配置Hologres输出

在实时同步节点的编辑页面,单击 输出>Hologres 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 Hologres 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的Hologres数据源,此处仅支持Hologres数据源...

Kafka增量数据同步至MaxCompute

新建离线同步任务 在数据开发(DataStudio)页面的某个业务流程下,新建一个离线同步节点,根据界面提示配置节点的路径、名称等信息,操作详情请参见 通过向导模式配置离线同步任务。配置数据来源:Kafka侧参数 配置离线同步节点的数据来源...

Kafka增量数据同步至MaxCompute

新建离线同步任务 在数据开发(DataStudio)页面的某个业务流程下,新建一个离线同步节点,根据界面提示配置节点的路径、名称等信息,操作详情请参见 通过向导模式配置离线同步任务。配置数据来源:Kafka侧参数 配置离线同步节点的数据来源...

配置MaxCompute输出

在实时同步节点的编辑页面,单击 输出>MaxCompute 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 MaxCompute 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的MaxCompute数据源,此处仅支持...

配置MySQL输入

在实时同步节点的编辑页面,单击 输入>MySQL 并拖拽至编辑面板。单击 MySQL 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的MySQL数据源,此处仅支持MySQL数据源。如果未配置数据源,请单击右侧的 新建数据...

采集数据

以同样的方式新建两个 离线同步 节点,节点名称 分别为 di_ods_raw_log_d_emr 和 di_ods_user_info_d_emr,用于后续同步RDS用户信息与OSS日志信息。通过拖拽连线,将 workshop_start_emr 节点设置为两个离线同步节点的上游节点。配置...

配置LogHub(SLS)输入

在实时同步节点的编辑页面,鼠标单击 输入>LogHub 并拖拽至编辑面板。单击 LogHub 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的LogHub(SLS)数据源,此处仅支持LogHub(SLS)数据源。如果未配置数据源,...

配置Kafka输出

在实时同步节点的编辑页面,鼠标单击 输出>Kafka 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 Kafka 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源,此处仅支持Kafka数据源。如果未...

基本概念

节点类型:任务流中包含的同步节点、MaxCompute_SQL节点、Flink_Vvp节点、自定义计算节点等在不同计算资源上运行的计算任务节点。补数据计划:通常情况下,对于离线周期任务,当前序任务失败或任务第一次上线,需要通过补数据计划同步或...

配置同周期调度依赖

依赖配置:对于使用SQL任务加工离线同步任务的产出表的场景,为了方便SQL任务对离线同步任务产出表进行加工时,可通过血缘自动解析快速依赖离线同步任务,您需手动将离线同步节点的产出表配置为节点输出,或者将离线同步任务产出表名作为离...

配置Elasticsearch输出

在实时同步节点的编辑页面,单击 输出>Elasticsearch 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 Elasticsearch 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的Elasticsearch数据源,此处仅...

配置Kafka输入

在实时同步节点的编辑页面,鼠标单击 输入>Kafka 并拖拽至编辑面板。单击 Kafka 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源,此处仅支持Kafka数据源。如果未配置数据源,请单击右侧的 新建...

MSE Sync迁移方案

JAVA_OPT="$JAVA_OPT-Dmsesync.deamon.refresh.interval=10"重要 定时任务时间间隔默认为60秒,扫描间隔不宜设置过短,否则会造成服务端和同步节点压力过大。具体时间设置需要根据集群负载和同步工具负载确定,建议值不要小于10秒。请勿在...

日志位点监控

复制槽类型与 PolarDB 集群中的节点类型相对应,replica节点与主节点共用一份数据,主节点与replica节点的同步如果断开,对主节点的影响较大,需要及时处理。standby节点与主节点类似传统PostgreSQL的主备,各自有独立的数据。复制槽类型...

调度配置

背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系,同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能调度下游节点。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
边缘节点服务 ENS 数据传输服务 CDN 物联网平台 钉钉会议 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用