同步节点

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息,关键参数说明如下:参数 说明 节点名称 节点的名称,支持用户自定义。节点标识 节点的唯一标识,支持用户自定义,同一个...

同步节点

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息,关键参数说明如下:参数 说明 节点名称 节点的名称,支持用户自定义。节点标识 节点的唯一标识,支持用户自定义,同一个...

一键MaxCompute数据同步节点

本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时,您需要先在Hologres中创建外部表,该外部表可视为MaxCompute源表(即需要同步的MaxCompute数据所在的表)与...

一键MaxCompute表结构同步节点

本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎,它与MaxCompute在底层无缝连接,支持使用新建外部表的方式加速查询MaxCompute数据。DataWorks是基于 IMPORT FOREIGN...

新建同步节点并运行后上线

数据同步节点,实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一:登录节点任务设置页面 登录企业数据智能平台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,...

新建同步节点并运行后上线

数据同步节点,实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一:登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组...

SyncClusterNodePool-同步节点

您可以调用SyncClusterNodePool接口同步集群节点池,包含节点池元数据、节点池内节点信息等。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...

SyncClusterNodePool-同步节点

您可以调用SyncClusterNodePool接口同步集群节点池,包含节点池元数据、节点池内节点信息等。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...

场景1:包含离线同步节点的业务流程,如何配置调度...

DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖,包含离线同步节点的业务流程,如果下游节点依赖离线同步节点产生的表,您需手动添加产出表到离线同步节点的输出中,下游节点查询离线同步节点数据时,自动解析可以通过表快速...

查看节点和双向同步实例

本文介绍如何在RDS全球多活数据库集群中查看、管理节点以及双向同步的实例。前提条件 已创建全球多活数据库集群。操作步骤 访问 全球多活数据库集群 页面。在全球多活数据库集群列表页面,单击目标集群ID。在集群 基本信息 页面,查看和...

调度参数返回值二次处理的典型场景

调度参数只支持获取时间类型数据,部分节点(例如,离线同步节点)配置了调度参数后,调度参数的返回值不能直接使用,需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...

Gateway节点运行Flume进行数据同步

本文介绍阿里云EMR-3.17.0及后续版本,如何使用Gateway节点运行Flume从而进行数据同步。背景信息 EMR-3.16.0及后续版本支持Apache Flume。EMR-3.17.0及后续版本提供默认监控等特性。在Gateway节点运行Flume可以避免对E-MapReduce Hadoop...

03创建开发环境场景并运行

在左侧节点列表中,选择 系统节点>同步节点,将同步节点拖到画布上,输入节点名称为“从MaxCompute同步到RDS MySQL”。单击拖入 同步节点1,在右侧的 运行配置 中,配置节点输入和输出。节点 参数 配置信息 节点输入 云计算资源类型 ...

天任务依赖分钟任务最佳实践

本实验的实现思路如下:创建一个同步节点作为上游的分钟任务,一个SQL节点作为下游的天任务。设置同步节点的调度时间为每5分钟调度一次(开始时间00:00,结束时间23:59,时间间隔5分钟)。配置同步节点 依赖上一周期>本节点,以形成自依赖...

使用DataWorks

使用限制 每个离线同步节点仅支持将单张表数据导出至其他数据源。如果您需要导出多张表数据,需要创建多个离线数据同步节点。操作流程 通过数据集成导出MaxCompute数据的流程如下:添加MaxCompute数据源 将MaxCompute数据源添加至DataWorks...

数据集成

DataWorks数据集成支持复杂网络环境下的数据同步,您可在数据开发(DataStudio)界面直接 创建离线同步节点,用于离线(批量)数据周期性同步;实时同步任务运维,用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...

准备数据

配置离线同步节点 配置电量下降趋势数据同步节点。双击电量下降趋势数据同步节点,进入节点配置页面。选择数据来源。参数 描述 数据源 选择 MySQL>workshop。表 选择MySQL数据源中的表 trending。数据过滤 您将要同步数据的筛选条件,暂时...

离线同步写入MongoDB数据

step3:提交发布离线同步节点 如果您使用的是标准模式的DataWorks工作空间,并且希望后续在生产环境中周期性调度此离线同步任务的话,您可以将离线同步节点提交发布到生产环境。操作详情请参见 发布任务。step4:运行离线同步节点,查看...

通过DataWorks数据集成迁移日志数据至MaxCompute

通过脚本模式配置离线同步节点 成功创建离线同步节点后,单击工具栏中的 转换脚本。单击 提示 对话框中的 确认,即可进入脚本模式进行开发。单击工具栏中的 导入模板。在 导入模板 对话框中,选择从来源端的LogHub数据源同步至目标端的ODPS...

日志服务通过数据集成投递数据

通过脚本模式配置离线同步节点 成功创建离线同步节点后,单击工具栏中的 转换脚本。单击 提示 对话框中的 确认,即可进入脚本模式进行开发。单击工具栏中的 导入模板。在 导入模板 对话框中,选择从来源端的LogHub数据源同步至目标端的ODPS...

使用DataWorks(离线与实时)

操作入口与通用操作指导 DataStudio侧操作 登录 MaxCompute控制台,单击控制台左侧导航的 数据开发 进入 数据开发(DataStudio)页面,可在DataStudio中新建离线同步节点或实时同步节点,开始配置离线或实时同步任务,将其他数据源数据同步...

各类型节点自动解析场景

离线同步节点 离线同步节点不支持自动解析,需手动添加节点的调度依赖配置。不支持自动解析的场景 如下情况不支持自动解析:部分节点可能暂不支持自动解析,节点是否支持自动解析请以实际界面为准。例如:离线节点、AnalyticDB for ...

EMR Hive数据整库离线同步至MaxCompute

你可以通过以下两种方式创建离线同步节点:方式一:展开业务流程,右键单击 数据集成>新建节点>离线同步。方式二:双击业务流程名称,将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。...

EMR Hive数据整库离线同步至MaxCompute

你可以通过以下两种方式创建离线同步节点:方式一:展开业务流程,右键单击 数据集成>新建节点>离线同步。方式二:双击业务流程名称,将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。...

采集数据

本教程中,由于虚拟节点和同步节点无血缘关系,所以此处通过业务流程 拉线 设置虚拟节点 WorkShop_Start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系,更多依赖关系设置方式,详情请参见 调度依赖...

采集数据

本教程中,由于虚拟节点和同步节点无血缘关系,所以此处通过业务流程 拉线 设置虚拟节点 WorkShop_Start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系,更多依赖关系设置方式,详情请参见 调度依赖...

DataStudio侧实时同步任务配置

完成数据源、网络、资源的准备配置后,您可创建实时同步节点,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务,并在创建完成后查看任务运行情况。前提...

配置数据过滤转换

在实时同步节点的编辑页面,鼠标单击 转换>数据过滤 并拖拽至编辑面板,连线已配置好的输入节点。单击 数据过滤 节点,在 节点配置 对话框中,配置各项参数。节点配置 规则:对数据源中的数据进行规则过滤,满足规则的数据才会被保留。例如...

配置PolarDB输入

在实时同步节点的编辑页面,单击 输入>PolarDB 并拖拽至编辑面板。单击 PolarDB 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的PolarDB数据源,此处仅支持PolarDB数据源。如果未配置数据源,请单击右侧的 ...

配置字符串替换

在实时同步节点的编辑页面,鼠标单击 转换>字符串替换 并拖拽至编辑面板,连线已配置好的输入节点。单击 字符串替换 节点,在 节点配置 对话框中,配置各项参数。参数 描述 规则 规则包括以下参数:字段:选择前一个步骤的输入字段。正则...

各类型节点的调度参数配置示例

SQL类型节点及离线同步节点 SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似,可供多数节点参考使用。本文以ODPS SQL节点为例,为您展示如何为系统内置变量及自定义参数赋值,并在代码中进行调用。说明 部分节点可能不...

大量数据导出方案

将数据同步节点和ODPS SQL节点连线配置成依赖关系,ODPS SQL节点作为数据的产出节点,数据同步节点作为数据的导出节点。工作流调度配置完成后(可以直接使用默认配置),单击 运行。数据同步的运行日志,如下所示。2016-12-17 23:43:46.394...

配置DataHub输入

在实时同步节点的编辑页面,鼠标单击 输入>DataHub 并拖拽至编辑面板。单击 DataHub 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的DataHub数据源,此处仅支持DataHub数据源。如果未配置数据源,请单击右侧...

通过脚本模式配置离线同步任务

开发流程 步骤一:新建离线同步节点 步骤二:配置同步网络链接 步骤三:转脚本模式并导入模板 步骤四:编辑脚本,配置同步任务 步骤五:配置调度属性 步骤六:提交并发布任务 步骤一:新建离线同步节点 创建业务流程。详情请参见:创建业务...

通过向导模式配置离线同步任务

开发流程 步骤一:新建离线同步节点 步骤二:配置同步网络链接 步骤三:配置数据来源与去向 步骤四:配置字段映射关系 步骤五:配置通道 步骤六:配置调度属性 步骤七:提交并发布任务 步骤一:新建离线同步节点 创建业务流程。详情请参见...

配置DataHub输出

在实时同步节点的编辑页面,鼠标单击 输出>DataHub 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 DataHub 节点,填写 节点配置 对话框中的参数。参数 描述 数据源 选择已经配置好的DataHub数据源,此处仅支持DataHub数据源。如果...

配置AnalyticDB for MySQL输出

在实时同步节点的编辑页面,单击 输出>AnalyticDB for MySQL 并拖拽至编辑面板,连线已配置好的输入或转换节点。单击 AnalyticDB for MySQL 节点,在 节点配置 对话框中,配置各项参数。参数 描述 数据源 选择已经配置好的 AnalyticDB for ...

配置节点上下文

各类型节点的调度参数配置,详情请参见 SQL类型节点及离线同步节点。配置输出参数 通用场景 您可以在节点上下文中定义 本节点输出参数,输出参数的取值分为 常量 和 变量 两种类型。完成输出参数的定义并提交当前节点后,即可在下游节点中...

RestAPI Reader最佳实践

测试运行 本实践使用了调度参数,因此完成离线同步任务的配置后,您可以在离线同步节点页面顶部单击 带参运行,根据界面提示填写测试的调度参数取值,进行离线同步任务测试。测试运行完成后,您可以在界面下方查看运行日程,检查调度参数...

使用DataWorks同步iGraph数据

您可以进入离线同步节点的编辑页面,单击右侧的 调度配置,下文将为您介绍如何在同步任务中配置节点调度属性。调度参数使用说明请参见 数据集成使用调度参数的相关说明。配置节点调度属性:用于为任务配置阶段使用的变量赋值调度参数,您在...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
CDN 边缘节点服务 ENS 数据传输服务 物联网平台 钉钉会议 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用