新建Spark SQL类型公共节点并运行
Spark SQL节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark SQL类型的公共节点并运行。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
新建Hive类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Hive类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建RDS MySQL类型的公共节点
RDS MySQL节点是离线节点，运行于RDS MySQL类型的云计算资源之上，可通过输入SQL语句处理RDS MySQL类型的数据源。本文介绍如何新建RDS MySQL类型的公共节点。前提条件 已创建RDS MySQL类型的云计算资源，具体操作，请参见 新建云计算资源。...
新建RDS MySQL类型的公共节点
RDS MySQL节点是离线节点，运行于RDS MySQL类型的云计算资源之上，可通过输入SQL语句处理RDS MySQL类型的数据源。本文介绍如何新建RDS MySQL类型的公共节点。前提条件 已创建RDS MySQL类型的云计算资源，具体操作，请参见 新建云计算资源。...
新建PostgreSQL类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建AnalyticDB PostgreSQL类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建PostgreSQL类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建AnalyticDB PostgreSQL类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Elastic Job类型的公共节点
配置 节点输入：如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。配置 节点输出：如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，...
新建MaxCompute SQL类型的公共节点
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
新建MaxCompute SQL类型的公共节点
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
新建Blink类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Blink类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Elastic Job类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
新建Elastic Service在线类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Blink DataStream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Blink DataStream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink SQL类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvp SQL类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
步骤三：配置节点运行配置
通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理，实现处理多种类型的数据，以及查看同一租户内不同工作组中的任务依赖信息，并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。前提条件 已创建...
步骤三：配置节点运行配置
通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理，实现处理多种类型的数据，以及查看同一租户内不同工作组中的任务依赖信息，并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。前提条件 已创建...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
导出结构和数据
背景信息 ODC 支持批量导出数据库对象的结构和数据。通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
INSERT OVERWRITE SELECT
本文介绍 云原生数据仓库AnalyticDB MySQL版 表数据的高性能写入方式 INSERT OVERWRITE SELECT，包括应用场景、功能原理、注意事项、语法和异步写入应用。功能原理 INSERT OVERWRITE SELECT 会先清空分区中的旧数据，再将新数据批量写入到...
接入阿里云ECS自建数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有：MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。部署数据库实例的ECS与DAS属于同一个阿里...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
配置参数说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
计算节点配置说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
计算节点配置说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
- 产品推荐
- 这些文档可能帮助您