准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
输入和输出数据的格式
云数据库ClickHouse输入和输出数据格式的详细信息，请参见 输入和输出数据的格式。
动态特征提取
是 整数或浮点数 不限 OUT端口-输出参数 参数名 参数描述 输出数据类型 OUT 各个输入变量特征提取后的特征输出值。浮点数 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 采样方式 按时间：使用过去一段时间的历史数据。按次数：...
存储说明
Master实例默认挂载1块云盘作为数据盘，Core实例默认挂载4块云盘作为数据盘。云盘与本地盘 E-MapReduce集群支持使用以下两种类型的磁盘来存储数据。块存储类型 描述 使用场景 云盘 包括SSD云盘、高效云盘和ESSD云盘。磁盘不直接挂载在本地...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面...
配置DM（达梦）输出组件
表 选择输出数据的目标表。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供...
配置DM（达梦）输出组件
表 选择输出数据的目标表。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
分析MaxCompute外部表数据
MaxCompute的非结构化框架支持通过INSERT方式将MaxCompute的数据直接输出到OSS。MaxCompute也支持通过外部表关联OSS，进行数据输出。由于MaxCompute外部表的目录结构比较特殊，需要在建表时先指定 directory.odps 属性为 true，DLA才会按照...
配置Vertica输出组件
表 选择输出数据的目标表。解析方案 非必填项，选择数据输出前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示...
使用执行计划分析查询
数据输出行数 两个相邻Stage间连线上的数字表示上游Stage向下游Stage输出的数据行数。数据输出行数越多，Stage间的连线越粗。数据输出方法 表示在两个相邻的Stage间，上游向下游Stage传输数据时所用的方法。AnalyticDB MySQL版 支持以下...
配置Vertica输出组件
表 选择输出数据的目标表。解析方案 非必填项，选择数据输出前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示...
产品概述
数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算文档 流处理应用 用户可以编写应用订阅数据总线 DataHub中的数据，并进行实时的加工，把加工后的结果输出。用户可以把应用计算产生...
2020年
从自建SQL Server增量迁移至RDS SQL Server 支持DTS云服务与通过云企业网CEN（Cloud Enterprise Network）接入的本地IDC实现互通，可将本地IDC中的自建数据库作为数据迁移或数据同步的源库或目标库，实现便捷、安全的数据迁移上云。...
数据集拆分
本文为您介绍数据集拆分组件。功能说明 数据集拆分组件可以根据拆分比例对输入数据集做拆分...例如：当拆分比例设置为0.2时，则OUT1端口输出数据集数量为输入数据集总量的20%，OUT2端口输出数据集数量为输入数据集总量剩下的80%。是 0.2[0,1]
配置MongoDB输出组件
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 申请、续期和交还数据源权限。...
新建Flink Vvp SQL类型的公共节点
输出数据格式 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
配置AnalyticDB for MySQL 2.0输出组件
表 选择输出数据的目标表。模式 选择数据输出的模式。模式 包括：Insert模式：Insert模式支持较小数据量（千万条）的写入。需配置 解析方案。填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。Load模式：Load模式...
配置AnalyticDB for MySQL 2.0输出组件
表 选择输出数据的目标表。模式 选择数据输出的模式。模式 包括：Insert模式：Insert模式支持较小数据量（千万条）的写入。需配置 解析方案。填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。Load模式：Load模式...
配置MongoDB输出组件
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 管理数据源权限。同时您也可以...
配置PolarDB-X输出组件
表 选择输出数据的目标表。加载策略 选择数据写入目标表的策略。加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必选项，选择输出...
数据分析概述
允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的引擎自带数据源，一部分是自建数据源。在SQL查询中可预览数据集中的数据，并快速生成该表的查询SQL语句，详情请参见 SQL查询。电子表格 电子表格是...
配置Teradata输出组件
解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段。输出字段 单击 字段管理，在 字段管理 对话框，添加输出字段：单击 图片，将 ...
配置Teradata输出组件
解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段。输出字段 单击 字段管理，在 字段管理 对话框，添加输出字段：单击 图片，将 ...
配置PolarDB输出组件
表 选择输出数据的目标表。加载策略 选择加载策略：追加数据策略下，当指主键或约束冲突时，会提示脏数据错误。覆盖数据策略下，当主键或约束冲突时，会先删除原数据，再插入整行新数据。说明 PostgreSQL协议下加载策略不生效。解析方案 非...
配置PolarDB输出组件
表 选择输出数据的目标表。加载策略 选择加载策略：追加数据策略下，当指主键或约束冲突时，会提示脏数据错误。覆盖数据策略下，当主键或约束冲突时，会先删除原数据，再插入整行新数据。说明 PostgreSQL协议下加载策略不生效。解析方案 非...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
配置PolarDB-X输出组件
解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出字段。单击 字段管理：单击 图标，将 已选的输入字段 移入 未选的输入...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
配置OceanBase输出组件
解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 单击 字段管理，在 字段管理 对话框，添加输出字段：单击 图片，将 已选的输入字段 ...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
新建Elastic Job类型的公共节点
配置 节点输出：如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出，自定义填写输出标识，并选择输出数据结构。配置 节点变量：如果需要设置节点的全局控制参数，单击 添加参数，添加节点变量...
不同阿里云账号下RDS实例间的数据同步
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 功能限制 不兼容触发器 当同步对象为整个库，且库中的触发器（TRIGGER）会更新库内...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
新建Flink Vvr Stream类型的公共节点
如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出，自定义填写输出标识，并选择输出数据结构。如果需要设置节点的全局控制参数，单击 添加参数，添加节点变量并赋值，关于全局变量的设置，更...
新建Flink Vvr Stream类型的公共节点
如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出，自定义填写输出标识，并选择输出数据结构。如果需要设置节点的全局控制参数，单击 添加参数，添加节点变量并赋值，关于全局变量的设置，更...
- 产品推荐
- 这些文档可能帮助您