配置GBase 8a输入组件
GBase 8a输入组件用于读取GBase 8a数据源的数据。同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8...
配置MaxCompute输入组件
MaxCompute输入组件用于读取MaxCompute数据源的数据。同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在...
配置MySQL输入组件
MySQL输入组件用于读取MySQL数据源的数据。同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置MySQL输入组件
MySQL输入组件用于读取MySQL数据源的数据。同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口...
配置MaxCompute输入组件
MaxCompute输入组件用于读取MaxCompute数据源的数据。同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在...
新建TDengine数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
配置Oracle输入组件
Oracle输入组件用于读取Oracle数据源的数据。同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。操作步骤 请参见 通过离线单...
创建Vertica数据源
背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先完成Vertica数据源的创建。更多Vertica信息，请参见 Vertica官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、...
创建Vertica数据源
背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先完成Vertica数据源的创建。更多Vertica信息，请参见 Vertica官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、...
创建Aliyun HBase数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
新建TDengine数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
配置GBase 8a输入组件
GBase 8a输入组件用于读取GBase 8a数据源的数据。同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8...
配置PolarDB输入组件
PolarDB输入组件用于读取PolarDB数据源的数据。同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
创建DataHub数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
配置MongoDB输入组件
MongoDB输入组件用于读取MongoDB数据源的数据。同步MongoDB数据源的数据至其他数据源的场景中，您需要先配置MongoDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MongoDB输入组件。前提条件 在开始执行操作前，...
创建IBM DB2数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置Hive输出组件
数据源 在数据源下拉列表中，展示所有Hive类型的数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以单击数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请数据源权限。...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
管理数据架构待发布对象
前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据架构 页签，进入待发布 数据架构 对象页面。管理数据架构待发布对象 待发布数据架构页面主要由搜索与...
配置SAP Table输入组件
SAP Table输入组件用于读取SAP Table数据源的数据。同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建...
配置Impala输入组件
Impala输入组件用于读取Impala数据源的数据。同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，...
管理数据架构待发布对象
前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据架构 页签，进入待发布 数据架构 对象页面。管理数据架构待发布对象 待发布数据架构页面主要由搜索与...
配置SAP Table输入组件
SAP Table输入组件用于读取SAP Table数据源的数据。同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建...
配置Log Service输入组件
Log Service输入组件用于读取Log Service数据源的数据。同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始...
创建Aliyun HBase数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 仅支持 超级管理员、...
创建API数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
管理数据分类层级
查看数据分类层级 您可在 生效模型 页面查看已配置的数据分类层级信息，并可执行从预置模型引入分类、编辑、删除等操作。区域 描述 ① 搜索及收展区 您可根据数据分类层级名称的关键字进行模糊搜索。您可单击展开全部分类 或收起全部分类 ...
配置Log Service输入组件
Log Service输入组件用于读取Log Service数据源的数据。同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始...
管理数据分类层级
查看数据分类层级 您可在 生效模型 页面查看已配置的数据分类层级信息，并可执行从预置模型引入分类、编辑、删除等操作。区域 描述 ① 搜索及收展区 您可根据数据分类层级名称的关键字进行模糊搜索。您可单击展开全部分类 或收起全部分类 ...
创建DataHub数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
创建API数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
项目资产详情
② 资产详情 为您展示项目内的数据表 名称、创建人、存储类型、数据更新时间。您也可以单击 操作 列下的 图标，在权限管理模块，申请表权限，详情请参见 申请、续期和交还表权限。③ 资产信息 为您展示项目的 项目概况 和 基本信息。
创建OpenGauss数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
创建OpenGauss数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
配置TDH Inceptor输入组件
TDH Inceptor输入组件用于读取TDH Inceptor数据源的数据。同步TDH Inceptor数据源的数据至其他数据源的场景中，您需要先配置TDH Inceptor输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置TDH Inceptor输入组件...
- 产品推荐
- 这些文档可能帮助您