数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
基本概念
元数据管理 对非结构化类型的数据表进行统一的结构化（二维化）配置及管理。网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
配置Hologres输入组件
Hologres输入组件用于读取Hologres数据源的数据。同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。...逻辑表 选择该数据板块的某个逻辑表授权给...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
配置Hologres输入组件
Hologres输入组件用于读取Hologres数据源的数据。同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建...
创建Elasticsearch数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
配置Vertica输入组件
Vertica输入组件用于读取Vertica数据源的数据。同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请...
配置Vertica输入组件
Vertica输入组件用于读取Vertica数据源的数据。同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请...
多账号统一管理
费用详情，请参见 接入DSC的数据库产品附加费用说明。前提条件 已开通资源目录。具体操作，请参见 开通资源目录。已在资源目录中创建新的成员账号或邀请已有的阿里云账号。具体操作，请参见 创建成员、邀请阿里云账号加入资源目录。已购买...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
创建Redis数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
配置SAP HANA输入组件
SAP HANA输入组件用于读取SAP HANA数据源的数据。同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。前提条件 在开始执行...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建...阿里云数据库：在阿里云上创建的数据库。ECS（VPC）自建数据库：使用（VPC）自建的数据库。高级设置 使用 默认配置。单击 测试连接。连通性测试通过后，单击 确定。
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建...阿里云数据库：在阿里云上创建的数据库。ECS（VPC）自建数据库：使用（VPC）自建的数据库。高级设置 使用 默认配置。单击 测试连接。连通性测试通过后，单击 确定。
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
配置Teradata输入组件
Teradata输入组件用于读取Teradata数据源的数据。同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持...
配置SAP HANA输入组件
SAP HANA输入组件用于读取SAP HANA数据源的数据。同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。操作步骤 请参见 通过离...
配置OceanBase输入组件
OceanBase输入组件用于读取OceanBase数据源的数据。同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在...
配置OceanBase输入组件
OceanBase输入组件用于读取OceanBase数据源的数据。同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在...
配置Teradata输入组件
Teradata输入组件用于读取Teradata数据源的数据。同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。前提条件 已创建...
数据源管理
前提条件 已创建数据源，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 资产。按照下图指引，进入 设置限速 页面。在 设置限速 页面，设置 限速时段 后，单击 确定。可以单击 添加时段，添加多个时段，最...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
管理数据分级
查看数据分级 在 数据分级 页面，查看系统中的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字，快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...
管理数据分级
查看数据分级 在 数据分级 页面，查看系统中的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字，快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...
配置Hive输入组件
Hive输入组件用于读取Hive数据源的数据。同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、...
配置TiDB输入组件
TiDB输入组件用于读取TiDB数据源的数据。同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请...
创建MongoDB数据源
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。操作步骤 请参参见 数据源管理入口，进入...
创建SAP HANA数据源
如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将Dataphin的数据导出至SAP HANA场景中，您需要先完成SAP HANA数据源的创建。更多SAP HANA信息，请参见 SAP HANA官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
配置TiDB输入组件
TiDB输入组件用于读取TiDB数据源的数据。同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请...
配置MySQL输入组件
MySQL输入组件用于读取MySQL数据源的数据。同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口...
- 产品推荐
- 这些文档可能帮助您