补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
基本概念
元数据管理 对非结构化类型的数据表进行统一的结构化（二维化）配置及管理。网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用...
创建Elasticsearch数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。...逻辑表 选择该数据板块的某个逻辑表授权给...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。...逻辑表 选择该数据板块的某个逻辑表授权给...
逻辑表DML操作
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table[partition()](,...不指定字段时，先清空目标表的全部数据，再插入新的数据。指定字段时，先清空目标字段的全部数据，非目标字段的数据保留。
逻辑表DML操作
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table[partition()](,...不指定字段时，先清空目标表的全部数据，再插入新的数据。指定字段时，先清空目标字段的全部数据，非目标字段的数据保留。
管理数据分级
查看数据分级 在 数据分级 页面，查看系统中的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字，快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
管理数据分级
查看数据分级 在 数据分级 页面，查看系统中的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字，快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
配置Vertica输入组件
Vertica输入组件用于读取Vertica数据源的数据。同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
数据源管理
前提条件 已创建数据源，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 资产。按照下图指引，进入 设置限速 页面。在 设置限速 页面，设置 限速时段 后，单击 确定。可以单击 添加时段，添加多个时段，最...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
配置Vertica输入组件
Vertica输入组件用于读取Vertica数据源的数据。同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请...
数据源管理
前提条件 已创建数据源，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 资产。按照下图指引，进入 设置限速 页面。在 设置限速 页面，设置 限速时段 后，单击 确定。可以单击 添加时段，添加多个时段，最...
配置SAP HANA输入组件
SAP HANA输入组件用于读取SAP HANA数据源的数据。同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。前提条件 在开始执行...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
创建SAP HANA数据源
如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将Dataphin的数据导出至SAP HANA场景中，您需要先完成SAP HANA数据源的创建。更多SAP HANA信息，请参见 SAP HANA官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构...
创建Redis数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
创建MongoDB数据源
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。操作步骤 请参参见 数据源管理入口，进入...
创建Teradata数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
创建IBM DB2数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
配置逻辑表数据延迟
在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无设置事件时间字段、无主键、逻辑表已开启自定义物化时，不支持开启延迟数据...
配置逻辑表数据延迟
在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无设置事件时间字段、无主键、逻辑表已开启自定义物化时，不支持开启延迟数据...
创建Teradata数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
阿里邮箱绑定域名注意事项
但如您的域名没有按照要求域名解析指向阿里邮箱，您的阿里邮箱会无法正常发送信件。支持子域名绑定阿里邮箱。例如：@123.abc.com 如果您已经在阿里云成功开通了相同域名的邮箱，不允许重复申请。注：请留意，如您绑定邮箱域名使用的为mail....
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
创建OceanBase数据源
背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库。如果您使用的是阿里云数据库OceanBase，在对接Dataphin进行数据开发或将Dataphin数据写入至OceanBase时，您需要先完成OceanBase...
新建TDengine数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
创建Vertica数据源
背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先完成Vertica数据源的创建。更多Vertica信息，请参见 Vertica官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、...
- 产品推荐
- 这些文档可能帮助您