离线集成管道通道配置
流量监控 无流量时间阈值 如读取数据与结果传输的过程中，由于查询与传输数据时间过久或数据库负载过大，无数据流量持续时间超过该时长，则置任务失败。默认30分钟，最小值为5，最大值为2880分钟（48小时）。单击 确定，完成通道配置。后续...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
推送记录
系统根据来源模块划分为不同的 告警原因：离线计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置、出错、完成、运行超时、未完成。数据质量 包括 表规则异常、字段规则异常 和 自定义规则异常。数据服务 包括 平均...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等...
查看并管理定时调度补数据任务
说明 Dataphin补数据节点会根据配置自动扩展所需要补数据的节点，编辑已经创建的补数据任务，编辑的配置内容为创建时的补数据任务配置和最新的补数据节点信息。转交负责人：转交当前任务负责人。删除：删除当前补数据任务。③ 批量操作区 ...
推送记录
系统根据来源模块划分为不同的 告警原因：离线计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置、出错、完成、运行超时、未完成。数据质量 包括 表规则异常、字段规则异常 和 自定义规则异常。数据服务 包括 平均...
应用场景
价值：数据建设统一：数据标准规范定义。数据研发提效：自动化代码生成。战略决策高效：数据分析准确，数据需求响应及时。推荐搭配组合：Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务，提高数据化运营...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
使用限制
计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源，系统以此来支持相关数据的建设工作。需要选择计算引擎类型（目前仅开放MaxCompute计算类型），配置计算引擎所在的集群，例如Endpoint等信息。系统以此来支持该计算...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
质量大盘
质量大盘为您展示质量规则校验的表数、校验...② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，展示的具体内容，请以实际页面为主。说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
质量大盘
质量大盘为您展示质量规则校验的表数、校验...② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，展示的具体内容，请以实际页面为主。说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
查看并管理已生成实例
③ 已生成实例列表 已生成实例页面以列表形式为您展示周期任务生成的已生成实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已生成...
查看并管理已生成实例
③ 已生成实例列表 已生成实例页面以列表形式为您展示周期任务生成的已生成实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已生成...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
查看并管理已提交实例
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已提交...
查看并管理已提交实例
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例，包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息，请参见 查看已提交...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
Notebook概述
Dataphin Notebook是基于Web的交互式计算环境，支持您以笔记本的形式编写SQL代码与Markdown文本相结合的富媒体内容，并且可以运行其中的SQL代码并实时显示结果。应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程...
Notebook概述
Dataphin Notebook是基于Web的交互式计算环境，支持您以笔记本的形式编写SQL代码与Markdown文本相结合的富媒体内容，并且可以运行其中的SQL代码并实时显示结果。应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
查看数据分类预置模型
② 从预置模型引入分类 从预置模型选择需要的分类层级及其包含的数据分类，添加至当前生效模型。配置详情请参见 从预置模型引入数据分类。③筛选及搜索区 您可根据数据分类名称的关键字快速搜索数据分类。也可根据 数据分级 筛选对应指定...
查看数据分类预置模型
② 从预置模型引入分类 从预置模型选择需要的分类层级及其包含的数据分类，添加至当前生效模型。配置详情请参见 从预置模型引入数据分类。③筛选及搜索区 您可根据数据分类名称的关键字快速搜索数据分类。也可根据 数据分级 筛选对应指定...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
合规&认证
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品，⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在...
管理明细及汇总表任务字段
支持的操作包括 单字段补数据、补数据、修改运维负责人、查看生产链路、查看消费链路。逻辑表支持的操作详情如下：单字段补数据：汇总逻辑表的指标支持单字段补数据。进行单字段补数据时，需要配置以下参数。实例名称：由Dataphin系统自动...
发布包总览概述
来源环境导出的发布包文件导入至目标环境后，发布包文件包含的数据对象将根据导入规则展示在发布包总览页。您可以根据业务需求对发布包总览页中的待发布对象进行管理或发布。前提条件 来源环境导出的发布包文件已导入至目标环境，具体操作...
管理明细及汇总表任务字段
支持的操作包括 单字段补数据、补数据、修改运维负责人、查看生产链路、查看消费链路。逻辑表支持的操作详情如下：单字段补数据：汇总逻辑表的指标支持单字段补数据。进行单字段补数据时，需要配置以下参数。实例名称：由Dataphin系统自动...
- 产品推荐
- 这些文档可能帮助您