产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
基础概念
分片规格 即计算资源的规格 分片 即分列，列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能...
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
升级
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据 上，单击 数据开发和治理 列下的 Dataphin。在Dataphin产品详情页，单击 产品控制台，进入Dataphin管理控制台页面。在Dataphin管理控制台页面，单击已开通版本详情后...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
查看数据分类预置模型
Dataphin系统内置了数据分类的模型，以便用于识别规则的快速创建。本文为您介绍如何查看数据分类的预置模型。预置模型入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 预置模型 页面。查看数据分类预置模型 系统内置...
查看数据分类预置模型
Dataphin系统内置了数据分类的模型，以便用于识别规则的快速创建。本文为您介绍如何查看数据分类的预置模型。预置模型入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 预置模型 页面。查看数据分类预置模型 系统内置...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
调用API
数据源类型 单次最大返回条数 查询总条数限制 是否支持分页查询 单物理表服务单元 MySQL 10000 无上限 支持 AnalyticDB for MySQL2.0 支持 ElasticSearch 支持 Microsoft SQL Server 不支持 PostgreSQL 支持 AnalyticDB for MySQL3.0 支持 ...
SQL增强操作
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
资源分析
通过比较存储健康分（均值）和存储健康分判断数据趋势的稳定性，存储健康分（均值）和存储健康分差距越小，数据的稳定性越好。例如上图中的标识③所示，以2023-01-18为基础的最近7天内存储健康分（均值）为71.41分，2023-01-18当天的存储...
资源分析
通过比较存储健康分（均值）和存储健康分判断数据趋势的稳定性，存储健康分（均值）和存储健康分差距越小，数据的稳定性越好。例如上图中的标识③所示，以2023-01-18为基础的最近7天内存储健康分（均值）为71.41分，2023-01-18当天的存储...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
查看识别规则运行记录
识别规则和基于血缘的继承任务每运行一次就会生成一条运行记录。...若有多个数据分级相同但数据分类不同，则扫描规则按照从高到低为：数据分类优先级>识别记录的更新时间>分类修改时间。识别规则扫描，不满足阈值条件的，则不会进入仲裁判断。
查看识别规则运行记录
识别规则和基于血缘的继承任务每运行一次就会生成一条运行记录。...若有多个数据分级相同但数据分类不同，则扫描规则按照从高到低为：数据分类优先级>识别记录的更新时间>分类修改时间。识别规则扫描，不满足阈值条件的，则不会进入仲裁判断。
资产安全权限列表
Y Y Y Y Y Y Y 查看识别规则列表 Y Y Y Y Y Y Y 数据分类 新建数据分类 N N N Y N N N 编辑数据分类 N N N Y N N N 删除数据分类 N N N Y N N N 查看数据分类列表 Y Y Y Y Y Y Y 数据分级 新建数据分级 N N N Y N N N 编辑数据分级 N N N Y...
资产安全权限列表
Y Y Y Y Y Y Y 查看识别规则列表 Y Y Y Y Y Y Y 数据分类 新建数据分类 N N N Y N N N 编辑数据分类 N N N Y N N N 删除数据分类 N N N Y N N N 查看数据分类列表 Y Y Y Y Y Y Y 数据分级 新建数据分级 N N N Y N N N 编辑数据分级 N N N Y...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
管理动态脱敏白名单
当用户因业务需要在特定时段和场景下访问明文数据时，可以申请配置动态白名单规则，避免对该数据脱密，从而访问明文数据。新建动态脱敏白名单规则 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 动态脱敏白名单 对话框。在 ...
管理动态脱敏白名单
当用户因业务需要在特定时段和场景下访问明文数据时，可以申请配置动态白名单规则，避免对该数据脱密，从而访问明文数据。新建动态脱敏白名单规则 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 动态脱敏白名单 对话框。在 ...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
管理数据分级
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置参数。参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字...
管理数据分级
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置参数。参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
- 产品推荐
- 这些文档可能帮助您