快速入门
如果您初次使用阿里云关系型数据库RDS，请参见快速入门系列文档，帮助您快速上手RDS。MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受...
发布包总览概述
且（为 数据源管理员 或 数据源负责人）数据架构 业务对象、业务活动、主题域 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）研发对象 集成任务、建模研发、指标研发、文件管理、计算任务 跨租户发布...
发布包总览概述
且（为 数据源管理员 或 数据源负责人）数据架构 业务对象、业务活动、主题域 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）研发对象 集成任务、建模研发、指标研发、文件管理、计算任务 跨租户发布...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
数据迁移
背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
数据倾斜诊断
智能诊断数据倾斜功能会扫描库中的每张表（不包括临时表和unlogged表），但为了兼顾扫描的速度和诊断的意义，默认情况下，数据量小于1 GB的表会被过滤，如需调整该阈值，请参见 设置智能诊断参数。智能诊断数据倾斜功能默认情况下不会显示...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
管理控制台介绍
数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管，真正实现零门槛API开发，帮助您更好地进行数据资产应用并实现数据的价值化。如果您选择了 数据标准，下方展示 数据标准 增值功能。更多信息请参见 数据标准...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
管理控制台介绍
数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管，真正实现零门槛API开发，帮助您更好地进行数据资产应用并实现数据的价值化。如果您选择了 数据标准，下方展示 数据标准 增值功能。更多信息请参见 数据标准...
创建OceanBase数据源
背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库。如果您使用的是阿里云数据库OceanBase，在对接Dataphin进行数据开发或将Dataphin数据写入至OceanBase时，您需要先完成OceanBase...
创建OceanBase数据源
背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库。如果您使用的是阿里云数据库OceanBase，在对接Dataphin进行数据开发或将Dataphin数据写入至OceanBase时，您需要先完成OceanBase...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）购买指引、计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据源：可支持的数据源类型和版本拓展，优化数据源配置交互 新建数据源页面支持分类展示数据源类型，同时增加...
新建账号
用户角色 该用户角色为全局角色，包括系统管理员、数据源管理员、安全管理员、质量管理员、跨租户发布使用人、数据标准管理员和标签业务员。添加的成员需要授予全局角色，则 此处选择相应的角色，单个用户支持配置多个角色，详细说明如下：...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
添加Dataphin成员
若您使用的是非Dataphin自建账号体系，在开始使用Dataphin构建智能数据前，需要将您企业不同角色的人员加入至Dataphin，便于后续数据的研发。本文为您介绍如何添加成员。权限说明 超级管理员和系统管理员支持添加成员。添加成员 在Dataphin...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
新建行为关系
行为关系通过具体的行为定义实体之间的关系，如 用户购买商品 通过 购买 这个行为描述了 用户 主体和 商品 对象这两个实体之间的关系，定义好的行为关系可以用于开发行为统计、行为偏好以及规则组合类型的标签。本文将指导您如何新增行为...
数据安全治理的常见思路
数据安全治理通常分为资产梳理及分类分级、风险评估、建设能力等三个阶段，您可参考本文了解各阶段的具体目标。数据安全治理通常会经历如下阶段。阶段一：摸清家底 梳理资产摸清家底，产出《数据资产清单》。例如：本企业有哪些数据？服务...
元表和字段资产详情
数据预览：若有当前表的查询权限，可以使用数据预览功能，否则需先申请查询权限。如何申请，请参见 申请、续期和交还表权限。说明 数据预览为您展示20条抽样查询数据。当计算引擎为Impala时，不支持数据预览功能。③ 血缘 为您展示表之间的...
元表和字段资产详情
数据预览：若有当前表的查询权限，可以使用数据预览功能，否则需先申请查询权限。如何申请，请参见 申请、续期和交还表权限。说明 数据预览为您展示20条抽样查询数据。当计算引擎为Impala时，不支持数据预览功能。③ 血缘 为您展示表之间的...
逻辑视图和字段资产详情
同时，您还可以执行如下操作：转交负责人：可转交当前表的负责人给其他用户，在 转交负责人 对话框，您可选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 立即转出，建议转交后及时同步接收人。您可在 查看转交记录 页面查看...
MaxCompute物理视图和字段详情
同时，您还可以执行如下操作：转交负责人：可转交当前表的负责人给其他用户，在 转交负责人 对话框，您可选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 立即转出，建议转交后及时同步接收人。您可在 查看转交记录 页面查看...
逻辑视图和字段资产详情
同时，您还可以执行如下操作：转交负责人：可转交当前表的负责人给其他用户，在 转交负责人 对话框，您可选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 立即转出，建议转交后及时同步接收人。您可在 查看转交记录 页面查看...
查看全域数据表校验记录
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
查看全域数据表校验记录
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
- 产品推荐
- 这些文档可能帮助您