OpenEvent概述
例如，在数据治理的数据质量模块，给某个表启用了表行数大于0的规则，页面上用户可以对某次校验结果进行反馈，当用户执行了反馈操作，系统会把用户反馈的内容（校验规则ID、反馈内容等）发送给订阅端。数据质量校验完成事件 描述：在数据...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将3.2版本的腾讯云MongoDB副本集实例全量迁移至阿里云。背景信息 当您因业务调整或需要使用阿里云MongoDB特性功能时，...说明 若数据传输控制台自动跳转至数据管理DMS控制台，...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据迁移。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式 和 自定义DMS界面布局与样式。您也...
使用DTS将腾讯云MongoDB增量迁移至阿里云
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据迁移。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式控制台 和 自定义DMS界面布局与样式。...
使用DTS将腾讯云MongoDB增量迁移至阿里云
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据迁移。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式 和 自定义DMS界面布局与样式。您也...
从 MySQL 到 TSDB 的数据迁移
本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。背景 本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。DataX相关使用介绍请参阅 DataX 的 README 文档。下面将首先介绍 ...
跨阿里云账号同步RDS MySQL实例
使用信任策略中配置的阿里云账号，登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式 和 ...
新建云计算资源
添加云计算资源为使用数据资源平台做数据支撑。本文介绍如何添加MaxCompute和RDS MySQL云计算资源。前提条件 在新建MaxCompute云计算资源之前，已完成以下操作：开通MaxCompute。创建MaxCompute项目 在新建RDS MySQL云计算资源之前，已完成...
配置数据迁移任务
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
从自建Redis迁移至阿里云Redis
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据迁移。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式控制台 和 自定义DMS界面布局与样式。...
技术架构选型
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
从自建Redis迁移至Tair实例
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据迁移。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式控制台 和 自定义DMS界面布局与样式。...
RDS MySQL实例间的迁移
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据迁移。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式控制台 和 自定义DMS界面布局与样式。...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容...
跨云账号单向同步云数据库Redis实例
登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。在 同步任务 右侧，选择同步实例所属地域。说明 新版DTS同步任务列表页面，需要在页面左上角选择同步实例所属地域。单击 ...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
Kafka元数据管理
添加Topic 进入Kafka数据管理页。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的 添加Topic。在 ...
X-Engine简介
说明 X-Engine的架构和优化技术已经被总结成论文《X-Engine:An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing》，在数据管理国际会议SIGMOD'19发表，这是中国内地公司首次在国际性学术会议上发表OLTP数据库...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
数据导出
修改默认审批模板 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 安全与规范>安全规则。单击目标规则集行 操作 列下的 编辑。在 详情 页左侧的导航栏中，单击 数据导出。检测点选择 基础配置项。单击 数据导出默认审批模板 规则名行 操作 列...
计费逻辑说明
资源费用明细：数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。资源费用明细：数据质量 OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制化开发，...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
用户角色和权限
RAM用户在Dataphin中可以被授予不同的RAM角色，以实现不同的权限控制：详细说明如下：全局权限包含的角色：超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块权限包含的角色：板块架构师 业务负责人 数据负责人 项目权限包含...
用户角色和权限
RAM用户在Dataphin中可以被授予不同的RAM角色，以实现不同的权限控制：详细说明如下：全局权限包含的角色：超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块权限包含的角色：板块架构师 业务负责人 数据负责人 项目权限包含...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
新功能发布记录
通过标签管理数据迁移项目 通过标签管理数据同步项目 支持在预检查步骤提供移除不符合条件的对象能力，方便用户轻松创建项目，提升产品易用性 数据迁移模块文档 支持在选择增量同步（不包含全量迁移的场景）下选择增量同步位点 2023 年 5 ...
授权DMS访问云资源
授权DMS访问云资源是指授予数据管理DMS访问提供数据服务的云产品的权限。授权DMS访问云资源后，在DMS中可以访问RDS、MaxCompute、OSS等云服务的资源，并对这些云资源进行查询、变更等操作。前提条件 您使用的是阿里云账号（主账号）或是...
常见问题
如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，或者可以通过修改同步对象移除受DDL影响的表。移除操作，请参见 移除同步对象。DTS数据同步过程中，目标库执行了DDL操作导致任务失败，...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
DLA Lakehouse实时入湖
您需要在OSS中进行以下操作：开通OSS服务 创建存储空间 说明 由于目前DLA Lakehouse都是将数据写入OSS的某个空目录内，为了方便进行独立的数据管理，请您尽量选择独立的Bucket。确保您的数据流在RDS中部署的区域与DTS、DLA、OSS的区域相同...
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
新建云计算资源
支持新建多种类型的数据源，为使用 数据资源平台 做数据支撑。本文介绍如何新建云计算资源。前提条件 已创建工作组，具体操作，请参见 新建工作组。背景信息 当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL 2.0...
- 产品推荐
- 这些文档可能帮助您