数据加工过程卡点校验
在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时保障数据的准确性。此外，您还需要考虑如何能将在线业务的变更高效地...
常见问题
如果是数据迁移任务，您可以为数据库实例（如RDS MySQL）申请公网地址，以 公网IP 接入，实例地区可以选择DTS支持的地区，并将对应地区的DTS服务器IP地址段添加到实例的白名单中。需要添加的IP白名单，请参见 添加DTS服务器的IP地址段。...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
离线同步并发和限流之间的关系
数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
安全基线检查
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以帮...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是...
Quick BI连接MaxCompute
Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick BI。前提条件 在执行操作前，请确认您已满足如下条件：已创建MaxCompute项目。更多创建MaxCompute项目操作，请参见 创建MaxCompute项目。...
创建数据流
说明 数据流的第一个节点必须是 数据输入，为数据流提供数据源。在左侧 任务类型 列表中，拖拽 数据输入 节点到画布空白区域。单击 数据输入 节点，在页面下方的 数据源 页签中配置数据源信息。配置项 操作 数据库类型 选择源数据库的类型...
独享数据集成资源组
说明 独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量，而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量，请购买独享调度资源，详情请参见 购买指引。使用限制 独享数据集成资源组...
导入数据
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是数据。写入方式 选择文件的写入方式：INSERT：插入数据时...
数据导入
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。说明 当文件类型选择CSV或Excel格式时，会出现该参数项。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据传输不支持迁移 TiDB 数据库的无主键表，以及包含空格的数据至 OceanBase 数据库 MySQL 租户。数据源标识和用户账号等，在数据...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
目标端是数据库的情况下，数据传输不支持目标端存在 Trigger。如果存在，可能导致数据迁移失败。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。注意事项 如果源端字符集为 UTF-...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
什么是数据库备份DBS
数据量：在数据库备份场景下，有4个概念，分别是数据库磁盘空间、数据文件空间、备份数据量、存储数据量。具体概念请参见 数据量。内置存储与用户OSS：DBS提供数据库的备份恢复能力，备份数据保存在云存储上，云存储支持内置存储、用户OSS...
一键建仓
更多信息，请参见 什么是数据传输服务DTS。AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
运营
资产注册 资产注册功能是数据资源平台资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产发现。同时自动...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
功能简介
资产注册 资产注册功能是 数据资源平台 资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产运营，为后续...
基本概念
更多信息，请参见 什么是数据管理DMS。DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据类型的限制 不支持表中全部列均为 LOB 类型（BLOB/CLOB/NCLOB）的增量数据同步。对于无主键且包含 LOB 类型字段的表，反向增量...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据源标识和用户账号等，在数据传输系统内全局唯一。 Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。增量同步仅支持从主库...
空间管理
文件类型 文件的类型，通常是数据（Data）和日志（Log）类型。文件名 数据库内文件的名称。总空间大小（MB）文件总的空间，单位为MB。已使用空间（MB）文件已使用空间（单位为MB）及百分比。可用空间（MB）文件可用空间（单位为MB）及...
空间管理
文件类型 文件的类型，通常是数据（Data）和日志（Log）类型。文件名 数据库内文件的名称。总空间大小(MB)文件总的空间，单位为MB。已使用空间(MB)文件已使用空间（单位为MB）及百分比。可用空间(MB)文件可用空间（单位为MB）及百分比。...
功能特性
创建实例 释放实例 管理存储空间 管理存储空间是数据库管理的一部分，涉及到如何规划、分配、配置、监控、维护和扩展数据库存储空间。管理存储空间 设置删除保护 实例删除保护功能可以防止在操作过程中将承载有重要业务的实例误释放。开启...
- 产品推荐
- 这些文档可能帮助您