通过向导模式配置离线同步任务
说明 流量度量值是数据集成本身的度量值，不代表实际网卡流量。通常，网卡流量是通道流量膨胀的1至2倍，实际流量膨胀取决于具体的数据存储系统传输序列化情况。错误记录数控制（脏数据控制）用于定义脏数据阈值，及对任务的影响。重要 当脏...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
数据加工过程卡点校验
在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时保障数据的准确性。此外，您还需要考虑如何能将在线业务的变更高效地...
常见问题
如果是数据迁移任务，您可以为数据库实例（如RDS MySQL）申请公网地址，以 公网IP 接入，实例地区可以选择DTS支持的地区，并将对应地区的DTS服务器IP地址段添加到实例的白名单中。需要添加的IP白名单，请参见 添加DTS服务器的IP地址段。...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
离线同步并发和限流之间的关系
数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
安全基线检查
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以帮...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是...
基本概念
但该方法的缺点是数据分块速度相对较慢。以zoom方式对数据进行分块的示意图如下：除了zoom方式外，Ganos Raster还提供了一种基于图像本地坐标系统的分块方式：local。该方式定义的起算点不再是基于全球范围，而是以数据本身的图幅范围的...
创建数据流
说明 数据流的第一个节点必须是 数据输入，为数据流提供数据源。在左侧 任务类型 列表中，拖拽 数据输入 节点到画布空白区域。单击 数据输入 节点，在页面下方的 数据源 页签中配置数据源信息。配置项 操作 数据库类型 选择源数据库的类型...
独享数据集成资源组
说明 独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量，而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量，请购买独享调度资源，详情请参见 购买指引。使用限制 独享数据集成资源组...
导入数据
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是数据。写入方式 选择文件的写入方式：INSERT：插入数据时...
数据导入
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。说明 当文件类型选择CSV或Excel格式时，会出现该参数项。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是...
管理数据
以下是数据域相关权限策略的说明：权限策略 说明 AliyunYundunSDDPFullAccess 拥有数据安全中心服务的所有权限。包括数据域管理的权限，拥有该权限的RAM用户可以执行数据域支持的所有操作。AliyunYundunSDDPReadOnlyAccess 拥有数据安全...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据传输不支持迁移 TiDB 数据库的无主键表，以及包含空格的数据至 OceanBase 数据库 MySQL 租户。数据源标识和用户账号等，在数据...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
目标端是数据库的情况下，数据传输不支持目标端存在 Trigger。如果存在，可能导致数据迁移失败。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。注意事项 如果源端字符集为 UTF-...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
什么是数据库备份DBS
数据量：在数据库备份场景下，有4个概念，分别是数据库磁盘空间、数据文件空间、备份数据量、存储数据量。具体概念请参见 数据量。内置存储与用户OSS：DBS提供数据库的备份恢复能力，备份数据保存在云存储上，云存储支持内置存储、用户OSS...
一键建仓
更多信息，请参见 什么是数据传输服务DTS。AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
运营
资产注册 资产注册功能是数据资源平台资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产发现。同时自动...
功能简介
资产注册 资产注册功能是 数据资源平台 资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产运营，为后续...
数据服务
API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务中的API发布至API网关时，系统会在API网关中自动创建一个同名的分组。如何合理设置API分组？通常将解决同一个问题或者相似功能...
- 产品推荐
- 这些文档可能帮助您