创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
详细功能介绍
第一个过滤器的输入是数据源直接请求得到的结果；第二个过滤器的输入等于第一个过滤器过滤后的输出数据，依次类推传递数据。重要 当资产中添加了多个过滤器时，如果中间有过滤器返回值为空，那么该过滤器会被忽略，但过滤不会终止，且系统...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
数据加工过程卡点校验
在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时保障数据的准确性。此外，您还需要考虑如何能将在线业务的变更高效地...
组复制简介
每个节点都会维护一个事务认证信息数组，这是一个哈希数组，它的key是数据行的哈希值，它的value是最近修改这一行的事务的GTID与此事务在源节点提交时的gtid_executed（源节点上所有提交过的事务的gtid集合）的并集。一个事务在源节点准备...
常见问题
如果是数据迁移任务，您可以为数据库实例（如RDS MySQL）申请公网地址，以 公网IP 接入，实例地区可以选择DTS支持的地区，并将对应地区的DTS服务器IP地址段添加到实例的白名单中。需要添加的IP白名单，请参见 添加DTS服务器的IP地址段。...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
风险识别管理（新版）
是 数据引擎名称 选择识别规则限定的引擎范围。说明 当前仅支持识别MaxCompute引擎中的风险数据。每条比较关系只能选择一个引擎，如果您需要限定多个引擎范围，则请单击+添加比较关系 配置多条风险识别条件。是 项目空间名称 选择识别规则...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
离线同步并发和限流之间的关系
数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
专业术语
TSDB For InfluxDB® schema的基础是数据库（database）、保留策略（retention policy）、序列（series）、measurement、tag key、tag value和field key。相关术语：database，field key，measurement，retention policy，series，tag key...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
创建数据流
说明 数据流的第一个节点必须是 数据输入，为数据流提供数据源。在左侧 任务类型 列表中，拖拽 数据输入 节点到画布空白区域。单击 数据输入 节点，在页面下方的 数据源 页签中配置数据源信息。配置项 操作 数据库类型 选择源数据库的类型...
安全基线检查
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以帮...
使用全局变量
说明 此处URL是数据类型为API时的模拟地址，不具备真实访问性，具体请以实际使用为准。键盘上使用 F12 功能键打开调测面板。切换至 Network 页签。刷新 数据响应结果 后的 图标。再次查看 Network 页签下的 Name 字段，查找对应右侧 ...
管理数据
以下是数据域相关权限策略的说明：权限策略 说明 AliyunYundunSDDPFullAccess 拥有数据安全中心服务的所有权限。包括数据域管理的权限，拥有该权限的RAM用户可以执行数据域支持的所有操作。AliyunYundunSDDPReadOnlyAccess 拥有数据安全...
基本概念
但该方法的缺点是数据分块速度相对较慢。以zoom方式对数据进行分块的示意图如下：除了zoom方式外，Ganos Raster还提供了一种基于图像本地坐标系统的分块方式：local。该方式定义的起算点不再是基于全球范围，而是以数据本身的图幅范围的...
Quick BI连接MaxCompute
Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick BI。前提条件 在执行操作前，请确认您已满足如下条件：已创建MaxCompute项目。更多创建MaxCompute项目操作，请参见 创建MaxCompute项目。...
数据导入
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。说明 当文件类型选择CSV或Excel格式时，会出现该参数项。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是...
导入数据
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是数据。写入方式 选择文件的写入方式：INSERT：插入数据时...
独享数据集成资源组
说明 独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量，而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量，请购买独享调度资源，详情请参见 购买指引。使用限制 独享数据集成资源组...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据传输不支持迁移 TiDB 数据库的无主键表，以及包含空格的数据至 OceanBase 数据库 MySQL 租户。数据源标识和用户账号等，在数据...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
新建数据元
长度 长度是数据元类型值的长度。业务规则 数据元业务定义。技术口径 技术层面的描述信息。操作完成后，单击 确定。在 数据元管理 页面，可查看已新建的数据元。相关操作 操作 说明 编辑数据元 在 数据元管理 页面，选择需要编辑的数据元，...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
目标端是数据库的情况下，数据传输不支持目标端存在 Trigger。如果存在，可能导致数据迁移失败。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。注意事项 如果源端字符集为 UTF-...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
- 产品推荐
- 这些文档可能帮助您