表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
表设计最佳实践
数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，相关采集通道应该进行有效区分。在单个数据通道写入量较大的情况下，应该按照时间进行...
添加体验空间数据库
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。删除数据表 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击数据库列表的 体验空间。在 public 文件夹下选择需要删除的数据表，单击当前数据表右侧的...
管理数据树
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
数据扫描和识别
当存在大量数据表时（例如：表数量超过10000张），或者OSS文件总量特别大（例如：OSS总量超过PB）时，扫描周期会相应延长。在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心控制台 概览 页面展现。更多信息，请参见 ...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
公共维度汇总层（DIM）
维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程以A电商公司的营销业务板块...
数据引入层（ODS）
数据引入层表设计 本教程中，在ODS层主要包括的数据有：交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理，是最原始的数据。逻辑上，这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴，但是合理的...
数据归档至DBS内置OSS
本文介绍如何将大表数据归档至DBS内置OSS中。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...
数据引入层（ODS）
数据引入层表设计 本教程中，在ODS层主要包括的数据有：交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理，是最原始的数据。逻辑上，这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴，但是合理的...
公共汇总粒度事实层（DWS）
公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省...
多表连接
警告 对数据量比较大的数据表进行笛卡尔连接（不带连接条件的交叉连接），会因数据膨胀造成结果数据量巨大，影响节点的执行耗时，并占用较多的存储空间。连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据...
设计阶段
设计数据生命周期。企业应根据自身实际情况来进行设置，也可以参考如下数值：数仓分层 说明 ODS层 非去重数据：默认不保留。ETL临时表：保留14日。镜像全量表：重要数据建议采用极限存储。流水全量表：如果不可再生，则永久保存。DWD层 ...
查看元数据
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
数据重排
使用示例 本文将MaxCompute公共数据集TPC-DS中1 TB规格的 customer 表分别以 DISTRIBUTE BY+SORT BY、CLUSTER BY 两种排序方法重排后写入新的数据表，比较写入前后表的大小以验证存储优化效果，MaxCompute公共数据集TPC-DS详情请参见 TPC-...
分区表常见问题
对 PolarDB MySQL版 的数据表进行分区，性能提升是否明显？对于按照分区键过滤条件进行分区剪枝的查询性能会有明显提升，另外 PolarDB MySQL版 对分区表做了性能优化，具体请参见 分区表概述。对于大批量的数据，例如一张表一天有1000万行...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
PolarDB MySQL版 集群中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，详情请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
RDS MySQL同步至AnalyticDB for PostgreSQL
前提条件 RDS MySQL 或RDS MySQL Serverless 中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，如未创建请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将...
从RDS MySQL同步至云原生数据仓库AnalyticDB ...
前提条件 RDS MySQL 或RDS MySQL Serverless 中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，如未创建请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将...
PolarDB MySQL同步至AnalyticDB for PostgreSQL
PolarDB MySQL版 集群中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，详情请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写...
从RDS MySQL同步至云原生数据仓库AnalyticDB ...
前提条件 RDS MySQL 或RDS MySQL Serverless 中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，如未创建请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将...
从ECS上的自建MySQL同步至AnalyticDB PostgreSQL版
源库中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，如未创建请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
PolarDB MySQL版 集群中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB PostgreSQL 实例，详情请参见 创建云原生数据仓库AnalyticDB PostgreSQL实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写...
从自建MySQL迁移至PolarDB-X
根据自建MySQL数据库中待迁移数据表的数据结构，在目标 PolarDB-X 中创建相应的数据库和数据表，详情请参见 创建数据库 和 SQL基本操作。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角...
从RDS同步至MaxCompute
为方便业务识别，创建如下数据表：CREATE TABLE `customer_1565944878`(`id` bigint NULL,`register_time` datetime NULL,`address` string);说明 您可以在 MaxCompute的临时查询 中，运行SQL命令。关于MaxCompute支持的数据类型与相关说明...
从RDS同步至MaxCompute
为方便业务识别，创建如下数据表：CREATE TABLE `customer_1565944878`(`id` bigint NULL,`register_time` datetime NULL,`address` string);说明 您可以在 MaxCompute的临时查询 中，运行SQL命令。关于MaxCompute支持的数据类型与相关说明...
数据归档概述
同时，该功能还支持删除源表数据、表空间整理等，降低在线存储成本。使用场景示例 在电子商务平台中，每天会产生大量的订单数据，这些订单数据随着时间的推移，其访问需求逐渐减少。为了提高数据库的性能和减少存储空间的占用，可以使用DMS...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
前提条件 RDS MySQL 或RDS MySQL Serverless 中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB MySQL 集群，详情请参见 创建 云原生数据仓库AnalyticDB MySQL（2.0）或 创建 云原生数据仓库AnalyticDB MySQL（3.0）。...
从RDS同步到云原生数据仓库AnalyticDB MySQL
前提条件 RDS MySQL 或RDS MySQL Serverless 中待同步的数据表必须具备主键。已创建目标 云原生数据仓库AnalyticDB MySQL 集群，详情请参见 创建 云原生数据仓库AnalyticDB MySQL（2.0）或 创建 云原生数据仓库AnalyticDB MySQL（3.0）。...
数据归档
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。数据归档DDL操作如下：归档 ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y"}';取回 ALTER TABLE$table_name ENGINE_...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
而在OLAP场景（如该目标库）中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择...
PolarDB MySQL版迁移至云原生数据仓库 AnalyticDB ...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移和全量数据迁移 不收费。通过公网将数据...
RDS MySQL同步至AnalyticDB MySQL 3.0
而在OLAP场景（如该目标库）中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
PolarDB MySQL版迁移至RDS MySQL
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
- 产品推荐
- 这些文档可能帮助您