分库分表
数据拆分 数据库访问代理支持库级拆分，表级拆分和分库分表拆分，通过数据库访问代理 DDL 语句指定，具体操作参见 DDL 语法。数据访问代理根据指定拆分键的值，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分库/分表中。...
添加体验空间数据库
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。删除数据表 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击数据库列表的 体验空间。在 public 文件夹下选择需要删除的数据表，单击当前数据表右侧的...
管理数据树
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
数据扫描和识别
当存在大量数据表时（例如：表数量超过10000张），或者OSS文件总量特别大（例如：OSS总量超过PB）时，扫描周期会相应延长。在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心控制台 概览 页面展现。更多信息，请参见 ...
数据归档至DBS内置OSS
本文介绍如何将大表数据归档至DBS内置OSS中。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...
错误代码
TDDL-4006 ERR_TABLE_NOT_EXIST 数据表不存在。示例：ERR-CODE:[TDDL-4006][ERR_TABLE_NOT_EXIST]Table '*' doesn't exist.该错误表示 PolarDB-X 1.0 数据表不存在，或者由于未知原因 PolarDB-X 1.0 无法加载数据表的元数据信息。TDDL-4007...
视频个性化推荐（协同过滤）
注意事项 本案例提供的数据仅作为阿里云大数据开发治理平台DataWorks数据应用体验使用，所有数据均为模拟数据。本案例可能会产生少量DataWorks调度费用、MaxCompute计算与存储费用和PAI计算费用。收费详情请参见 DataWorks计费逻辑、...
从RDS同步至MaxCompute
您已完成以下操作：开通MaxCompute 创建项目 注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或...
从RDS同步至MaxCompute
您已完成以下操作：开通MaxCompute 创建项目 注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或...
多表连接
开启MapJoin 当对一个大表和一个或多个小表执行join操作时，可以开启MapJoin显式指定小表以提升运算性能。说明 开启MapJoin功能仅支持MaxCompute（ODPS）引擎，对其它引擎无效。输出字段 配置当前节点输出到下游节点的字段列表，默认为所有...
版本发布说明
修复在JDBC模式下，通过DMS不带执行limit的大表扫描时可能偶发报错的问题。发布日期：2023-07-13 大版本：V5.4.17 小版本：16890724 类别 说明 优化 优化索引的缺省命名逻辑，与MySQL保持一致。缺陷修复 修复部分场景下填充默认值阶段报错...
数据重排
表数据越大，进行数据重排后，存储优化效果会更好。使用示例 本文将MaxCompute公共数据集TPC-DS中1 TB规格的 customer 表分别以 DISTRIBUTE BY+SORT BY、CLUSTER BY 两种排序方法重排后写入新的数据表，比较写入前后表的大小以验证存储优化...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
我是管理员
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
RDS MySQL同步至AnalyticDB for PostgreSQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB MySQL同步至AnalyticDB for PostgreSQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据表管理
本文介绍了在 PolarDB-X 1.0 控制台上对数据表进行调整拆分键、关闭全表扫描和查看表结构的方法。前提条件 您需要先 连接到数据库 并 使用SQL语句创建表 后，才能在控制台上管理数据表。功能介绍 调整拆分键 拆分键即分库或分表的数据表字...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
新功能发布记录
逻辑数仓 数据归档新增归档至 AnalyticDB MySQL版 链路 迭代 定时将大表的数据归档至OSS、Lindorm、AnalyticDB MySQL版 数据库，解决了由于线上数据量增多影响表的查询性能与业务运作的问题。数据归档至AnalyticDB MySQL 3.0 03月 功能名称...
表设计规范
表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，...
Binlog日志服务
当拆分级别为表级时，为避免大表数据集中到少数几个流，出现数据倾斜的问题，可单独设定路由规则。如果想调整流的个数和已经生效的数据拆分级别，可以通过开通一个新的多流服务来进行替换，此时会涉及下游消费链路的一些运维调整。当拆分...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
术语/概念对应关系 MySQL 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库AnalyticDB ...
从RDS同步到云原生数据仓库AnalyticDB MySQL
术语/概念对应关系 MySQL 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库AnalyticDB ...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从PolarDB MySQL版同步至RDS MySQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
MySQL实例间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
RDS MySQL实例间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
RDS MySQL实例间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建MySQL同步至RDS
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建MySQL同步至RDS
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
排查Redis实例内存使用率高的问题
在 Redis 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。检查是否使用了Hash Tag 如果使用了Hash Tag，请根据业务实际情况，评估将一个Hash Tag拆分为多个Hash Tag，使数据更加均匀地分布在不同的数据分片节点上。扩容实例...
数据操作篇
拆分属性列访问热度差异大的表 如果行的属性列较多，但是每次操作只访问一部分属性列，可以考虑将表拆分成多个表，将不同访问频率的属性列放到不同的表中。例如，在商品管理系统中，每行存放商品数量、商品价格和商品简介。商品数量和商品...
MaxCompute物理表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
- 产品推荐
- 这些文档可能帮助您