PolarDB MySQL版同步至AnalyticDB MySQL 3.0
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
数据方案概览
环境构建 数据库克隆 支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化。测试数据构建 提供根据字段类型按照多种规则，自动化构建数据的能力。数据追踪/提供数据库Binlog日志的解析处理...
表
说明 DataWorks的数据开发模块可以对MaxCompute表进行新建、收藏、修改数据生命周期管理、修改表结构和数据表/资源/函数权限管理审批等操作。MaxCompute的表格有两种类型：内部表和外部表（MaxCompute 2.0版本开始支持外部表）。对于内部表...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的结构和数据导出到一个文本文件中。该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db...
PolarDB MySQL版迁移至AnalyticDB MySQL 3.0
说明 如果选择 全量迁移，则执行了CREATE TABLE语句的待迁移表（表结构和表数据）支持迁移至目标库。如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标...
自建HBase迁移至云原生数据仓库 AnalyticDB MySQL 版 ...
执行了CREATE TABLE语句的待同步表（表结构和表数据）支持迁移至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在...
PolarDB-X 2.0迁移至云原生数据仓库 AnalyticDB ...
如果选择 全量迁移，则执行了CREATE TABLE语句的待迁移表（表结构和表数据）支持迁移至目标库。如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据...
PolarDB-X 2.0迁移至MaxCompute
如果选择 全量迁移，则执行了CREATE TABLE语句的待迁移表（表结构和表数据）支持迁移至目标库。如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
说明 如果选择 全量迁移，则执行了CREATE TABLE语句的待迁移表（表结构和表数据）支持迁移至目标库。如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
说明 如果选择 全量迁移，则执行了CREATE TABLE语句的待迁移表（表结构和表数据）支持迁移至目标库。如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标...
TDE透明数据加密
表数据加密密钥（TDEK）和WAL日志加密密钥（WDEK）：通过密码学中的安全随机数生成器生成的密钥，是数据和WAL日志加密的真正密钥。两个密钥加密后的密文使用HMACK作为密钥，经过HMAC算法得到rdek_hmac和wdek_hmac，用于密钥KEK的校验，保存...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
列存索引中GroupJoin算子的实现
完成左表的哈希表构建后，使用右表数据查哈希表：在查哈希表的过程中，如果对应partition在内存中，则如 算法 中的处理方式一样；如果对应的partition不在内存中，则先查bloomfilter，如果不命中bloomfilter则直接丢弃或者直接输出，否则刷...
Range Clustering
假设使用 RANGE CLUSTERED BY(c1,c2,c3)SORTED BY(c1,c2,c3)，那么在Range切分和数据存储都是按照c1、c2、c3排序，这就可以允许做更复杂的组合查询，比如 c1=100 AND c2>0 或者 c1=100 AND c2=50 AND c3<5，这个也是Hash Clustering无法...
新功能发布记录
存储空间缩容 套餐规格缩容 增删节点 库表回收站 回收站主要用于存储用户删除的数据库和表等信息，用户可通过回收站恢复库表数据。进入回收站的库表仍然占据着物理空间，可设置自动清理周期或者手动进行清除。集群库表回收站 租户回收站 ...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
离线同步数据质量排查
数据类型、时区问题 您的源头表数据类型、数据范围和目标表不一致，导致数据非预期的截断，或者数据写出脏数据失败。数据源头和目标端的时区不一致，导致两侧事件数据查询对比不一致。确认源头和目标类型、时区的差异。确认是否保持现状，...
V3版本请求体&签名机制
本文提供了详细的指南，用于帮助您了解和实施阿里云SDK V3版的请求结构和签名过程。您会了解到如何构造标准的HTTP请求，以及如何使用正确的签名算法来验证请求的身份，确保传输的数据的完整性和安全性。如果您想要自研阿里云的 OpenAPI SDK...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
混合式增量同步模式，DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、DDL存储表dts_cdc_ddl_history以及会开启库级别CDC和部分表CDC，建议源端开启CDC的表数据变更量不超过1000 RPS。执行数据迁移前需评估源库和目标...
使用pgcrypto及国密SM4加密算法
创建表 t_plain 存储明文数据和表 t_enc 存储密文数据。DROP EXTENSION encdb;CREATE TABLE t_plain(id int,name varchar(20),introduction text)distributed BY(id);INSERT INTO t_plain VALUES(1,11,'aaa');CREATE TABLE t_enc(id int,...
TDE透明数据加密
表数据加密密钥（TDEK）和WAL日志加密密钥（WDEK）：通过密码学中的安全随机数生成器生成的密钥，是数据和WAL日志加密的真正密钥。两个密钥加密后的密文使用HMACK作为密钥，经过HMAC算法得到rdek_hmac和wdek_hmac，用于密钥KEK的校验，保存...
支持的数据脱敏算法
MD5 Salt值 敏感类型：密钥类 适用场景：数据存储 SHA-1 Salt值 SHA-256 Salt值 HMAC Salt值 遮盖脱敏（*和#）不可逆算法。适用于前端展示或敏感数据分享的场景。通过使用特殊字符星号（*）或者井号（#），对部分文字进行遮盖实现敏感数据...
MySQL实例间的双向同步
若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见...
CREATE TABLE
[location]-指定表为Transactional表，后续可以对该表执行更新或删除表数据操作，但是Transactional表有部分使用限制，请根据需求创建。[tblproperties("transactional"="true")][lifecycle];基于已存在的表创建新表并复制数据，但不复制...
PolarDB-X 1.0同步至DataHub
费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 ...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
混合式增量同步模式，DTS会在源库中创建触发器 dts_cdc_sync_ddl、心跳表 dts_sync_progress、DDL存储表 dts_cdc_ddl_history 以及会开启库级别CDC和部分表CDC，建议源端开启CDC的表数据变更量不超过1000 RPS。执行数据同步前需评估源库和...
RDS SQL Server同步至RDS MySQL
混合式增量同步模式，DTS会在源库中创建触发器 dts_cdc_sync_ddl、心跳表 dts_sync_progress、DDL存储表 dts_cdc_ddl_history 以及会开启库级别CDC和部分表CDC，建议源端开启CDC的表数据变更量不超过1000 RPS。执行数据同步前需评估源库和...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
混合式增量同步模式，DTS会在源库中创建触发器 dts_cdc_sync_ddl、心跳表 dts_sync_progress、DDL存储表 dts_cdc_ddl_history 以及会开启库级别CDC和部分表CDC，建议源端开启CDC的表数据变更量不超过1000 RPS。执行数据同步前需评估源库和...
如何支持超大事务
最后，创建一个临时表tmp，其表结构和tb也相同，然后开启事务，执行下面的语句：INSERT INTO tmp SELECT tb.id,tb.c FROM tb,tb2 WHERE tb.c=tb2.c AND tb.id>x AND tb2.id>x 通过 explain 语句可以看到这条SQL的执行计划：LogicalInsert...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源...嵌套数据结构的参数（列名和类型）的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。
概述
在进行图计算分析时，使用自定义的GraphLoader将二维表数据转换为MaxCompute Graph引擎中的点和边。点的结构为,Value,Halted,Edges>，参数分别表示：点标识符（ID）权值（Value）状态（Halted，表示是否要停止迭代。出边集合（Edges，以该...
AUTO模式数据库与DRDS模式数据库
测试环境 PolarDB-X 实例规格：polarx.x4.2xlarge.2e CN (16C64G)×2 DN(16C64G)×2 版本：5.4.13-16415631 分区表和分库分表配置：分区表：32个分区 分区语句：partition by hash(id)partitions 32 表数据总量：16000W 分库分表：32个物理...
二级索引
在返回客户端超时或IO出错情况下，该数据在主表和索引表中不保证可见，但最终主表和索引表数据会保持一致。可选的索引组织成本：在主表有一个索引的情况下，写放大有四次操作（读主表，删除索引老数据，写索引，写主表），会大大增加维护...
数据脱敏
ef:gh:hi:jk ab:*:*:*:*:*MD5 default c21f969b5f03d33d43e04f8f136e7682 SHA256 default 37a8eec1ce19687d132fe29051dca629d164e2c4958ba141d5f4133a33f0688f SHA512 default 1625cdb75d25d9f699fd2779f44095b6e320767f606f095eb7edab5581...
新建表
在 基本信息 中，输入 表名称 和表的 描述。说明 在 MySQL 模式下，同时需要选择默认字符集和默认排序规则。完成指定基本信息并切换至设置列步骤后，表示确认提交基本信息。步骤 2：设置列 说明 ODC V4.2.3 及之后的版本支持创建包含 ...
通过Lindorm Shell访问宽表引擎
Version 2.0.18,r08b8d58a9d6ce89765d5ebe2ddff425aed644c16,Mon Feb 1 12:46:39 CST 2021 Took 0.0034 seconds 说明 Shell的使用方法，请参见 Lindorm Shell参考。Lindorm Shell参考 命令参考 Shell的使用命令更多请参见 Apache HBase ...
查看敏感数据识别结果
如需查看数据库实例中敏感数据的详细信息，您可以单击 操作 列的 表详情、集合详情 或 文件详情，查看敏感表、敏感集合或敏感文件占比图、命中规则Top 5和敏感数据列表。在敏感数据列表中，您可以单击 操作 列 命中详情，查看命中敏感数据...
PolarDB MySQL版DDL操作指南
是否只修改元数据（秒级完成）：只修改元数据，无需修改表数据。此类DDL操作的执行时间不会随着表规模的变大而变长，一般秒级完成。是否支持并行DDL（多线程加速）：对于在大表上创建索引、重建表等场景，PolarDB 支持通过并行DDL，使用多...
列存索引
在创建列存索引时，若宽表数据的主键字段不能直接作为列存索引的普通分区表达式，可以在普通分区表达式中包含计算逻辑，示例如下。对宽表所有字段创建列存索引，将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx ...
Sign
当MessageType取值为RAW时：如果指定原始签名数据，会使用Algorithm中对应的哈希算法，对原始消息生成摘要，之后再进行签名。当MessageType取值为DIGEST时：最大长度为32字节。响应消息定义 message SignResponse { string KeyId=1;bytes ...
- 产品推荐
- 这些文档可能帮助您