使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
背景信息 数据传输（Data Transmission）DTS的数据同步功能旨在帮助用户实现两个数据源之间的数据实时同步。数据同步功能可应用于异地多活、数据异地灾备、本地数据灾备、数据异地多活、跨境数据同步、查询与报表分流、云BI及实时数据仓库...
质量规则模板类型
跨源两表字段统计值一致性比较 用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。稳定性 表稳定性校验 用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。表波动性校验 用于对表/分区的大小、行数的...
质量规则模板类型
跨源两表字段统计值一致性比较 用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。稳定性 表稳定性校验 用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。表波动性校验 用于对表/分区的大小、行数的...
外部表常见问题
查询外部表Tablestore数据慢 问题现象 查询外部表Tablestore的数据慢，同样的业务数据，1个实时写入Tablestore，1个定时写入MaxCompute，两个表结构和数据量一样。查询MaxCompute内部表耗时远小于查询Tablestore外部表。解决措施 这种情况...
数据治理
存储量是实时的数据，存储趋势图（折线图）是某一时刻的快照，如果您现在的计算量很少（产生的临时表比较少）的话，两个确实会有一些差距。数据地图血缘展示延迟问题 血缘有最少一天的延迟 数据地图新建表搜不到 若数据地图表和表目前状态...
常见问题
A：PolarDB 是一个关系型数据库云服务，目前已在全球十多个地域（Region）的数据中心部署，向用户提供开箱即用的在线数据库服务。PolarDB 目前支持3种独立的引擎，分别可以100%兼容MySQL、100%兼容PostgreSQL、高度兼容Oracle语法，存储...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建两个数据同步作业。同步操作类型 根据业务选中需要同步的操作类型，支持的同步操作详情请参见 支持同步的SQL操作，默认情况下都处于选中状态。选择同步对象 在 源库对象 ...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建两个数据同步作业。同步操作类型 根据业务选中需要同步的操作类型，支持的同步操作详情请参见 支持同步的SQL操作，默认情况下都处于选中状态。选择同步对象 在 源库对象 ...
回收站列表
批量恢复表 您可以通过批量恢复表的方式，将误删除的表或期望恢复的多个数据表，恢复到原存储位置。在 回收站列表 页面，选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中，单击 批量恢复。当 状态 列下均显示 成功，则多个表恢复...
回收站列表
批量恢复表 您可以通过批量恢复表的方式，将误删除的表或期望恢复的多个数据表，恢复到原存储位置。在 回收站列表 页面，选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中，单击 批量恢复。当 状态 列下均显示 成功，则多个表恢复...
数据模型
上述关键字对应SelectDB中的3种 数据模型，本文将对这些数据模型进行详细介绍：Aggregate 模型 Unique模型 Duplicate 模型 Aggregate模型 对于写入的数据，SelectDB会根据不同数据模型，根据建表所选不同模型的Key列中，数据相同的行（Row...
自建Oracle同步至云原生数据仓库AnalyticDB ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。实例级别选择所需同步的DDL和DML 按实例...
数据引入层（ODS）
为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过添加_col 后缀解决。ODS层设计规范 ODS层表命名、数据同步任务命名、数据产出及生命周期管理及数据质量...
数据引入层（ODS）
为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过添加_col 后缀解决。ODS层设计规范 ODS层表命名、数据同步任务命名、数据产出及生命周期管理及数据质量...
自建Oracle迁移至AnalyticDB MySQL 3.0
如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建两个数据迁移任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者迁移任务失败。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中...
数据引入层（ODS）
例如，不同业务系统的表可能是同一个名称，为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过规范定义后缀添加_col1 解决。建表示例 通过即席查询功能，您...
数据倾斜诊断
不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，从而导致了数据的倾斜。查看数据倾斜 智能诊断功能的诊断信息存储在 adbpg_toolkit.diag...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
01创建数据字典并物理化
说明 如果开发环境和生产环境中都需要数据字典，则需要分别物理化数据字典至两个不同的资源中。物理化完成后，物理表列表展现物理化任务，且上线成功后，状态显示 已上线。单击 手动执行，运行物理表。界面提示 执行成功，表示已运行物理表...
产品架构
数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
排序优化
组合排序和多维排序的性能对比 以下内容将对同样的两张表分别进行组合排序和多维排序，比较两种排序方式在不同场景下对不同查询的性能影响。创建两张测试表并设置表的排序键，表中包含4列，分别为id、num1、num2、value，其中id、num1、num...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
质量规则参数配置
两表字段值一致性比较：校验字段、选择比较表、关联表达式、校验表数据过滤：详情请参见 及时性 大类的 两表时间字段。两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计...
质量规则参数配置
两表字段值一致性比较：校验字段、选择比较表、关联表达式、校验表数据过滤：详情请参见 及时性 大类的 两表时间字段。两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计...
调度依赖配置指引
基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务调度产出的表数据符合预期，您需明确上下游表当天产出的业务数据，确保下游表当天获取的数据为上游表当天的产出数据。若为小时、分钟周期调度任务，则需明确每个小时、...
数据变更最佳实践
批量导入多个表时，导入任务会在系统中并行执行，默认并行执行2个任务。例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如...
创建数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
创建数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
分区表常见问题
假设分区表 t1 的历史分区为 p0 和 p1，需要将这两个历史分区中的数据迁移到新分区表 t2 的 p0 和 p1 分区中。操作步骤如下：创建新的分区表 t2，表结构与 t1 保持一致，且包含 p0 和 p1 分区。创建普通表 temp，表结构与需要迁移的分区表...
Logview诊断实践
例如：两个表Join，左表是人口数据，数据量很大，但是由于并行度足够，效率可观。右表是个维表，记录每种性别对应的一些信息（比如每种性别可能的坏毛病），虽然只有两种性别，但是每种都包含数百行。那么如果直接按照性别来Join，可能会让...
Range Clustering
Bucket 0:[1,1:3,3]Bucket 1:[3,5:7,7]Bucket 2:[7,8:9,9]列 a 有两个值3和7，分别横跨两个Bucket，只有把拥有相同的 a 值的tuple放到同一个Instance里面去进行聚合才能得到正确的结果。也就是像下面按照红色虚线重新切分Bucket，指定每个...
MySQL实例间的双向同步
例如数据库中存在了两个表A和B。表A上有一个触发器，触发器内容为在INSERT一条数据到表A之后，在表B中插入一条数据。这种情况在同步过程中，如果源实例表A上进行了INSERT操作，则会导致表B在源实例跟目标实例数据不一致。此类情况须要将...
模型比较
模型比较支持选定不同版本的数据模型进行比对，您可以自行配置比对的范围，以差异报告的形式展示比较内容，差异报告支持导出至本地。操作步骤 单击工具栏中的 模型比较，界面上弹出 模型比较 对话框。单击左侧模型和右侧模型分别对应的 ...
深度解析PolarDB数据库并行查询技术
如果改为并行HASH JOIN，并行优化器会对串行执行的HASH JOIN进行并行化改造，使之成为并行HASH JOIN，并行化改造的方案可以有以下两种解决方案：方案一：是将2个表都按HASH key进行分区，相同HASH值的数据处于同一个分区内，由同一个线程...
- 产品推荐
- 这些文档可能帮助您