MySQL实例间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
ALTER TABLE
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
值表达式
为了区别于一个表表达式（是一个表）的结果，一个值表达式的结果有时候被称为一个 标量。值表达式因此也被称为 标量表达式（或者甚至简称为 表达式）。表达式语法允许使用算数、逻辑、集合和其他操作从原始部分计算值。简介 一个值表达式是...
表表达式
最简单的表表达式只是引用磁盘上的一个表，一个所谓的基本表，但是我们可以用更复杂的表表达式以多种方法修改或组合基本表。表表达式里可选的 WHERE、GROUP BY 和 HAVING 子句指定一系列对源自 FROM 子句的表的转换操作。所有这些转换最后...
表表达式
表表达式 计算一个表。该表表达式包含一个 FROM 子句，该子句后面可以根据需要选用 WHERE、GROUP BY 和 HAVING 子句。最简单的表表达式只是引用磁盘上的一个表，一个所谓的基本表，但是我们可以用更复杂的表表达式以多种方法修改或组合基本...
测试分析及调优
SQL SQL效率低下也是导致性能差的一个非常重要的原因，可以通过查看执行计划看SQL慢在哪里，一般情况，SQL效率低下原因主要有：类别 子类 表达式或描述 原因 索引 未建索引 无 产生全表扫描 未利用索引 substring(card_no,1,4)=′5378′...
DQL操作常见问题
对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的物理存储量是表A的10倍，是什么原因造成的？使用GROUP BY分组查询100亿条数据会不会影响性能？GROUP BY对数据量有没有限制？ORDER BY MaxCompute查询得到的数据是根据什么排序的？...
大数据计算服务MaxCompute
类别 详情 支持类型 源表、维表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表 numRecordsIn：源表当前读取到的数据总条数。numRecordsInPerSecond：源表当前每秒读取的数据条数。numBytesIn：源表当前读取到的...
Tunnel命令常见问题
问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据？是否支持多个客户端同时上传数据至同一张表？...
CREATE INDEX
一个索引域可以是一个从表行的一列或者更多列值进行计算的表达式。这种特性可以被用来获得对基于基本数据某种变换的数据的快速访问。例如，一个在 upper(col)上计算的索引可以允许子句 WHERE upper(col)='JIM' 使用索引。PolarDB提供了索引...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
SELECT
本文介绍了如何通过 SELECT 语句从表或视图检索行。语法[WITH[RECURSIVE]with_query[,.]]SELECT[ALL|DISTINCT[ON(expression[,.])]][*|expression[[AS]output_name][,.]][FROM from_item[,.]][WHERE condition][GROUP BY grouping_element...
附录：SOFAStack 产品目录
SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术保证风险安全的同时，...
显式锁定
同样，大多数本数据库命令会自动要求恰当的锁以保证被引用的表在命令的执行过程中不会以一种不兼容的方式删除或修改（例如，TRUNCATE 无法安全地与同一表中上的其他操作并发地执行，因此它在表上获得一个排他锁来强制这种行为）。...
流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
X-Engine引擎常见问题
根据需要查询的库名和表名在 XENGINE_SUBTABLE 表中查询该表对应的 TABLE_SPACE_ID，并通过查询到的 TABLE_SPACE_ID 在 INFORMATION_SCHEMA 的 XENGINE_TABLE_SPACE 表中查看该表已使用的extent数量，再根据extent数量计算出该 表占用的...
约束
我们说在这种情况下，订单表是引用表而产品表是被引用表。相应地，也有引用和被引用列的说法。我们也可以把上述命令简写为：CREATE TABLE orders(order_id integer PRIMARY KEY,product_no integer REFERENCES products,quantity integer);...
文档修订记录
同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突，以及表锁情况，辅助业务进一步排查问题和处理问题。Query洞察 2024.01.09 新增Hologres服务关联角色 新说明 服务关联角色是一种可信实体为阿里云服务的RAM角色，旨在解决跨...
用显式JOIN子句控制规划器
我们可以在一定程度上用显式 JOIN 语法控制查询规划器。要明白为什么需要它，我们首先需要一些背景知识。在一个简单的连接查询中，例如：SELECT*FROM a,b,c WHERE a.id=b.id AND b.ref=c.id;规划器可以自由地按照任何顺序连接给定的表。...
行安全性策略
当在一个表上启用行安全性时（使用 ALTER TABLE.ENABLE ROW LEVEL SECURITY），所有对该表选择行或者修改行的普通访问都必须被一条行安全性策略所允许（不过，表的拥有者通常不服从行安全性策略）。如果表上不存在策略，将使用一条默认的...
只用索引的扫描和覆盖索引
本数据库中的所有索引是 二级 索引,这意味着每个索引都是与表的主数据区（在本数据库术语称为表的 堆 中）分开存储。这意味着在普通索引扫描中，每行检索都需要从索引和堆中取数据。此外，虽然匹配给定的可索引 WHERE 条件的索引条目通常在...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
黄牛账号识别之GraphCompute解决方案
【方案一】【方案二】【方案三】特点：relation异构表 与原始的数据结构最贴近、表配置量过多 特点：relation同构表 图配置简单，只需要2张表：User用户表和设备关联表 特点：增加设备作为独立节点 对于热门设备的关系变更更加友好 问题：...
安全性
此外，如果不受信任的用户可以创建表，则只使用显式列出表的发布。也就是说，只有当超级用户信任允许在发布者或订阅者上创建非临时表的所有用户时，才创建 FOR ALL TABLES 的订阅。用于复制连接的角色必须具有 REPLICATION 属性（或者是...
ClickHouse
Boolean 否 false 参数取值如下：false（默认值）：如果是写ClickHouse分布式表，并且在参数url中只指定了一个节点，则不会尝试推测分布式表对应的本地表信息，而是依然会直接写入分布式表，再由分布式表写入对应的本地表。true：Flink将...
2022-03-04版本
通过对分布式表的本地表进行直接写入的方式，可以显著提高写ClickHouse分布式表的吞吐量。ClickHouse结果表 优化作业诊断规则和界面 新增20多种诊断规则，全面分析作业的运行状态。根据作业的实际情况，给出高、中、低三种风险等级提示。...
2021年
修复多Master实例在Secondary Master上的同一个Session内，发起超过两个分布式事务后，检测不出死锁的问题。2021年05月28日 类别 功能 功能描述 相关文档 新增 AUTO VACUUM AUTO VACUUM可以自动执行VACUUM命令。AUTO VACUUM将检查具有大量...
列存索引行列融合基础组件介绍
本文介绍了列存索引行列融合基础组件（优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理）以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理（OLTP）和分析处理（OLAP）混合工作负载在当前的业务...
插入数据
要避免这个问题，你也可以显式地列出列。例如，下面的两条命令都有和上文那条命令一样的效果：INSERT INTO products(product_no,name,price)VALUES(1,'Cheese',9.99);INSERT INTO products(name,price,product_no)VALUES('Cheese',9.99,1);...
常见问题
本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK？SOFAStack 部署支持多云异构、目前支持华为云、开源 ...
数据湖管理FAQ
Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”...
V5.4.x系列实例版本说明
本文汇总了 PolarDB-X 1.0 实例V5.4.x系列的版本说明。发布日期：2024-02-18 大版本：V5.4.12 小版本：17082300 类别 说明 优化 优化metadata query的创建逻辑...修复跨库单表情况下，执行计划转换错误的问题。修复部分跨库单表情况下，数据库...
表分区
列表划分：通过显式地列出每一个分区中出现的键值来划分表。哈希分区：通过为每个分区指定模数和余数来对表进行分区。每个分区所持有的行都满足：分区键的值除以为其指定的模数将产生为其指定的余数。如果你的应用需要使用上面所列之外的...
数据归档至RDS MySQL
注意事项 若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为安全协同或稳定变更，才可执行周期归档任务。若您仅需要单次执行归档任务，则不...
数据归档至PolarDB MySQL版
注意事项 若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为安全协同或稳定变更，才可执行周期归档任务。若您仅需要单次执行归档任务，则不...
- 产品推荐
- 这些文档可能帮助您