DQL操作常见问题
输入表的大小是取决于过滤分区过滤后，过滤其他字段前表的大小。MaxCompute SQL中模糊查询的WHERE条件是否支持正则表达式？支持，例如 select*from user_info where address rlike '[0-9]{9}';表示查找9位数字组成的ID。如果只同步100条...
使用DMS数据追踪进行恢复
慢 取决于开启库表备份的时间点和日志备份保留时间，日志备份保留时间最大730天。更多信息，请参见 库表级备份。前提条件 数据库类型为MySQL，且MySQL为5.6及以上版本。数据库已开启Binlog。数据库已登录。说明 管控模式为自由操作与稳定...
表设计
这种方式可以把压力分散到不同的桶上，能有多么分散取决于有多少个桶。在读取时需要对所有桶进行读取，可以采用并行读取的方式进行加速。方法三：表上仍然采用均匀的方式写入数据，给表建立一个多元索引，通过多元索引进行Timestamp等字段...
DML
特别是，如果没有用户出生于1981年，那么第二次查询的性能将不取决于存储在数据库中的用户配置文件的数量（至少不是直接地：由于二级索引实现的考虑，该查询可能仍取决于集群中节点的数量，以及间接取决于集群存储的数据量。当然，在实践中...
访问控制
说明 在DMS中，数据库级别的权限有查询、导出、变更，若某用户有其中任意一种权限即被视为已授权该数据库，可在DMS中获取如下信息：查看该数据库（包括实例左侧导航栏、顶部搜索栏、权限申请搜索栏等），能否查询该库的数据取决于是否拥有...
常见问题
多数情况下batch可以高达几万甚至几十万（取决于您的单行RowSize大小，一般按照每行100Byte进行评估，您需要根据实际数据特征进行估算）。解决方案：并发数建议不超过10个。您可以调整不同参数进行尝试。常见原因2：DataWorks独享资源组的...
关键配置类介绍
取决于实现，可能不生效。subscribe true 是否订阅服务。取决于实现，可能不生效。proxy javassist 设置代理类型，支持 javassist 代理和 JDK 动态代理。ref-服务接口实现类 server-服务端 List，可以一次发到多个服务端。delay 0 设置服务...
CREATE ACCESS METHOD
处理器函数必须被声明为接收一个单一的 internal 类型的参数，并且它的返回类型取决于访问方法的类型；对于 TABLE 访问方法，它必须是 table_am_handler，而对于 INDEX 访问方法，它必须是 index_am_handler。处理器函数必须实现的 C 级别 ...
开启多表归并
该功能支持将源库中结构相同的多个表进行整合，一键合并到目标库的单个数据表之中，实现更高效、便捷的数据迁移和整合操作。前提条件 已创建目标库为 云原生数据仓库AnalyticDB MySQL版 3.0、云原生数据仓库AnalyticDB PostgreSQL版 或表格...
表操作篇
消费终端每天产生消费记录的条数取决于收银员操作的速度，这就决定了一台消费终端产生的消费记录数是受限的。因此，使用 DeviceID 作为表的分区键也可以保证访问压力的相对均匀。使用 OrderNumber 作为表的分区键 使用 OrderNumber 作为表...
并发控制
WriteSerializable 中可能发生冲突 使用分区和非连续命令条件来避免冲突 在所有标记为“可能冲突”的情况下，这两个操作是否会发生冲突取决于它们是否对同一组文件进行操作。可以通过将表分区为与操作条件中使用的列相同的列来使两组文件不...
使用须知
本地盘来自单台宿主机，数据可靠性取决于宿主机的可靠性，存在单点故障风险和数据丢失风险。如果您对数据可靠性要求高，建议在应用层做数据冗余保证数据的可靠性。用户具备边缘节点服务ENS提供的节点资源在有效期内的完整使用权，但不具备...
数据类型
取值范围取决于长度，以及有无符号。SMALLINT java.lang.Short 长度为2字节。定长精确数值类型。取值范围取决于长度，以及有无符号。INTEGER java.lang.Integer 长度为4字节。定长精确数值类型。取值范围取决于长度，以及有无符号。BIGINT ...
架构优化
分布式架构除了取决于单机性能瓶颈外，也取决于系统拆分效率和可扩展性；微服务架构中，服务拆分效率和服务调用效率又是另外的重要影响因素。编程语言实现：不同编程语言实现一定程度会影响单机基线。C/C++等编译型语言运行时不需要重新...
分区表常见问题
分区个数取决于大租户的个数和数据量。其他中小租户使用HASH分区，HASH分区的分区个数确定方法同HASH分区表。使用分区表时，如何选择索引？针对 PolarDB MySQL版 分区表，您可以选择以下几种索引：部分索引（Partial Index）您可以根据实际...
性能调优
最终合并完成后的分片数量取决于Tablestore服务的承载压力。通过计算语义实现性能调优 是否使用UPDATE替换INSERT 通过 ots-insert-as-update=true/false 设置是否使用UPDATE替换INSERT，默认值为FALSE。Tablestore SDK中有两个接口可以更新...
查询结果不符合预期的常见原因
说明 是否能读到KV2，取决于设置的表属性VERSIONS，同时还取决于到KV1和KV2是否在不同的文件中、KV1和KV2有没有被Major Compaction操作合并。例如表的VERSIONS设置为1，文件合并发生后，由于只保留一个版本，KV2会在Major Compaction操作中...
外键
引用操作 当UPDATE或DELETE操作影响父表中的数据，且父表在子表中有相匹配的外键值时，子表的结果取决于外键定义中ON UPDATE和ON DELETE的引用操作，引用操作包括：参数 用法 ON DELETE NO ACTION/ON UPDATE NO ACTION 默认参数，在更新或...
SHOW COLUMNAR STATUS
答：CSV_FILES追加写文件达到一定阈值条件才会触发compaction转成列式存储文件，根据分区划分数据，每个分区可能会保留一个文件，同时该类文件的个数还取决于后台compaction的速度。ID列的作用？答：用户无需关心ID列，它只是对应每一个列...
配置ClickHouse输出组件
如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步的速度取决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写...
Hudi概述
低 Query Latency 低 高 Update cost(I/O)高（重写整个Parquet）Lower（追加到Delta Log）Parquet File Size 小（高更新(I/O)开销）大（低更新开销）Write Amplification 高（写放大较高）低（取决于合并策略）Hudi查询类型 Hudi支持如下三...
使用SSMS迁移上云
注意事项 为了避免发生数据不一致的情况，您需要停止源库的数据写入，停止数据写入的时间取决于待迁移的数据量和实际操作的时间。数据导出的速度主要取决于源库的规格。准备工作 开启Azure SQL Database的公网访问权限，并在防火墙中允许您...
删除表
执行DROP TABLE命令会产生不同的结果，这主要取决于表是否有任何依赖关系。您可以通过指定删除行为来控制DROP TABLE命令产生的结果。例如，如果您创建了两个表，表orders 和表items，其中表items依赖于表orders：CREATE TABLE orders(order...
人群筛选概述
人群筛选有多种方式，取决于数据表、从数据表生成的模型的类型：标签筛选：基于用户标签（含用户属性、自定义标签）的人群筛选，筛选出满足指定标签值要求的人群。多条标签筛选条件间可以是且、或关系。例如：筛选出省份=浙江省，并且性别=...
场景2：依赖上一周期的结果时，如何配置调度依赖
业务场景：本周期该节点是否进行数据清洗取决于下游节点上一周期对本节点的结果表（即本节点输出表）数据清洗的结果。如果下游节点的上一周期运行成功，本周期的节点实例开始运行，否则将不能运行。xc_create选择依赖一层子节点。运维中心...
CREATE INDEX
CREATE INDEX 在指定关系的指定列上构建一个索引。简介 CREATE INDEX 在指定关系的...对于大多数索引方法，索引的创建速度取决于 maintenance_work_mem 的设置。较大的值将会减少索引创建所需的时间，当然不要把它设置得超过实际可用的内存量...
索引介绍
数据查询的效率与底层扫描的数据量正相关，而底层扫描的数据量取决于数据分布和结构。数据默认仅按照主键有序存储，要按照某一属性列查询，符合条件的数据必然分布于全表的范围内，需要扫描后筛选。全表数据越多，扫描的数据量也就越大，...
数据集成概述
数据集成为了提升性能采用批量写入目的端方式，当写入异常时，该批次数据是否能回滚取决于目的端是否支持事务机制。数据集成本身不支持事务机制。数据源 DataWorks所处理的数据的来源，可能是一个数据库或数据仓库。DataWorks支持各种类型...
表分区
一个表何种情况下会从划分获益取决于应用，一个经验法则是当表的尺寸超过了数据库服务器物理内存时，划分会为表带来好处。本数据库对下列分区形式提供了内建支持：范围划分：表被根据一个关键列或一组列划分为“范围”，不同的分区的范围...
列存索引如何实现高效数据过滤
全量scan取决于删除实现，整体稍弱于Heap Table；可按照order key进行聚簇。Clickhouse；Hologres；TiFlash。PolarDB IMCI按RowGroup组织数据，每个RowGroup包含64K行。对于每一列的列索引，其存储都采用的是无序且追加写的格式。因此，...
用法限制
此外，下表显示了用作存储过程或函数参数的游标变量允许的参数模式（具体取决于存储过程或函数中对游标变量的操作）。表 1.允许的游标变量参数模式 操作 IN IN OUT OUT OPEN 否 是 否 FETCH 是 是 否 CLOSE 是 是 否 例如，如果一个存储...
Runtime Filter
Bloom Filter的有效性取决于查询的数据分布，因此通常仅对一些特定查询额外调整其Bloom Filter长度，而不是全局修改。一般仅在对大表间join的某些长耗时查询进行调优时，才需要调整此查询选项。查看Query生成的Runtime Filter explain 命令...
SELECT 语法
数据访问代理目前支持业务表和 广播表 的聚合查询，例如：SELECT*FROM trade_order o JOIN config c on o.org_id=c.org_id WHERE order_id IN(1,2)数据访问代理仅支持拆分维度相同的业务表联合查询。相同拆分维度指的是表拆分键相同、所属...
CREATE TABLE
参与Join的两个表，按相同的分布键（Join列）进行数据分布，使得两个表相同键值的数据被分布到同一分片，可直接在同一分片进行Join操作，无需在分片之间进行数据传输，能够有效减少查询过程中的数据重分布，提升查询性能。例如，需要按照...
DROP TABLE
PolarDB PostgreSQL版（兼容Oracle）将在删除 orders 表时执行下列操作之一，这取决于您指定的删除行为：如果您指定 DROPTABLE orders RESTRICT，PolarDB PostgreSQL版（兼容Oracle）将报告错误。如果您指定 DROPTABLE orders CASCADE，...
Logview诊断实践
写表的数据分布情况主要取决于写表的阶段（对应上图的R12）是如何Shuffle和排序的，上图给出的SQL最后的操作是Join，Join Key为如下代码：on t1.query=t2.query and t1.item_id=t2.item_id 研究一下数据的特征，大部分列都是item的属性，也...
ALTER TABLE
该约束仍将被强制到后续的插入和删除上（也就是说，在外键的情况下如果在被引用表中没有一个匹配的行，操作会失败；或者如果新行不匹配指定的检查条件，操作也会失败）。但是数据库不会假定约束对该表中的所有行都成立，直到通过使用 ...
解析生效时间FAQ
答：解析生效时间取决于本地DNS缓存的解析记录的TTL到期时间，一般默认为10分钟。例如解析记录设置的TTL值为 10 分钟，则理论上全球解析生效时间需要10分钟；解析记录设置的TTL值为60秒，则理论上全球解析生效时间需要60秒。修改DNS服务器...
CREATE TABLE
CHECK 约束本质上也采用和列相同的方式被融合：如果多个父表或者新表定义中包含相同的命名 CHECK 约束，这些约束必须全部具有相同的检查表达式，否则将报告一个错误。具有相同名称和表达式的约束将被融合成一份拷贝。一个父表中的被标记为 ...
通过DMS导入SQL文件失败
在左侧导航栏，右键单击某个相同的表，选择 批量操作表>批量删除表。在弹出的对话框中，选中所有相同的表，然后单击 确定。执行步骤 3。数据库中不包含相同的表：继续执行步骤 3。再次导入SQL文件。如果问题仍未解决，请 提交工单。
- 产品推荐
- 这些文档可能帮助您