新建表
本文介绍如何使用 ODC 创建表。如上图所示，创建表包含以下 7 个步骤：指定基本信息。设置列。设置索引（可选）。设置约束（可选）。设置分区规则（可选）。确认 SQL。完成新建表。操作步骤 以在 ODC 中创建员工表（employee）为例，员工表...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
写入或更新调优指南
维表 维表必须使用行存表或行列共存表，列存表对于点查场景性能开销较大。创建行存表时必须设置主键，并且将主键配置为Clustering Key时性能较好。维表的主键必须是Flink Join ON的字段，Flink Join ON的字段也必须是表的完整主键，两者...
2023-08-21版本
新增对阿里云SLS Catalog结果表的支持，您可以使用持久表的方式进行SLS数据表的定义与写入。作为一个预览功能，本次发布包含了Apache Paimon 0.5-snapshot的更新，并支持了Flink CDC写入Paimon时源表列类型变更应用。我们将在两周内在全网...
数据正确性
重要 如果 batchsize 参数设置的过小，则可能会造成下游数据库 I/O 压力过大、存在性能瓶颈的风险。例如，如果将batchsize设置为1，说明处理完一条数据，就会请求一次数据库，大数据场景下会导致数据库压力大。检查下游RDS，是否存在死锁 ...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
业务挑战 业务增速快，数据总量不断增大，MySQL出现性能瓶颈 日增数据量大，一年数据增量超6TB，存储成本压力大 数据冷热区分明显，和数据生成时间强相关 数据需要实时归档到离线进行分析 解决方案 阿里云Lindorm历经阿里众多核心服务的大...
PolarDB MySQL版8.0.2版本发布日志
支持在多主集群（库表）中使用Concurrency Control和Statement Outline，当在多主集群（库表）的某个主节点上增加或删除Concurrency Control和Statement Outline后，集群上的其他主节点会自动同步增加或删除Concurrency Control和Statement...
Profile性能诊断及优化案例
确认查询瓶颈 Operator花费的时间比例越大，其对应颜色就越深（支持对执行耗时排名前三的节点标注颜色）。您可以借此轻松确认查询的瓶颈。示例如下。Query Profile优化案例 Bitmap索引 Bloom filter索引 优化数据倾斜 单表物化视图 确认...
RDS MySQL出现“the table '/home/mysql/xxxx/xxxx/...
MySQL首先在内存中创建Memory引擎临时表，当临时表的尺寸过大时，会自动转换为磁盘上的MyISAM引擎临时表，当查询涉及到Blob或Text类型字段，MySQL会直接使用磁盘临时表。这个错误信息说明磁盘上的临时表的物理尺寸受到限制，已经无法再继续...
RDS MySQL出现“the table '/home/mysql/xxxx/xxxx/...
MySQL首先在内存中创建Memory引擎临时表，当临时表的尺寸过大时，会自动转换为磁盘上的MyISAM引擎临时表，当查询涉及到Blob或Text类型字段，MySQL会直接使用磁盘临时表。这个错误信息说明磁盘上的临时表的物理尺寸受到限制，已经无法再继续...
MongoDB实例IOPS使用率高问题
索引优化 查询全表扫描或使用了不恰当的索引，例如导出全表数据期间，会消耗大量的I/O。创建过多的索引会使数据规模很大，导致WiredTiger Cache缓存的热数据减少，业务数据写操作过程中需要多⼀次I/O操作以更新索引，从而影响I/O性能。为了...
MySQL性能排查解析
整体性能排查思路 资源监控 CPU 内存 IO 网络 连接 磁盘 日志分析 error log slow log general log binlog SQL分析 slow log explain show profile optimizer_trace 锁分析 表锁 行锁 行锁 间隙锁 下一键锁 MDL锁 死锁 MySQL资源性能瓶颈 ...
测试分析及调优
amount/30产生全表扫描 convert(char(10),date,112)=′19991201′产生全表扫描 where salary<>3000 产生全表扫描 name like '%张' 产生全表扫描 first_name+last_name='beill cliton' 产生全表扫描 id_no in(′0′,′1′)产生全表扫描 ...
IO加速
适用场景 下列是一些IO加速功能适用的业务场景：排序、分组聚合、联合等产生临时结果的复杂操作 使用CTE通用表达式的递归查询 无法使用适当索引的复杂查询 对大表或多个表的分析型查询 其他使用临时表的工作负载 支持范围 满足以下条件的...
调优集群性能
存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，这样就会导致存储节点0的CPU使用率...
多主集群（库表）商业化
简介 随着 PolarDB MySQL版 客户的不断增加，大规模头部客户不断涌入，部分头部客户业务体量规模庞大，使得目前 PolarDB MySQL版 的单写（一写多读）架构在特定场景下，写性能出现瓶颈。PolarDB MySQL版 全新推出多主集群（库表），实现从...
Left join优化改写为Right join
示例 如下示例中，nation是一个25行的小表，customer是一个15000000行的大表，通过 explain analyze 查看一条包含left join的SQL的执行计划。explain analyze SELECT COUNT(*)FROM nation t1 left JOIN customer t2 ON t1.n_nationkey=t2.c...
8.0.1和8.0.2版功能对比
使用全局二级索引可以实现透明分区表，即您可以像使用单表一样使用分区表，大大减少分区键对分区表的使用限制。不支持 支持 数据压缩/归档/加密 表级压缩 对于指定的表，支持显著优于MySQL官方的压缩能力，通过压缩降低数据的存储成本。...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的目的在于加速复杂查询的处理效率，并且无论是否使用分区表都可以使用并行查询，并行查询也支持在分区表上使用。关于分区表和并行查询的更多介绍请参见 分区表 和 弹性并行查询。连接PolarDB的读写分离地址能使用并行查询吗？可以...
导入与导出
整库同步：在AnalyticDB MySQL中新建一张表，表名要不同于报错的表，表结构需要和源表的表结构一致，通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过Rename将新表更名为报错的表名，重启DTS任务即可。...
使用EasyRec构建推荐模型
vocab_file 使用文件指定词表，用于指定比较大的词表。RawFeature boundaries 分桶的值，通过一个数组进行设置。feature_configs { input_names:"ctr"feature_type:RawFeature boundaries:[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0]...
Hive作业调优
如果两个大表进行JOIN操作时，出现热点，则使用热点Key随机化。例如，log表存在大量user_id为null的记录，但是表bmw_users中不会存在user_id为空，则可以把null随机化再关联，这样就避免null值都分发到一个Reduce Task上。代码示例如下。...
监控指标常见问题
由于内存使用率和元数据、索引量存在正相关关系，因此，表的数量越多，数据量越大，索引越多，都会导致内存使用率升高。索引不合理，例如表的列特别多，TEXT列居多，设置了过多的Bitmap或Dictionary索引。此情况可以考虑去掉一些Bitmap或者...
常见问题
A：PolarDB 支持4种 产品系列，不同系列支持的存储引擎详情如下：PolarDB MySQL版 集群版 和 单节点 全部表均使用InnoDB存储引擎。创建表的时候，PolarDB MySQL版 会自动将非InnoDB引擎（如 MyISAM、Memory、CSV 等）转换为InnoDB引擎，...
透明页压缩TPC
应用场景 CPU使用率在50%以下，IOPS或IO吞吐容易达到瓶颈的场景下，推荐使用透明页压缩功能。透明页压缩的优势 存储成本平均可节约50%。IO使用平均可节约50%。TPS在读场景会有提高，部分IO打满的读场景最高可提升100%。影响 该功能会使CPU...
数据倾斜调优
Join 针对Join端产生的数据倾斜，会存在多种不同的情况，例如大表和小表Join、大表和中表Join、Join热值长尾。大表Join小表。数据倾斜示例。如下示例中 t1 是一张大表，t2、t3 是小表。SELECT t1.ip,t1.is_anon,t1.user_id,t1.user_agent,t...
RDS和自建数据库性能差异问题
3）碎片率高 碎片率会影响sql的执行效率，如表删除了大量的数据或者频繁执行DML操作，可以使用optimize回收下碎片。4）参数设置不同 buffer大小设置不同、AHI是否开启都会影响sql的执行效率，可以对比下两个实例的参数差异，根据实例规格...
概述
应用场景 并行查询适用于大部分SELECT语句，例如大表查询、多表连接查询、计算量较大的查询。对于非常短的查询，效果并不显著。同时由于并行方式的多样化，可以适用于多种广泛而灵活的应用场景：海量数据分析场景 在中等及更大规模数据量的...
PolarDB MySQL版8.0.1版本发布日志
支持在使用Hybrid Plan加速宽表查询功能时使用临时表。新增开启semi-sync自适应退化和自动恢复功能。支持使用INPLACE算法修改字段的字符集。列存索引功能新增动态过滤器，提升表与表之间的关联效率。在HINT语句中使用SET_VAR设置参数 loose...
常见问题
分区索引的适用场景：单表数据量较大，例如超过10亿，或查询RT和查询QPS无法满足要求时，推荐您使用分区索引。分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有...
背景
选择使用表格存储后，根据实际业务场景，选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。为什么选择表格存储 如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，即开即用，按量付费 表格存储是阿里云...
历史版本常见问题
版本范围 5.2.x~5.3.11-15622313 LOCK TABLE导致锁表等异常 现象描述 使用 LOCK TABLE 时，在同一个连接上无法释放锁，导致物理连接上遗留锁，有以下影响：LOCK TABLE 中的表无法被其他连接访问；执行 LOCK TABLE 的物理连接无法访问其他表...
PolarDB PostgreSQL版：ePQ架构详解
其中SharedSeqScan共享、SharedIndexScan共享是指，在大表join小表时，小表采用类似于复制表的机制来减少广播开销，进而提升性能。分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪...
Binlog日志服务
当拆分级别为表级时，为避免大表数据集中到少数几个流，出现数据倾斜的问题，可单独设定路由规则。如果想调整流的个数和已经生效的数据拆分级别，可以通过开通一个新的多流服务来进行替换，此时会涉及下游消费链路的一些运维调整。当拆分...
模型分析优化
模型分析工具简介 AI套件提供了模型分析优化工具，在模型正式部署前，对模型进行性能压测，分析模型网络结构、每个算子耗时、GPU使用情况等，找到性能瓶颈，然后使用TensorRT等优化模型，达到上线标准后再进行部署。模型分析优化工具的生命...
实时同步任务延迟解决方案
确认造成延迟问题的系统是否有异常 当确认了延迟瓶颈是在同步任务的读端还是写端后，可在上述任务 运行详情 中切换至 日志 页签，使用 Error/error/Exception/exception/OutOfMemory 等关键字搜索，查看在延迟时间段内是否有类似下图所示的...
Hologres管控台的监控指标
Insert RPS表示使用外部表批量导入、使用COPY语句批量导入或Hologres表间插入数据的导入速率。Update RPS表示通过执行更新或删除SQL语句，每秒更新或删除的记录条数。如果是 insert do update，则记为 update，如果是 insert do nothing，...
容量中心
容量中心可以反映集群、租户、数据库、表、索引的资源使用情况及使用趋势，告知客户是否存在容量风险，便于客户及时进行扩容等操作。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏中，单击 自治服务。在 实例详情 区域，单击需要查看...
产品技术服务
适用场景 表格存储 专家服务适用场景如下：原有产品架构面临性能、扩展性等瓶颈，考虑使用 表格存储 优化或重构业务，应对业务发展的挑战。新业务架构选型，期望详细了解产品适配度与推荐架构建议。业务活动大促期间，迫切需要 表格存储 ...
使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
- 产品推荐
- 这些文档可能帮助您