参数调优建议
如果该值偏小，则有可能在高并发时引起SQL性能问题。修改建议：执行 SHOW GLOBAL STATUS LIKE 'Open_tables'，如果返回的值接近或等于当前 table_open_cache 设置的值时，建议适当调大本参数。innodb_adaptive_hash_index 适用版本：8.0、5...
Concurrency Control
为了应对突发的数据库请求流量、资源消耗过高的SQL语句以及SQL语句访问模型变化问题，保证 PolarDB 集群持续稳定运行，阿里云提供了基于SQL语句的并发控制Concurrency Control（简称CCL）规则，并提供了工具包 DBMS_CCL 便于您快捷地使用该...
Pipeline执行引擎
parallel_pipeline_task_num parallel_pipeline_task_num 代表了SQL查询进行并发执行的Pipeline Task数目。SelectDB默认的配置为 0，会自动设置为CPU核数的一半。您也可以根据自己的实际情况进行调整。set parallel_pipeline_task_num=0;您...
V5.3.x系列实例版本说明
V5.3.2-1645122 日期 2018.07.05 类别 说明 修复问题 修复带有Outline的SQL在高并发场景因无法生效而产生不合预期的执行计划的问题。修复事务中单个物理库的SELECT因使用并行查询策略导致拿物理连接报错的问题。V5.3.2-1623342 日期 2018....
Presto
支持并发执行多条SQL。支持参数功能。支持图表展示SQL结果。示例 多行SQL 如下图所示，在一个段落里执行2句SQL语句（以分号间隔），第一句切换database，第二句运行Select语句。注释 以-开头的均为SQL注释。参数功能 Zeppelin支持${var=...
什么是云数据库HBase
代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 KV Key和Value HBase API 延迟低、并发高 传统关系型数据库升级 SQL 关系模型 SQL（参见Lindorm产品）存储量大、分布式SQL数据库 风控或画像 表格存储 稀疏Table HBase API ...
计算层变量
DATABASE_PARALLELISM 否 0[0-1024]单个查询在一个DN上允许同时下发SQL的数量，用户计算Scan的并发度。POLARDBX_PARALLELISM 否 0[0-1024]单个查询在一个CN允许的最大并发度,默认是CPU核数。MPP_METRIC_LEVEL 否 3[0|1|2|3]计算过程中统计...
调优原理和执行计划
PolarDB-X 可以基于统计信息、执行计划、并发策略和执行之后反馈的运行时长等信息，找出导致SQL执行慢的原因，进行针对性调优。一条慢查询可能和物理SQL执行快慢、并发度数量、执行计划和索引选择是否合适都有关系。所以在分布式数据库中，...
配置隔离规则
例如预期的SQL执行时间为20毫秒，预期该请求每秒有20个，并发最大时候是6个，建议并发线程数按照以下逻辑设置：Max（20/1000*20，6）=6，再加上冗余量2，则建议并发数阈值设置为8。设置好后，当这个SQL发生死锁或者有性能问题，SQL运行特别...
配置隔离规则
例如预期的SQL执行时间为20毫秒，预期该请求每秒有20个，并发最大时候是6个，建议并发线程数按照以下逻辑设置：Max（20/1000*20，6）=6，再加上冗余量2，则建议并发数阈值设置为8。设置好后，当这个SQL发生死锁或者有性能问题，SQL运行特别...
配置SQL执行控制
SQL执行前目标资源并发控制 DMS系统自适应默认开启，DMS将控制通过DMS同一时间执行的SQL数量。SQL执行前数据库负载检查 线程数检查保护机制默认开启，如果数据库负载过高，暂停执行SQL。您可以设置允许最大运行中的线程数量、失败时重试的...
SQL调优
非读表的Task 主要有如下三种方式调整并发度：调整 odps.sql.mapper.split.size 值：非读表Task的并发度会受到输入Task的并行度影响，通过调整读表Task的并发度间接调整非读表Task的并发度。调整 odps.sql.reducer.instances 值：使用如下...
重要参数说明
使用示例 参数值为AUTO 新建SQL流作业，复制如下测试SQL（显式指定Sink并发度为2），部署 作业。CREATE TEMPORARY TABLE s1(a INT,b INT,ts TIMESTAMP(3))WITH('connector'='datagen','rows-per-second'='1','fields.ts.kind'='random','...
PlanCache
背景信息 当查询的并发数很高时，SQL的编译优化时间会成为系统性能的瓶颈，PlanCache功能将SQL的执行计划缓存后，后续相关的SQL语句会直接使用缓存的执行计划，从而减少SQL的编译优化时间，提升系统的查询性能。目前PlanCache功能仅适用于...
Thread Pool
阿里云RDS的线程池实现了不同类型SQL操作的优先级及并发控制机制，将连接数始终控制在最佳连接数附近，使RDS数据库在高连接大并发情况下始终保持高性能。线程池的优势如下：当大量线程并发工作时，线程池会自动调节并发的线程数量在合理的...
监控指标常见问题
执行 insert、insert on conflict 或 update 命令时，耗时比较长即写入性能较差，通常原因是因为SQL没有走Fixed Plan，没有走Fixed Plan的SQL命令存在表锁，并发执行时会等锁，导致耗时较长，实时写入RPS 监控指标会显示写入类型为 insert...
如何选用数据库类产品
但业务压力Udacity，虚拟化可以满足其需求 独享型：面对需要独享物理机的业务，一般为高并发Oracle类业务 DRDS 中 入门版本：4 Core 8 G，价格亲民，适合中小型在线业务 企业版：16 Core 32 G，复杂 SQL 响应好，适合超高并发在线业务 ...
8.0.1和8.0.2版功能对比
支持 支持 SQL 限流 应用侧的并发陡增，经常导致数据库并发过高从而影响性能。这种情况下，一般都是少量的重复SQL在执行。PolarDB 可以限制某一类SQL同时执行的个数，来避免单条SQL压垮整个数据库。支持 支持 Fast Startup 快速启动优化。...
Thread Pool
PolarDB 的线程池实现了不同类型SQL操作的优先级及并发控制机制，将连接数始终控制在最佳连接数附近，使 PolarDB 数据库在高连接大并发情况下始终保持高性能。线程池的优势如下：当大量线程并发工作时，线程池会自动调节并发的线程数量在...
慢SQL治理
采用流量治理提供的服务并发隔离能力，给重要服务调用配置并发线程数限制，防止慢SQL或者不稳定的服务过多挤占正常服务资源。详情请参见 配置隔离规则。在 新增规则 对话框，单击 并发隔离。在 选择防护场景 页面，确认 接口名称，单击 下...
HBase SQL（Phoenix）与Spark的选择
使用场景 ApsaraDB Phoenix是ApsaraDB HBase提供的SQL层，主要为了解决 高并发、低延迟、简单查询 场景，当然也可以解决一定的分析需求。必须命中索引且命中后返回的数据较少，如果是join，则join任意一则返回的数据量在10w以下，且另一侧...
RDS SQL Server CPU使用率高问题
因此设置最大并行度需要在执行速度和CPU使用率之间进行平衡，建议如下：查询请求的并发量较高，大部分SQL语句的执行开销较低时，MAXDOP的值应小一些，甚至为1（即完全无并行）。查询请求的并发量较低，同时存在一些执行开销较高的SQL语句，...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
EMR-5.5.x版本说明
设置参数 spark.sql.join.preferSortMergeJoin 为false，设置参数 spark.sql.join.enableShuffledHashJoinFallback 为true。支持非动态分区自动合并小文件。设置 spark.sql.adaptive.merge.output.small.files.enabled 参数为true。...
时间窗口SQL脚本
在普通的SQL组件基础上增加了 多日期循环执行 功能，用于并行执行某段时间内 天级别 SQL任务。例如在推荐场景中，并行执行过去7天的行为数据特征提取SQL补数据任务。使用限制 仅支持天级别的补数据循环。在使用时按照需要打开或关闭多日期...
部署与运维
为防止少数SQL占用过多资源、影响业务整体运行，SQL限流功能能够限制特定查询的并发度。您可以通过控制台创建限流匹配规则，限制其最大并发度、最长等待队列长度等。备份与恢复 一致性备份恢复 一致性备份恢复提供实例级任意时间点（精确到...
查看数据报表
SQL运行明细指标 该部分描述SQL内部运行时的核心指标，包括并发请求量、各阶段延时情况、每分钟的SQL处理数据量、每分钟的SQL处理行数等。SQL Pattern分析 该部分通过对SQL模板化处理，聚合为SQL Pattern，帮助用户从SQL Pattern 维度，...
性能调优
通过DLA查询Tablestore数据时，可以在SQL中加入Hint对数据查询性能进行调优。DLA是分布式计算系统，系统对每个Tablestore表按照一定...安全起见，遇到Tablestore超时导致SQL执行失败时，需要适当控制DLA并发度，例如设置 task-concurrency=2。
SQL Server数据源
该驱动支持的SQL Server版本如下所示：版本 支持性（是/否）SQL Server 2016 是 SQL Server 2014 是 SQL Server 2012 是 PDW 2008R2 AU34 是 SQL Server 2008 R2 是 SQL Server 2008 是 SQL Server 2019 否 SQL Server 2018 否 Azure SQL ...
全链路监控和审计
SQL限流 为防止少数SQL占用过多资源影响业务整体运行，PolarDB-X 提供了SQL限流功能，用于限制特定查询的并发度。您可以通过控制台创建限流匹配规则，限制其最大并发度、最长等待队列长度。超过最大并发度的查询将进入等待队列，如果等待...
如何限流慢SQL
设置单节点并发度为0，不允许匹配到的SQL执行 如果使用的 PolarDB-X 版本为5.4.11以上，且该SQL不在prepare模式下执行，还可以使用如下高阶语法进行限流：CREATE CCL_RULE `KILL_CCL`/限流规则名称为KILL_CCL ON `analy_db`.`*`/匹配analy_...
定时SQL
限制项 说明 操作并发数 单个Project支持的最大分析操作并发数为150个。例如150个用户同时在同一个Project的各个Logstore中执行分析操作。数据量 单次分析最大支持扫描2000亿行数据。数据生效机制 分析功能只对开启统计功能后写入的数据...
SET
odps.sql.unstructured.external.max.dop 外部表访问的Worker的最大并发度。大于0的整数。odps.sql.executionengine.enable.string.to.date.full.format 是否转换带时分秒的日期字符串。True：是。False：否。默认值是False。odps.sql....
Presto FAQ
DLA最大并发度是500，默认并发度是1，对于一些规格配置较低或者复杂数据库，可以将默认并发度适当调低。其它问题 如何处理报错：because '3.00199E9' in colum n '4' is outside valid range for the datatype INTEGER？原因：底层对应的...
使用限制
限制项 说明 操作并发数 单个Project支持的最大分析操作并发数为150个。例如150个用户同时在同一个Project的各个Logstore中执行分析操作。数据量 单次分析最大支持扫描2000亿行数据。数据生效机制 分析功能只对开启统计功能后写入的数据...
从Logstore到Logstore
增强型资源池复用SQL独享版的计算能力，提供足够的分析并发数，与您在控制台上的SQL分析操作进行资源隔离。增强型资源池根据SQL分析操作所消耗的CPU时间收取费用。更多信息，请参见 开启SQL独享版。写入模式 选择 日志库导入日志库，即表示...
列存索引内存管理介绍
例如，一个查询在执行过程中平均使用了一半的物理内存，那么就可以将并发数量增加为2个，如下图所示：图3 根据虚拟内存与物理内存增加并发数量 增加并发数量后，理论上可以让不同查询错峰使用资源，使得资源利用率更高，能有效降低scale...
从Logstore到MetricStore
增强型资源池复用SQL独享版的计算能力，提供足够的分析并发数，与您在控制台上的SQL分析操作进行资源隔离。增强型资源池根据SQL分析操作所消耗的CPU时间收取费用。更多信息，请参见 开启SQL独享版。写入模式 选择 日志库导入时序库，即表示...
写入或更新调优指南
SQL为普通OLAP写入，那么就会走左侧的链路，会经过优化器（QO）、执行引擎（QE）等一系列组件，数据写入或更新时会整个表拿锁即表锁，如果是并发执行 INSERT、UPDATE 或 DELETE 命令，那么SQL间会相互等锁，导致延迟较高。SQL为点查点写，...
从MetricStore到MetricStore
增强型资源池复用SQL独享版的计算能力，提供足够的分析并发数，与您在控制台上的SQL分析操作进行资源隔离。增强型资源池根据SQL分析操作所消耗的CPU时间收取费用。更多信息，请参见 开启SQL独享版。写入模式 选择 时序库导入时序库，即表示...
- 产品推荐
- 这些文档可能帮助您