SQL优化技术
联动性：对于复杂的线上问题，有时需要综合治理，如突发的恶性慢SQL问题，DAS的自动SQL限流，自动SQL优化需要形成联动效应，实现问题的标本兼治。规模性：如何构建具备足够扩展性的服务架构，以支撑几十万级、百万级的大规模自动优化。实现...
管理Compute
在SQL编辑器运行查询操作时，需要选择一个合适的SQL Compute。资源队列：用于Application任务的运行，以及工作流节点的实际作业运行。创建SQL Compute SQL Compute创建完成后，您可以在创建SQL类型任务时选择此Compute。进入Compute页面。...
处理慢SQL问题
在定位数据库的性能问题时，查找慢SQL（消耗较高的SQL语句）是比较常用且有效的方法。而高CPU消耗、高执行时间、高IO消耗以及高扫描行数的SQL语句都有可能是慢SQL。您可以通过DAS对数据库进行监控，及时发现并优化慢SQL，解决数据库的性能...
概述
针对大多数的后端应用来讲，系统的瓶颈主要受限于数据库，同时复杂的业务也离不开数据库的操作。因此无论是在稳定性的治理上，还是在开发提效的场景下，数据库相关的治理能力都是微服务治理中必不可少的一环。数据库治理的常见问题 系统...
SQL使用限制
通过本文您可以了解SQL的使用限制。基础限制 重要 数据库名称、表名和列名均不能为SQL中的保留字与关键字。关于保留字与关键字的更多信息，请参见 保留字与关键字。资源 取值范围 说明 数据库名称长度 3~16字节 对应于实例名称。数据库名称...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
SQL 诊断概述
诊断页面的 SQL 页签为您提供 TopSQL、SlowSQL、可疑 SQL的分析诊断功能。SQL 诊断 在诊断页面 SQL 页签下可分别查看 TopSQL、SlowSQL 和可疑 SQL 的基本信息。SQL 诊断类型的概念如下：TopSQL：在选定的时间范围内，整体响应时间最长的 ...
常见问题
避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时SQL任务写入数据到目标库时，是否进行索引检查？日志服务将定时SQL的计算结果写入目标库时，不做索引检查。如果目标库未...
DQL操作常见问题
问题现象 执行包含200个UNION All的SQL语句 select count(1)as co from client_table union all.时，返回报错如下。FAILED:build/release64/task/fuxiWrapper.cpp(344):ExceptionBase:Submit fuxi Job failed,{"ErrCode":"RPC_FAILED_REPLY...
RDS MySQL活跃线程数高问题
背景信息 活跃线程数或活跃连接数是衡量MySQL负载状态的关键指标，通常来说一个比较健康的实例活跃连接数应该低于10，高规格和高QPS的实例活跃连接数可能20、30，如果出现几百、上千的活跃连接数，说明出现了SQL堆积和响应变慢，严重时会...
DML无锁变更
修改数据变更工单SQL脚本 PauseDataCorrectSQLJob-暂停执行数据变更工单SQL任务 GetDataCorrectTaskDetail-获取工单任务详情 GetDataCorrectOrderDetail-获取数据变更工单详细信息 常见问题 Q：无锁数据变更是否支持复杂的SQL操作？...
慢SQL
背景信息 在定位SQL Server的性能问题时，查找 慢SQL（消耗较高的SQL语句）是比较常用且有效的方法。而高CPU消耗、高执行时间、高IO消耗以及高影响行数的SQL语句都有可能是慢SQL。RDS的自治服务功能通过记录并分析高消耗的SQL语句，将聚合...
SQL请求行为识别
例如面对上百页的SQL模板，如果通过排序很难一个个去筛选问题SQL，此时可以使用 SQL请求行为识别，通过DAS后端算法找出相似的行为图像，帮助您将大量的SQL模板聚类，由此提高问题定位的效率。方案二：SQL请求行为识别 功能根据指标的异常...
使用SQL分析连接
内置的Demo文件，每个文件都有多个SQL脚本，脚本名中-query 前的数字即为Query个数，特别是TPC-DS数据集的Demo每个会有99个Query，分几个不同数据量的规格，执行会消耗计算资源产生计算消费，请您谨慎操作。时间线 记录展示编辑区打开的每...
KILL
您可以使用KILL指令终止一个正在 PolarDB-X 1.0 上执行的SQL。前提条件 终止一个 PolarDB-X 1.0 上正在执行的SQL前，您需要先连接 PolarDB-X 1.0 之后才可以通过执行KILL语句终止正在执行的SQL，关于如何连接 PolarDB-X 1.0，详情请参见 ...
RDS MySQL慢SQL问题
在相同业务场景下，架构设计和库表索引设计会影响查询性能，良好的设计可以提高查询性能，反之会出现很多慢SQL（执行时间很长的SQL语句）。本文介绍导致慢SQL的原因和解决方案。SQL异常 原因及现象 SQL异常的原因很多，例如库表结构设计不...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
创建问题模板索引表的SQL语句如下：/*创建问题模版索引*/*polar4ai*/CREATE TABLE pattern_index(id integer,pattern_question text,pattern_description text,pattern_sql text,pattern_params text,pattern_tables text,vecs vector_768,...
SQL 诊断概述
可疑 SQL 可疑 SQL 是指平台根据规则、算法筛选出的将会带来性能问题的 SQL，常见的可疑 SQL 诊断结果及处理建议如下。诊断结果 处理建议 Hint 未生效 异常 SQL，需要 DBA 确认是否使用 OUTLINE 进行执行计划固化。全表扫描性能较差 请分析...
逻辑数仓
查询逻辑视图时，逻辑视图从源端提取数据，在DMS计算引擎中进行加工（如：Join、聚合、过滤、计算等），然后展示数据，把复杂SQL保存为视图，再执行对视图的查询，可简化手动输入复杂SQL的流程，同时视图支持嵌套定义，能够达到SQL的复用...
SQL调优
本文为您介绍常见的SQL问题以及优化示例。并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，...
错误代码
ERROR 7100:Getting next sequence error,xx 问题描述：由于 sequence 的步长用光后，会向数据库取下一个步长的 sequence，如果一瞬间取 sequence 的请求太多的话，会导致数据库的锁冲突严重从而抛出该异常。排查方法：建议获取 sequence ...
云数据库PostgreSQL实例CPU使用率高的排查及解决办法
由于RDS有慢SQL日志，可以通过这个日志，定位到当时比较耗时的SQL来进一步做分析。但通常问题发生时，整个系统都处于停滞状态，所有SQL都慢下来，当时记录的慢SQL可能非常多，并不容易找到目标。这里介绍几种追查慢SQL的方法。第一种方法是...
云数据库PostgreSQL实例CPU使用率高的排查及解决办法
由于RDS有慢SQL日志，可以通过这个日志，定位到当时比较耗时的SQL来进一步做分析。但通常问题发生时，整个系统都处于停滞状态，所有SQL都慢下来，当时记录的慢SQL可能非常多，并不容易找到目标。这里介绍几种追查慢SQL的方法。第一种方法是...
日志分析
注意事项 相同地域下的所有 PolarDB-X 数据库的审计日志都会写入同一个日志服务的Logstore中，因此 PolarDB-X 的SQL审计与分析搜索框内会默认为您带上_topic_的过滤条件，保证您搜索到的SQL日志都属于同一地域下的 PolarDB-X 数据库。...
查询治理
您也可以选中多个SQL记录，导出任务将只导出被选中的SQL。数据分享：为方便您快速把经过条件筛选后的慢SQL分享给对应的负责人，DAS提供两种分享功能：您可以选中多个SQL记录，点击 批量分享 按钮，系统生成短链接，有DAS控制台权限的用户...
日志分析
结合日志服务的查询分析语法，在日志分析页面，您可以快速定位问题SQL，并针对 PolarDB-X 1.0 数据库的SQL执行状况、性能指标、安全问题进行分析。关于日志服务的查询分析语法，详情请参见 查询语法。注意事项 相同Region下，PolarDB-X 1.0...
管理Notebook单元
Notebook单元是Notebook中用于构建内容的基本组件。...复制单元：在当前SQL单元下复制一个相同内容的SQL单元。移动单元：移动当前SQL单元位置。支持向上和向下移动。删除单元：删除当前SQL单元。② 编辑区 您可以在编辑区内进行SQL开发。
SQL在Procedure内执行报错
问题现象 一个直接执行可以成功（可能会报Warning）的SQL语句，在Procedure内部执行失败并报错。例如：一个UPDATE语句尝试将一个date属性的列值更新为空字符串：UPDATE t1 SET start_date=""where id=2;直接执行该语句成功并报Waning：+-+-...
管理Notebook单元
复制单元：在当前SQL单元下复制一个相同内容的SQL单元。移动单元：移动当前SQL单元位置。支持向上和向下移动。删除单元：删除当前SQL单元。说明 计算引擎绑定了开启Impala的Hive时，支持Impala SQL和Hive SQL相互切换。② 编辑区 您可以在...
SQL在Procedure内执行报错
问题现象 一个直接执行可以成功（可能会报Warning）的SQL语句，在Procedure内部执行失败并报错。例如：一个UPDATE语句尝试将一个date属性的列值更新为空字符串：UPDATE t1 SET start_date=""where id=2;直接执行该语句成功并报Waning：+-+-...
大量数据导出方案
如果SQL比较复杂，请使用Tunnel和SQL相互配合导出查询结果。DataWorks 可以方便地帮您运行SQL，同步数据，并支持定时调度，配置任务依赖的功能。开源工具DataX可以帮助您方便地把MaxCompute中的数据导出到目标数据源，详情请参见 DataX概述...
DescribeSlowLogs-查看慢日志统计情况
0 SQLHASH string 慢日志统计里的 SQL 语句唯一标识符，可用于获取该 SQL 语句的慢日志明细。U2FsdGVk*MinIOWriteCounts long I/O 写次数（最小值）。说明 仅 SQL Server 实例支持返回该参数。0 ParseMaxRowCount long 解析的 SQL 行数...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
DescribeSlowLogs-查看慢日志统计情况
0 SQLHASH string 慢日志统计里的 SQL 语句唯一标识符，可用于获取该 SQL 语句的慢日志明细。U2FsdGVk*MinIOWriteCounts long I/O 写次数（最小值）。说明 仅 SQL Server 实例支持返回该参数。0 ParseMaxRowCount long 解析的 SQL 行数...
数据准备与预处理
说明 当工作流比较复杂时，您可以每拖入一个组件配置完成一个节点后，就单击保存和运行，进行调试。如果运行失败，可右键节点查看日志，进行失败原因的排查处理。后续步骤 完成数据预处理后，需要进行数据可视化，详情请参见 数据可视化。
Quick BI的参数SQL应该怎样写
应用场景 如果某些要展示的数据无法从已有的数据表里直接取出，需要先对表内的数据做一次聚合、去重或者需要先聚合后再将多个表关联到一起等复杂加工，然后再应用处理后的结果取数，那么此时就需要通过SQL创建数据集。参数SQL创建数据集...
V5.3.x系列实例版本说明
V5.3.2-1645122 日期 2018.07.05 类别 说明 修复问题 修复带有Outline的SQL在高并发场景因无法生效而产生不合预期的执行计划的问题。修复事务中单个物理库的SELECT因使用并行查询策略导致拿物理连接报错的问题。V5.3.2-1623342 日期 2018....
SQL语句示例
使用数据问答中的SQL模板功能时，可参考此文档进行SQL语句编写。SQL语句编写入口 进入智能对话机器人空间产品界面后，选择 表格管理>SQL模板，单击新建干预按钮，即可在新建干预窗口编写SQL语句。说明 当机器人无法正确地将用户自然语言...
会话管理
如果一个会话中开启了事务，但是超过10秒未执行任何新的SQL，很可能是代码中遗漏了COMMIT命令，这可能导致事务一直持有资源，无法及时释放资源。相关文档 您可以启用DAS的自治功能，对实例会话中的SQL进行自动诊断治理。自动SQL限流 自动...
V5.4.x系列实例版本说明
修复当通过ALTER TABLE添加全局二级索引（GSI）或执行ScaleOut命令时，由于数据回填中使用了默认的 sql_mode 导致报错的问题。修复特定场景下，执行RENAME TABLE命令时会修改物理分片表名的问题。修复部分场景下使用INSERT命令同时插入多行...
- 产品推荐
- 这些文档可能帮助您