新功能发布记录
SQL窗口介绍 全面优化SQL审核 优化 支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL发布上线，同时降低SQL注入风险。SQL审核 优化数据分析 优化 在数据分析中，支持一键直达DTS任务详情页。一键建仓 02月 功能名称 ...
背景信息
OLAP场景中，为避免复杂SQL运行时间过长，程序一直阻塞等待而影响业务运行，DLA推出异步执行SQL功能，即在SQL中加入Hint/*+run-async=true*/。异步执行SQL时，查询结果将默认写入您的OSS目录中，同时系统返回SQL对应的ID，通过 show query_...
2023-04-13版本
作业开发流程优化 作业开发页面优化为SQL开发页面，提供SQL开发的平台：提供部署上线的隔离机制，避免开发SQL影响线上正在运行的作业。对于Jar和Python作业来说，开发与线上天然隔离，且不需要使用到SQL中的UDF、Connector和Catalog等组件...
计划缓存(Auto Plan Cache)
为了提升优化时间占比太多的SQL语句的查询性能，降低系统负载，同时避免执行SQL语句时因采用固定执行计划而导致查询性能回退问题。PolarDB MySQL版 提供了Auto Plan Cache功能。Auto Plan Cache功能提供了AUTO、DEMAND和ENFORCE三种模式，...
Web服务端漏洞类型
SQL注入攻击 SQL注入攻击（SQL Injection），简称注入攻击、SQL注入，被广泛用于非法获取网站控制权，是发生在应用程序的数据库层上的安全漏洞。由于在设计程序时，忽略了对输入字符串中夹带的SQL指令的检查，被数据库误认为是正常的SQL...
错误代码
示例：ERR-CODE:[TDDL-4203][ERR_SQL_QUERY_MERGE_TIMEOUT]Slow sql query leads to a timeout exception during merging results,please optimize the slow sql.The the default timeout is*ms.DB is*PolarDB-X 1.0 执行分布式查询超时，...
基本语句
这种方法常常更适合于把数据值作为文本插入到命令字符串中：它避免了将该值转换为文本以及转换回来的运行时负荷，并且它更不容易被 SQL 注入攻击，因为不需要引用或转义。一个例子是：EXECUTE 'SELECT count(*)FROM mytable WHERE inserted...
SQL防火墙（sql_firewall）
SQL防火墙是数据库层面的防火墙功能，可以防止恶意SQL注入。可以用来学习一些定义好的SQL规则，并将这些规则储存在数据库中作为白名单，学习完成后，可以限制用户执行这些定义规则之外的风险操作。前提条件 RDS PostgreSQL实例需为以下版本...
SQL洞察常见问题
如果您在使用SQL洞察功能时存在疑问，可以参考本文处理。...答：目前还没有此功能，可以通过关闭SQL洞察功能避免产生费用。关闭SQL洞察后还可以查看已有的SQL洞察内容吗？答：关闭SQL洞察功能后，不能再查看SQL洞察内容。
RDS MySQL备份、SQL洞察相关问题
本文介绍RDS MySQL备份、SQL洞察相关问题。备份使用量在哪里查看？...答：目前还没有此功能，可以通过关闭SQL洞察功能避免产生费用。关闭SQL洞察后还可以查看已有的SQL洞察内容吗？答：关闭SQL洞察功能后，不能再查看SQL洞察内容。
RDS SQL Server出现死锁的处理方法
说明 如果有S锁参与死锁，并且应用允许脏读，可以使用 with(nolock)，让查询语句避免申请锁，从而避免死锁，SQL语句：select*from table with(nolock)。检查应用程序逻辑，按顺序访问某个资源。适用于 云数据库RDS SQL Server版
SQL结果集导出
前提条件 数据库类型如下：数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL...
SQL限流
为应对突发的数据库请求流量、资源消耗过高的语句访问以及SQL访问模型的变化等问题，PolarDB-X 1.0 提供了节点级别的SQL限流功能来限制造成上述问题的SQL执行，从而保证实例的持续稳定运行。本文介绍如何使用SQL限流功能。前提条件 PolarDB...
SQL限流
为应对突发的数据库请求流量、资源消耗过高的语句访问以及SQL访问模型的变化等问题，PolarDB-X 提供了节点级别的SQL限流功能来限制造成上述问题的SQL执行，从而保证实例的持续稳定运行。本文介绍如何使用SQL限流功能。创建限流规则 语法 ...
数据库变更管理
用户可以通过数据库变更任务运行耗时较高的 SQL 语句以避免语句执行超时。注意事项 只支持对 UPDATE 和 DELETE 变更语句自动生成回滚语句。支持的变更影响行数上限为 100W，超过则不支持自动生成回滚语句。若表中包含大字段，不支持自动...
实例状态显示“锁定中”时如何解决？
对于临时文件较大的场景，应优化SQL语句，避免频繁使用ORDER BY、GROUP BY操作。实例已经有充足空间或者已续费，为什么实例仍然被锁定？因为实例当前有任务（如变更配置）在运行，需要等待任务结束后才会自动解锁。您可以在实例基本信息页...
配置全局参数
当关联对象为 图表 时，系统会将图表按照数据集进行分类，选择数据集中的某个字段并选中目标图表时，全局参数注入的条件会自动填充到被选中图表的SQL查询中。当选中多个数据集的字段时，选中字段的类型和粒度（年、月、日、时、分、秒）...
SQL组件概述
后续在使用SQL组件节点时，只需从代码组件列表中选择和自己的业务处理过程类似的组件，并为该组件配置自己业务中特定的输入表和输出表，无需再次编辑代码，便可直接生成新的SQL组件节点，极大提升了开发效率，避免重复开发。SQL组件节点...
DMS数据管理预案助力业务大促
变更安全 拦截高风险SQL 您可以在安全规则中对部分高风险SQL语句（DQL、DDL、DML、DCL）进行管控，避免某些高风险SQL的执行而影响业务。常态推荐按需开启，大促期间建议禁止例如DDL等高风险的SQL执行。具体操作，请参见 SQL变更安全规则。...
常见问题
考虑数据上传日志服务存在延迟情况，您可以结合数据采集延迟以及业务能够容忍的最大结果可见延迟，设置 执行延迟 和 SQL时间窗口（结束时间往前一点），避免实例执行时SQL时间窗口内的数据未全部到达。建议SQL时间窗口按分钟对齐（例如整...
工作原理
考虑数据上传日志服务存在延迟情况，您可以结合数据采集延迟以及业务能够容忍的最大结果可见延迟，设置 执行延迟 和 SQL时间窗口（结束时间往前一点），避免实例执行时SQL时间窗口内的数据未全部到达。建议SQL时间窗口按分钟对齐（例如整...
Flag参数列表
ALL SQL Session odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL ...
SETPROJECT
ALL SQL Session odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL ...
SET
因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MB，默认值为256 MB。odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL...
SQL Console新交互模式下变更表数据和结构（公测中）
新交互模式的SQL Console基于原SQL Console进行了升级，升级后的SQL Console支持在执行SQL前备份数据、定时执行SQL、预估SQL执行耗时和异步执行SQL等功能。背景信息 DMS新交互模式的SQL Console，支持如下执行SQL的方式：直接执行：建议...
SQL限流（rds_ccl）
背景 SQL限流是一种重要的数据库管理技术，可以通过限制并发SQL数，从而避免过高的数据库负载，保证数据库的稳定性和可靠性，提高数据库的性能和效率，从而更好地支持业务需求。应用场景 SQL限流的应用场景不仅限于高并发访问，还包括以下...
SQL限流（rds_ccl）
背景 SQL限流是一种重要的数据库管理技术，可以通过限制并发SQL数，从而避免过高的数据库负载，保证数据库的稳定性和可靠性，提高数据库的性能和效率，从而更好地支持业务需求。应用场景 SQL限流的应用场景不仅限于高并发访问，还包括以下...
计算成本控制
所以请尽量避免频繁调度，如果要进行频繁调度请通过CostSQL等方式预估一下SQL的开销到底有多大，不然会造成较大预估外的开销。控制全表扫描。您可以通过以下几种策略来控制全表扫描问题：设置参数关闭全表扫描功能。目前支持Session级别和...
开发PyODPS 2任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
开发PyODPS 2任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
开发PyODPS 3任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
开发PyODPS 3任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
自动SQL优化
开启SQL洞察后，系统会对被优化的SQL及相关SQL进行性能跟踪，如果性能出现衰退，系统会自动回滚，避免创建的索引影响其他SQL的性能。未开启SQL洞察时，系统仅会对被优化的SQL进行性能跟踪，覆盖不够全面。因此，建议开启SQL洞察，以获得更...
SQL优化技术
效果评估：效果评估算法会对被优化的SQL及相关SQL模板进行性能跟踪，避免出现性能恶化导致故障。性能跟踪的算法基于决策树模型，包括全量SQL追踪和慢SQL追踪等多维度追踪，对SQL模板优化后的性能指标与优化前进行对比，综合判断SQL模板在该...
系统账号说明
rdsdt_dtsacct 使用 DTS服务 进行源端为RDS SQL Server实例的数据迁移或同步任务时，系统会自动在源端实例中创建一个名为 rdsdt_dtsacct 的特殊账号。该账号具有 sysadmin 高级权限，以确保DTS服务能够获取到足够的权限来拉取源数据库的...
2020年
在设置前，需要充分评估日常的消费量，并设置合理的值，避免累计消费超过值之后SQL作业无法执行耽误业务产出。如果发现设置不合理，Project Owner或拥有SuperAdministrator权限的管理员也可以随时进行调整。2020-12-07 所有区域 消费监控告...
SQL查询计量计费
不同的SQL复杂度涉及到的数据查询与扫描会有较大差别，请避免使用涉及全表扫描的SQL语句，且尽量与索引配合来最大化使用资源。计费项 计费项 计费方式 描述 按量读吞吐量 按量付费 资源包 单条SQL读吞吐量是执行该SQL时调用表与索引所产生...
如何发布和调用JDBC数据服务
高级选项：COUNT扫描总记录数保护 是通过设置 COUNT扫描总记录数上限，对SQL语句进行封装，限定统计SQL扫描记录数量的上限，避免 COUNT 命令对数据库造成的压力。在 接入协议 页面编辑SQL条件参数。CSB自动生成单表查询的入参模板字段，并...
消费监控告警
说明 设置Session级别的消费限制前，请您务必确认相应的SQL确实需要Session级别的限制，避免滥用该功能。如果同时设置Project级别和Session级别的消费限制，则Session级别优先级高于Project级别。例如，Project级别设置 m_value 为100，而...
HBase SQL（Phoenix）FAQ
本文档介绍了您在使用HBase SQL（Phoenix）过程中遇到的常见问题并给出解决办法。ali-phoenix最新版本在Maven中央仓库发布了哪些JAR包？ali-phoenix 4.x发布包如下：GroupId ArtifactId Latest Version ...
- 产品推荐
- 这些文档可能帮助您