SQL限流
为应对突发的数据库请求流量、资源消耗过高的语句访问以及SQL访问模型的变化等问题，PolarDB-X 提供了节点级别的SQL限流功能来限制造成上述问题的SQL执行，从而保证实例的持续稳定运行。本文介绍如何使用SQL限流功能。创建限流规则 语法 ...
数据库变更管理
用户可以通过数据库变更任务运行耗时较高的 SQL 语句以避免语句执行超时。注意事项 只支持对 UPDATE 和 DELETE 变更语句自动生成回滚语句。支持的变更影响行数上限为 100W，超过则不支持自动生成回滚语句。若表中包含大字段，不支持自动...
配置全局参数
当关联对象为 图表 时，系统会将图表按照数据集进行分类，选择数据集中的某个字段并选中目标图表时，全局参数注入的条件会自动填充到被选中图表的SQL查询中。当选中多个数据集的字段时，选中字段的类型和粒度（年、月、日、时、分、秒）...
新功能发布记录
02-28 修改字符集排序规则与时区 新增 设置透明数据加密TDE RDS SQL Server 2022 标准版实例支持透明数据加密TDE功能，对数据文件执行实时I/O加密和解密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高数据库中敏感数据的...
SQL组件概述
后续在使用SQL组件节点时，只需从代码组件列表中选择和自己的业务处理过程类似的组件，并为该组件配置自己业务中特定的输入表和输出表，无需再次编辑代码，便可直接生成新的SQL组件节点，极大提升了开发效率，避免重复开发。SQL组件节点...
常见问题
考虑数据上传日志服务存在延迟情况，您可以结合数据采集延迟以及业务能够容忍的最大结果可见延迟，设置 执行延迟 和 SQL时间窗口（结束时间往前一点），避免实例执行时SQL时间窗口内的数据未全部到达。建议SQL时间窗口按分钟对齐（例如整...
DMS数据管理预案助力业务大促
变更安全 拦截高风险SQL 您可以在安全规则中对部分高风险SQL语句（DQL、DDL、DML、DCL）进行管控，避免某些高风险SQL的执行而影响业务。常态推荐按需开启，大促期间建议禁止例如DDL等高风险的SQL执行。具体操作，请参见 SQL变更安全规则。...
工作原理
考虑数据上传日志服务存在延迟情况，您可以结合数据采集延迟以及业务能够容忍的最大结果可见延迟，设置 执行延迟 和 SQL时间窗口（结束时间往前一点），避免实例执行时SQL时间窗口内的数据未全部到达。建议SQL时间窗口按分钟对齐（例如整...
SET
因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MB，默认值为256 MB。odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL...
Flag参数列表
ALL SQL Session odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL ...
SETPROJECT
ALL SQL Session odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL ...
SQL Console新交互模式下变更表数据和结构（公测中）
新交互模式的SQL Console基于原SQL Console进行了升级，升级后的SQL Console支持在执行SQL前备份数据、定时执行SQL、预估SQL执行耗时和异步执行SQL等功能。背景信息 DMS新交互模式的SQL Console，支持如下执行SQL的方式：直接执行：建议...
计算成本控制
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
开发PyODPS 2任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
开发PyODPS 2任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
开发PyODPS 3任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
开发PyODPS 3任务
与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_name} 的字符串，而是在执行代码前，在全局变量中增加一个名为 args 的dict，调度参数可以在此获取。例如，在 参数 中设置 ds=${yyyymmdd}，则可以...
自动SQL优化
开启SQL洞察后，系统会对被优化的SQL及相关SQL进行性能跟踪，如果性能出现衰退，系统会自动回滚，避免创建的索引影响其他SQL的性能。未开启SQL洞察时，系统仅会对被优化的SQL进行性能跟踪，覆盖不够全面。因此，建议开启SQL洞察，以获得更...
系统账号说明
rdsdt_dtsacct 使用 DTS服务 进行源端为RDS SQL Server实例的数据迁移或同步任务时，系统会自动在源端实例中创建一个名为 rdsdt_dtsacct 的特殊账号。该账号具有 sysadmin 高级权限，以确保DTS服务能够获取到足够的权限来拉取源数据库的...
SQL优化技术
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
2020年
2020-04-23 全部区域 Policy权限控制 限制单SQL消费 MaxCompute支持监控单个SQL语句的消费，在SQL语句执行前先预估SQL语句的消费，预防单个SQL语句产生意料之外的高额费用。2020-04-14 全部区域 消费监控告警 升级MaxCompute管家 ...
SQL查询计量计费
不同的SQL复杂度涉及到的数据查询与扫描会有较大差别，请避免使用涉及全表扫描的SQL语句，且尽量与索引配合来最大化使用资源。计费项 计费项 计费方式 描述 按量读吞吐量 按量付费 资源包 单条SQL读吞吐量是执行该SQL时调用表与索引所产生...
如何发布和调用JDBC数据服务
高级选项：COUNT扫描总记录数保护 是通过设置 COUNT扫描总记录数上限，对SQL语句进行封装，限定统计SQL扫描记录数量的上限，避免 COUNT 命令对数据库造成的压力。在 接入协议 页面编辑SQL条件参数。CSB自动生成单表查询的入参模板字段，并...
消费监控告警
说明 设置Session级别的消费限制前，请您务必确认相应的SQL确实需要Session级别的限制，避免滥用该功能。如果同时设置Project级别和Session级别的消费限制，则Session级别优先级高于Project级别。例如，Project级别设置 m_value 为100，而...
HBase SQL（Phoenix）FAQ
本文档介绍了您在使用HBase SQL（Phoenix）过程中遇到的常见问题并给出解决办法。ali-phoenix最新版本在Maven中央仓库发布了哪些JAR包？ali-phoenix 4.x发布包如下：GroupId ArtifactId Latest Version ...
社区版CDC
Oceanbase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC 左侧列表中这些未商业化的社区版CDC连接器的使用方法，请参见 社区版CDC连接器使用方法。说明 在使用社区版CDC连接器或者自定义连接器时，如果已经存在同名 实时计算...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
数据探索简介
重要 DLF-Spark SQL 不会 在您的SQL语句后面自动加limit限制，请避免不必要的全表扫描，以免造成资源浪费。使用限制：SQL执行超时时间：60分钟 SQL长度限制：不超过6000字符 查询结果展示：最多10000行 同一个账号，最大使用Spark Driver...
注意事项
对于一些有风险的数据，建议采用调整事务SQL顺序，或者后置执行的方式避免脏读。由于 PolarDB-X 1.0 柔性事务的特殊机制，事务中执行的第一条INSERTY、UPDATE或DELETE语句不会采用异步方式回滚。因此将有风险的SQL语句提前执行，可以有效...
预检SQL Server（ECS）
预检功能提前发现不适合备份的场景，避免发生备份失败等异常问题。完成注册SQL Server后，建议您对SQL Server数据库进行预检查。本文介绍预检SQL Server的操作方法。前提条件 已在 云备份 控制台注册SQL Server数据库，且SQL Server数据库...
使用Copilot生成SQL
管理SQL知识 在使用DMS Data Copilot时，为避免AI出错，DMS引入了 知识库 和 相似查询 机制。如下图所示：管理业务知识 生成业务知识 知识来源目前有两个：DMS根据库、表、列元数据和用户的查询历史主动挖掘积累的知识。用户在与Copilot...
DQL操作常见问题
解决措施 原因一的解决措施：对于过长的SQL语句，建议拆分成多次运行，避免触发长度限制。原因二的解决措施：如果分区过大，需要调整分区个数，详情请参见 分区。原因三的解决措施：如果是由于小文件较多导致，请参见 小文件优化及作业诊断...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
JDBC 连接池配置示例
useLocalSessionState：建议设置为 TRUE，避免交易频繁向 OB 数据库发送 session 变量查询 SQL。session变量主要为：autocommit，read_only 和 transaction isolation。socketTimeout：执行 SQL 时，socket 等待 SQL 返回的时间。...
在DMS中执行SQL后提示“当前SQL不满足数据库性能安全...
问题描述 当前执行的SQL不满足数据库性能安全需求，请优化SQL并通过执行计划观察、降低性能开销后重试。问题原因 DMS在管理数据过程中会对数据设置访问拦截，该拦截会限制用户当天访问数据库的次数和数据量，若访问超过限制后，将会限制您...
一般SQL优化方法
在SQL语句中可以使用SQL优化，如添加索引、选择合适数据类型、避免使用 SELECT*、使用临时表暂存中间结果等方法，提高查询性能和简化数据库操作。优化能力 控制IN条件或OR条件的条目数量，过多的条目会导致RCA优化时间加长。尽量避免在...
PyMySQL 连接 OceanBase 数据库示例程序
代码如下：import logging import pymysql from config import DB_CONFIG from test_sql import CREATE_TABLE_SQL,INSERT_DATA_SQL,SELECT_DATA_SQL,DROP_TABLE_SQL 设置日志记录的级别和格式，并输出一条 INFO 级别的日志信息，表示开始...
调整实例sql_mode参数
sql_mode是MySQL的一个系统变量，用于设置服务器对SQL语句的解析和执行规则。它可以影响MySQL的行为，包括语法规范、数据校验、数据类型转换和错误处理等。本文介绍sql_mode的参数取值规则和取值解释，您可以根据实际业务进行调整。参数...
数据导入
为了避免执行批量数据导入期间影响数据库性能，建议使用SQL性能较好的语句，如 INSERT，主键索引的 UPDATE 和 DELETE。若批量数据导入脚本中包含了结构变更SQL，即使实例已开启无锁结构变更，该结构变更SQL也只能通过原生方式执行，不会...
逻辑数仓
这种方式避免了繁琐的ETL过程，让数据分析更加敏捷，同时也可以让了解业务数据的人员直接操作、按需分析，消除了业务人员与开发人员之间的沟通成本。关于视图的SQL语法，请参见 逻辑数仓SQL语法介绍。使用限制 查询操作支持的数据源类型...
- 产品推荐
- 这些文档可能帮助您