RDS MySQL查看增量数据的方法
SQL洞察并不会解析实际的参数的值，并且在SQL查询量较大的时候会丢失少量的记录。因此通过这种方式来统计准确的增量数据是不精确的。Binlog Binlog会准确记录数据库所有的增删改操作。该日志可以准确的恢复用户的增量数据。RDS的Binlog会先...
RDS for MySQL查看增量数据的方法
SQL洞察并不会解析实际的参数的值，并且在SQL查询量较大的时候会丢失少量的记录。因此通过这种方式来统计准确的增量数据是不精确的。Binlog Binlog会准确记录数据库所有的增删改操作。该日志可以准确的恢复用户的增量数据。RDS的Binlog会先...
查询报错问题
查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时，如果start值限制10000无法获取10000以后的数据，如：LIMIT 1000000,20。分析型数据库MySQL版对分页数量有限制，即查询...
Presto FAQ
大查询功能并不能让您查询任意大小的数据量和任意复杂的SQL，如果big_query还解决了不了您的问题请联系DLA答疑同学。Schema的Catalog类型必须是Hive，否则会出现如下报错：big_query only support hive catalog.如何调整查询RDS类数据源...
2023年
2023-05-26 GetDasSQLLogHotData-查询SQL洞察和审计（新版）的热存储数据明细 RDS MySQL、PolarDB MySQL版、MyBase MySQL、RDS PostgreSQL 查询治理 新增查询治理的API接口。2023-05-26 CreateQueryOptimizeTag-对目标SQL进行打标 ...
查看监控信息
A：查询的返回结果数据量大，导致结果集缓存耗时长，而诊断与优化页面的总耗时=排队耗时+执行计划耗时+执行耗时，不包括结果集缓存耗时。建议您在SQL审计页面查看对应的耗时SQL。相关文档及API 相关文档 调优集群性能 相关API 数仓版A PI ...
SQL洞察
来源统计：选择需要统计SQL来源的时间范围，你可以查看选定时间范围内所有SQL的来源信息。SQL Review：对选定区间与基准区间内的数据库实例进行workload分析，并且对数据库实例中运行的SQL进行深度分析，展示数据库实例的索引优化建议、SQL...
开启SQL独享版
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
搜索
这是因为SQL洞察记录所有数据库行为，会记录大量SQL语句，在线查询选择时间范围过大，会导致长时间没有返回查询结果，甚至查询超时。说明 如果需要查询更大时间范围的SQL记录，请您导出后进行查询。导出功能会异步导出日志，适合大时间范围...
快速使用TPC-DS测试数据集
TPC-DS是一套决策支持系统测试基准，提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。使用DLF数据探索，可以便捷地快速创建TPC-DS数据集，便于用户...
计费常见问题
SQL作业的费用计算方式为 输入数据量×复杂度×单价，因此在复杂度和单价不变情况下，输入数据量越大费用越高。MaxCompute作业跑失败了会收费吗？MaxCompute有两种计费模式：按量计费：如果作业是按照按量计费进行运行的，当运行失败后，...
常见问题
当数据量较大时可能会影响实例性能，因此我们在新版 TSDB（版本号>=2.5.14）之中添加了这个查询语句限制，要求 SQL 查询像 HTTP 查询接口一样，也必须指定查询的起始时间。因此用户需要在 SQL 语句中指定查询起始时间，才可以正确执行查询...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
使用SQL查询数据时报错The sql scanned rows of main ...
当使用SQL查询数据出现扫描到的行数或者数据量超过限制的情况时，您可以根据具体的查询条件创建二级索引或多元索引来优化查询。问题现象 使用SQL查询数据时出现如下报错：[Message]:The sql scanned rows of main table exceeds the quota,...
API概览
GetFullRequestSampleByInstanceId 按照SQL ID查询SQL样本数据 调用GetFullRequestSampleByInstanceId接口，按照SQL ID查询数据库实例SQL洞察结果中的SQL样本数据，最大返回20条样本数据。GetDasSQLLogHotData 查询SQL洞察和审计（新版）的...
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
其它操作
计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。说明 该信息不能作为实际计费标准，仅供参考，实际...
数据库高级特性管理
更新数据库统计信息 由于数据库中的数据量和分布会随着时间的推移而发生变化，您可以定期更新统计信息，以保证查询优化器的准确性和性能。使用场景 当数据库进行大版本升级时，新版本可能会引入新的数据类型、存储引擎或查询优化器等，这...
任务编排
本文介绍如何使用 数据管理DMS 任务编排的单实例SQL节点，将源表中6个月前的数据（历史数据）迁移（归档）至目标表中，并删除源表中已迁移的数据。应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力，满足数据同步、数据归档、...
云数据库OceanBase版的审计事件
DescribeOmaReportPortraitSchema 根据TaskId查询数据量分析列表。DescribeOmaReportPortraitSlowSql 查询慢SQL。DescribeOmaReportPortraitSpecialSql 查询业务特殊SQL统计。DescribeOmaReportPortraitSpecialTable 查询业务特殊表统计。...
JOIN优化和执行
shardCount=8,sql="SELECT*FROM `supplier` AS `supplier`")Hash Join常出现在JOIN数据量较大的复杂查询、且无法通过索引Lookup来改善，这种情况下Hash Join是最优的选择。例如上面的例子中，partsupp表和supplier表均为全表扫描，数据量...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
SQL窗口
SQL窗口适用于做交互式的短查询，不适合用于大数据量的导入导出等离线作业场景，不支持执行超过60分钟的SQL。前提条件 存在已登录实例，请参见 登录实例。新建SQL查询 登录 Hologres管理控制台。在顶部菜单栏左侧，选择相应的地域。单击 ...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
SQL查询计量计费
使用SQL查询过程中，可能消耗读吞吐量的操作如下：数据表：数据扫描与查询 二级索引：数据扫描与查询 多元索引：数据查询与计算 时序表：数据扫描与查询 计费示例 假设表格存储中有一个订单表sample_table，主键为user_id（String类型），...
DescribeSQLPatterns-查询SQL模式列表
5575924945138*User string 提交 Pattern 相关的 SQL 数据库用户名。reporter AccessIp string 提交 Pattern 相关的 SQL 客户端 IP 地址。192.168.xx.xx Tables string SQL Pattern 扫描的列表。tpch.orders PatternCreationTime string ...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
Kyuubi概述
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
SQL Pattern
如果最大峰值内存远大于平均峰值内存，说明当前Pattern的SQL可能存在扫描数据量增加或者执行计划改变的问题，可以单击 查看详情，在 查询详情 页面，查看SQL列表进一步定位原因。平均扫描量 在查询时间范围内，Pattern相关SQL的平均扫描量...
某历史养成类游戏开发公司实时计算和数据仓库方案
4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控、广告推荐、海量数据精细化运营；数据汇总层的数据经过处理后会把结果数据写入到Lindorm SQL中对外提供查询服务。客户价值 毫秒级识别拦截代充订单：...
数据库自治服务的审计事件
GetFullRequestOriginStat 专业版根据访问来源聚合全量SQL数据。GetFullRequestOriginStatByInstanceId 按照访问来源统计全量请求数据。GetFullRequestSample 专业版获取全量请求Sample数据。GetFullRequestSampleByInstanceId 按照SQL ID...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
SQL洞察和审计
您也可以在实例 基本信息 页面的 使用量统计 区域查看SQL洞察和审计的日志大小。在SQL洞察和审计的 搜索（审计）功能中，您可以查询和导出SQL洞察和审计日志的具体信息。关闭SQL洞察和审计 警告 SQL洞察和审计功能关闭后，SQL洞察和审计的...
SQL洞察和审计
您也可以在实例 基本信息 页面的 使用量统计 区域查看SQL洞察和审计的日志大小。在SQL洞察和审计的 搜索（审计）功能中，您可以查询和导出SQL洞察和审计日志的具体信息。关闭SQL洞察和审计 警告 SQL洞察和审计功能关闭后，SQL洞察和审计的...
SQL审计
您可以通过 数据库名、执行时长、选择时间范围、数据库用户、源端IP、执行状态、操作类别、操作类型、语句文本 等条件查询SQL信息。说明 您可以在SQL明细中复制、导出当前页面的SQL信息。相关API API 描述 DescribeSQLLogCount-获取SQL审计...
常见问题
数据迁移后，目标企业版存储数据量的统计可能存在延迟，但该数据延迟并不影响使用目标企业版提供的SQL洞察和审计功能。为什么迁移后存储在 DAS企业版 V3中的数据量比迁移前存储在 DAS企业版 V1 中的数据量少很多？DAS企业版 V3超出最近7天...
SQL审计
在 SQL审计 页面，您可以通过 数据库名、执行时长、选择时间范围、数据库用户、源端IP、执行状态、操作类别、操作类型、语句文本 等条件查询SQL信息。说明 您可以在SQL明细中复制、导出当前页面的SQL信息。相关API API 描述 ...
查询监控图和SQL列表介绍
返回到客户端的数据量不宜过大，数据量过大会导致查询占用前端队列资源，影响其他查询的提交和执行。用户可以根据返回数据大小进行排序，找到返回数据量较大的查询。用户名 客户端建立连接时使用的用户名。在 诊断与优化 页面，单击 连接...
PolarDB MySQL版CPU使用率高
如果 name 列上没有索引，可以通过下述语句添加索引列，消除此类大数据量扫描导致的慢查询。ALTER TABLE table1 ADD KEY ix_name(name);如果 name 列上有索引，可以通过下述语句查看SQL语句的执行计划，确认是否使用了正确的索引。EXPLAIN ...
按照SQL ID异步统计全量请求数据
调用GetFullRequestStatResultByInstanceId接口，按照SQL ID异步统计数据库实例SQL洞察结果中的全量请求数据。接口说明 说明 异步调用后不会立即返回完整结果，当返回数据中 isFinish 取值为 false 时，请等待 1s 后重新发起调用，直到 ...
- 产品推荐
- 这些文档可能帮助您