HBase SQL(Phoenix)与Spark的选择

延迟 延迟在ms级别,一些命中较数据的SQL会到秒。一般延迟在300 ms以上,大部分SQL需要秒,分钟,甚至小时。更新 Phoenix支持。Spark不支持。支持业务 在线业务。离线业务或者准在线业务。简单查询、高并发、低延迟、在线业务 选择...

UDT概述

MaxCompute基于新一代的SQL引擎推出新功能UDT(User Defined Type)。MaxCompute的UDT功能允许您在SQL中直接调用第三方语言的类使用其方法,或直接使用第三方对象获取其数据内容。UDT介绍 很多SQL引擎中UDT与MaxCompute的复杂类型STRUCT...

数据库优化

常见问题如下:慢SQL堆积问题,如果有很多扫描数太多的SQL,容易导致活跃连接数升高,可以使用SQL限流功能或结束会话,降低慢SQL的影响;表缓存(Table Cache)不足时,会导致大量SQL处于Opening table状态,在QPS过高或者表很多的场景中...

RDS术语

慢SQL 执行时间的SQL语句。更信息,请参见 慢日志分析。O OSS Object Storage Service,对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。更信息,请参见 什么是对象存储OSS。OpenAPI Open Application ...

调优集群性能

您可以通过 一键诊断 功能来定位存在问题的查询:Bad SQL检测结果中,高耗时的SQL数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL,都可能导致集群的CPU使用率增高,需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...

自然语言到SQL语言转义(基于大语言模型的NL2SQL

LLM-based NL2SQL在语言理解方面强大,生成的SQL语句中能支持更的函数,如日期加减等。LLM-based NL2SQL甚至能够理解一些简单的映射关系,如 有效->isValid=1 等。经过适当调整后还能理解用户的一些常用SQL搭配,如条件中默认选用 ...

SQL调优

本文为您介绍常见的SQL问题以及优化示例。并行度优化 并行度是衡量并行计算并行程度的一个指标,从执行计划上来看,例如ID为M1的任务,使用1000个Instance来执行,我们就说M1的并行度是 1000。需要注意的是:调整并行度不一定是越越好,...

多行数据合并为一数据

本文为您介绍,如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1:将 class 相同的 name 合并为一,并对 name 去重。去重操作可通过嵌套子...

PostgreSQL数据

PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...

SQL查询

SQL示例 使用时序表的值模型映射表查询数据的SQL示例如下:查询某台车辆一段时间内的位置坐标 select gps from `vehicles_timeseriesdata:multi_model` where_m_name='vehiclesSeriesData' and_data_source='vin_id_1488' and_time>...

适用场景

但从数据库自身角度出发,业务使用的SQL语句、数据类型、事务、索引、其他功能均是确定的。对于大部分业务而言,只要SQL语法、数据类型、事务、索引支持较为完整,且具备有效手段可在各种极端场景下进行水平扩展,那么对于高速发展的业务而...

选择连接工具

安全管理员:MaxCompute项目右侧的 项目权限管理 提供了角色权限管理功能,但是正在试用过程中,很多场景需要通过命令进行权限管理。安全管理员可通过SQL分析快速执行大部分安全命令操作。使用云命令(odpscmd)连接 否 MaxCompute的云...

通过自治服务解决MySQL实例CPU使用率过高的问题

每条SQL语句都有很多扫描数但返回数都为0,说明系统产生了大量的逻辑读和物理读。产生物理读是因为内存大小有限,不可能缓存所有数据,当有大量数据请求时必然会产生大量物理I/O请求。大量的逻辑读会占用大量的CPU资源,导致CPU使用率...

TOP SQL

数据库自治服务DAS 为 RDS SQL Server 提供实时TOP SQL和历史TOP SQL查询功能,查看SQL语句级别的性能开销。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中,单击 实例监控。找到目标实例,...

DQL操作常见问题

此处增加 limit 10 是考虑到如果table2中的数据条数很多,会刷屏。如果只是确认问题,验证前几条数据即可。select id,count()as cnt from table2 group by id having cnt>1 limit 10;如果是在重复的情况下不希望执行笛卡尔积,希望有类似...

API概览

SQL洞察 API 标题 API概述 GetErrorRequestSample 查询执行错误的SQL样本数据 调用GetErrorRequestSample接口,异步查询数据库实例SQL洞察结果中执行错误的SQL样本数据,最返回指定时间范围内20条数据。GetAsyncErrorRequestStatResult ...

查看性能评估报告

目标端 SQL ID:OceanBase 数据库计算出来 SQL ID。回放总数 该类 SQL 总共回放的次数。SQL 类型 包括 SELECT、INSERT、UPDATE 和 DELETE。耗时 90 分位数 耗时单位为毫秒,仅保留三位小数。假设该类 SQL 执行了 n 次,回放时间分别为[x_...

执行在线评估

SQL 评估 采集源端 Oracle 数据库近一个小时的 v$sqlarea 视图中 SQL 语句,并对其进行兼容性评估,查找需要修改 SQL 语句。重要 选择 评估模式 为 MySQL>>OceanBase MySQL Mode 时,不支持 SQL 评估。采集 SQL 语句 自定义采集数据的 ...

配置SQL赋值节点

连接符 如果您选择了所有或所有列,您需要输入一个连接符来拼接多个值,拼接起来的字符串会赋值给该变量。说明 不能同时选中所有和所有列。输出变量的类型为字符串。在SQL区域,使用当前节点所选择的数据库的语法,编写SQL语句。说明 ...

开启SQL独享版

当您使用SQL分析时,如果数据量较大,SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志,返回的结果可能不包括所有匹配的数据,增加Shard可以提升读写能力,但只对新写入的数据生效。您可以通过开启SQL独享版,增加计算资源,提升...

测试工具

HammerDB目前支持的数据库种类很多,主流的数据库都已经覆盖,例如Oracle、SQL Server、DB2、TimesTen、MySQL、MariaDB、PostgreSQL、Greenplum、Postgres Plus Advanced Server、Redis和Trafodion SQL on Hadoop。HammerDB包含一个内嵌的...

大量数据导出方案

数据同步节点和ODPS SQL节点连线配置成依赖关系,ODPS SQL节点作为数据的产出节点,数据同步节点作为数据的导出节点。工作流调度配置完成后(可以直接使用默认配置),单击 运行。数据同步的运行日志,如下所示。2016-12-17 23:43:46.394...

API概览

GetDataImportSQL 获取数据导入的SQL 获取数据导入的SQL。SkipDataCorrectRowCheck 跳过数据变更预检查数校验 跳过数据变更预检查数校验。CreateProcCorrectOrder 创建可编程对象变更工单 创建可编程对象变更工单。结构设计 结构设计 ...

SQL概述

通过SQL查询功能,您可以对表格存储中的数据进行复杂的查询和高效的分析,为多数据引擎提供统一的访问接口。背景信息 表格存储(Tablestore)是阿里云自研的模型结构化数据存储,提供海量结构化数据存储以及快速的查询和分析服务。表格...

使用流程

6 数据操作 根据需要进行数据操作,您可以插入一行数据、更新一行数据、读取一行数据、删除一行数据、导入数据或者导出数据。更信息,请参见 数据操作。7 使用SQL查询数据 重要 只有支持SQL查询的地域才能使用该功能。SQL查询支持的地域...

错误码

很多跨库查询(例如聚合统计类查询,未带分库条件的查询)同时执行,占用大量连接。解决方法建议如下:尽量使用框架访问数据库,如Spring JDBC、MyBatis等;按性能分析报告与DBA建议优化业务SQL语句;使用 PolarDB-X 读写分离将跨库查询...

RDS MySQL慢SQL问题

在相同业务场景下,架构设计和库表索引设计会影响查询性能,良好的设计可以提高查询性能,反之会出现很多慢SQL(执行时间的SQL语句)。本文介绍导致慢SQL的原因和解决方案。SQL异常 原因及现象 SQL异常的原因很多,例如库表结构设计不...

列存索引技术架构介绍

基于副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议,这些分布式数据库产品大部分采用了分布式Share Nothing方案,其一个核心特点是使用分布式一致性协议来保障单个partition副本之间的数据一致性...

使用SQL查询时序数据

时序表的SQL映射关系 根据每个时间线每个时刻对应一个值或者个值,时序模型分为“单值模型”和“值模型”。对于同一个时序表,您可以建立三种SQL映射关系用于数据查询,详细说明请参见下表。映射关系类型 描述 创建方式 在SQL中的表名 ...

DML无锁变更概览

DML无锁数据变更可以将单个SQL拆分成个批次执行,能更好地满足业务方对大量数据变更的需求,例如历史数据清理、全表更新字段等,保证执行效率,减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时,需要定期清除表...

SQL洞察

说明 单次最可导出1000万行数据。对比查看:选择需要对比SQL洞察结果的时间点,您可以查看所有SQL 执行耗时分布、执行耗时、执行次数 的对比结果。您还可以在 请求对比列表 区域内查看详细的对比结果。来源统计:选择需要统计SQL来源的...

SQL请求行为识别

SQL请求行为识别 是数据库自治服务DAS的一个功能,它可以帮助您在业务量的情况下识别异常请求的SQL,提高问题定位的效率。本文将为您介绍 SQL请求行为识别 的使用场景及设置方法。前提条件 实例版本为:RDS MySQL 5.6、5.7、8.0 MyBase ...

查询治理

LARGE_ROWS_EXAMINED 扫描行多 提示 ➖ 平均扫描超过50000,扫描数越大,越消耗数据库资源,不仅本身的SQL慢,还可能影响其他SQL执行。说明 请考虑增加更好的SQL过滤条件。LARGE_ROWS_SENT 返回行多 提示 ➖ 平均返回超过5000,一次...

查询治理

LARGE_ROWS_EXAMINED 扫描行多 提示 ➖ 平均扫描超过50000,扫描数越大,越消耗数据库资源,不仅本身的SQL慢,还可能影响其他SQL执行。说明 请考虑增加更好的SQL过滤条件。LARGE_ROWS_SENT 返回行多 提示 ➖ 平均返回超过5000,一次...

查询治理

LARGE_ROWS_EXAMINED 扫描行多 提示 ➖ 平均扫描超过50000,扫描数越大,越消耗数据库资源,不仅本身的SQL慢,还可能影响其他SQL执行。说明 请考虑增加更好的SQL过滤条件。LARGE_ROWS_SENT 返回行多 提示 ➖ 平均返回超过5000,一次...

查询治理

LARGE_ROWS_EXAMINED 扫描行多 提示 ➖ 平均扫描超过50000,扫描数越大,越消耗数据库资源,不仅本身的SQL慢,还可能影响其他SQL执行。说明 请考虑增加更好的SQL过滤条件。LARGE_ROWS_SENT 返回行多 提示 ➖ 平均返回超过5000,一次...

RDS MySQL活跃线程数高问题

如果有很多扫描数太多的SQL,容易导致活跃连接数升高。您可以在控制台的 自治服务>慢SQL 页面,查看慢SQL的相关信息。解决方案 使用 SQL限流 功能或结束会话,降低慢SQL的影响。排查表缓存(Table Cache)问题 现象 Table Cache不足时,...

查询治理

LARGE_ROWS_EXAMINED 扫描行多 提示 ➖ 平均扫描超过50000,扫描数越大,越消耗数据库资源,不仅本身的SQL慢,还可能影响其他SQL执行。说明 请考虑增加更好的SQL过滤条件。LARGE_ROWS_SENT 返回行多 提示 ➖ 平均返回超过5000,一次...

查询治理

LARGE_ROWS_EXAMINED 扫描行多 提示 ➖ 平均扫描超过50000,扫描数越大,越消耗数据库资源,不仅本身的SQL慢,还可能影响其他SQL执行。说明 请考虑增加更好的SQL过滤条件。LARGE_ROWS_SENT 返回行多 提示 ➖ 平均返回超过5000,一次...

自动SQL限流

使用ID的优点是容易保证模板唯一,不会对其它模板的SQL造成影响,缺点是同样的SQL如果不带ID信息(比如通过命令手动执行),仍然可以执行,不受限流并发度控制。如果不包含模板ID信息,那就需要提取文本信息,在分析过程中通过计算获得...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 云数据库 Redis 版 数据库备份 DBS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用