Query洞察
Query洞察旨在结合 慢Query日志 和表统计信息日志系统表hg_table_info，快速获取当前Query的执行信息，例如Query进程的资源消耗、Query所涉及的表的元数据，以及Query对应的执行计划（plan）。同时可以通过Query洞察快速判断当前Query是否...
Lock Table和Unlock Table
Dataphin中支持使用Lock Table和Unlock table对物理表进行锁定和解锁。例如，Insert语句执行异常后，该表或分区将被锁住无法操作，这时您可以通过unlock table语法解锁表或分区。本文为您介绍Lock Table、Unlock Table及Show Locks语法。...
如何实现不锁表转冷存
本文介绍不锁表转冷存的最佳实践。场景描述 通过 ALTER TABLE tblname SET TABLESPACE oss 转冷存会将表锁住，即转存过程中无法对表进行读写操作，如果表数据量比较大，转存的时间会比较久，长时间锁表可能会影响业务。为了解决这类问题，...
如何实现不锁表转冷存
本文介绍不锁表转冷存的最佳实践。场景描述 通过 ALTER TABLE tblname SET TABLESPACE oss 转冷存会将表锁住，即转存过程中无法对表进行读写操作，如果表数据量比较大，转存的时间会比较久，长时间锁表可能会影响业务。为了解决这类问题，...
开启无锁结构变更
原生无锁优先，失败转DMS执行 优先尝试使用数据库原生OnlineDDL无锁执行，如果DMS检测到原生执行会锁表或失败，则自动转用DMS自研的DDL无锁变更引擎执行，以保障不锁表。执行时间相对比较快，但有可能导致实例的并行复制降为串行复制，从而...
MySQL四种能规避因数据库变更导致锁表问题的功能
概述 MySQL在大数据量的情况下进行结构变更（增加字段、修改字段属性、增加索引、修改索引等），需要考虑锁表的风险，锁表可能导致业务无法正常写入。本文主要介绍四种能较好地规避因数据库变更导致锁表问题的功能。详细信息 功能 优点 ...
无锁结构变更概览
DDL无锁变更能够有效解决结构变更时锁表的问题，较好地规避了因锁表导致业务阻塞的问题、避免了数据库原生Online DDL带来的主备延迟现象。您可在业务低峰期提交无锁变更。背景信息 在数据量大的情况下进行结构变更，需要考虑锁表的风险，锁...
空间回收
不锁表回收空间，只能回收部分空间。频率：对于有较多实时更新的表，每天做一次。如果更新是每天一次批量进行的，可以在每天批量更新后做一次。对系统影响：不会锁表，表可以正常读写。会导致CPU、I/O使用率增加，可能影响查询的性能。什么...
云数据库RDS SQL Server版查看锁信息
免责声明：本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他...说明：sessionid为 锁表的进程。objectname为 被锁的表名。适用于 云数据库RDS SQL Server版
锁以及排查锁
操作/锁范围 表锁 表数据锁 行数据锁 表Schema锁 CREATE 不涉及 DROP 说明 一旦DROP命令获取锁，无法执行其他命令，其他命令会等待锁，直到发现表被删除了，则其他命令失败。说明：不涉及 不涉及 说明 与其他操作都冲突。ALTER 说明 与DROP...
PolarDB MySQL版DDL操作指南
即当修改VARCHAR列的长度从小于256字节扩展到大于256字节的长度时，PolarDB 默认使用Copy DDL，即全程锁表，不支持DML写操作，仅支持读操作。当您不确定自己修改VARCHAR列的范围是否满足上述条件时，可以使用 ALGORITHM=INPLACE 指定采用...
无锁结构变更
DMS为解决结构变更时的锁表问题而推出的无锁结构变更功能，能较好地规避因数据库变更导致锁表以至于阻塞业务的现象、以及数据库原生Online DDL带来的主备延迟现象。前提条件 实例的管控模式为稳定变更或安全协同。更多信息，请参见 管控...
非阻塞DDL
Nonblock DDL规避了执行DDL过程中MDL锁长时间获取不成功导致的连接堆积和阻塞，有效地解决了DDL导致的锁表问题。背景信息 用户在执行DDL操作的时候，若目标表存在未提交的长事务或大查询，DDL将持续等待获取MDL-X锁。在 PolarDB 中由于MDL-...
同步时源库为PostgreSQL的注意事项及限制
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
分区表常见问题
支持 创建和删除分区表时，是否会锁表？PolarDB MySQL版 8.0.2版本支持分区粒度锁，只锁住当前操作的分区，避免了大事务阻塞DDL，从而不影响其他分区的DML操作。具体请参考 在线分区维护。使用 PolarDB MySQL版 分区，会不会导致性能下降？...
pg_locks
pg_locks 视图提供了数据库服务器上活动进程中保持的锁的信息。简介 pg_locks 视图对每一个活动可锁对象、请求锁模式和相关进程的组合都有一行。因此，如果多个进程持有或者正在等待一个可锁对象上的锁，同一个可锁对象可能出现多次。但是...
DML无锁变更概览
此类问题通常可通过分批执行的方法解决，但是仍存在风险，例如：研发写程序分批处理：分批方式不当，例如直接用 LIMIT 进行分批，可能仍会锁表。分批执行的频率没有控制好，会造成主备延迟过大。DBA提取目标数据手动拆分：人工拆分非常繁琐...
pg_locks
pg_locks 视图提供了数据库服务器上活动进程中保持的锁的信息。简介 视图 pg_locks 提供了数据库服务器上活动进程中保持的锁的信息。pg_locks 中对每一个活动可锁对象、请求锁模式和相关进程的组合都有一行。因此，如果多个进程持有或者...
LOCK
在为引用表的命令自动获取锁时，PolarDB总是尽可能使用最不严格的锁模式。提供 LOCK TABLE 是用于想要更严格的锁定的情况。例如，假设一个应用运行一个 READ COMMITTED 隔离级别的事务，并且需要确保一个表中的数据在该事务的期间保持稳定...
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
数据库
重量级锁，也称为锁管理器锁或者简单锁，主要保护 SQL 可见的对象，例如表。不过，它们也被用于确保特定内部操作的互斥，例如关系扩展。wait_event 将标识等待的锁的类型。BufferPin：服务器进程正在等待访问数据缓冲区，而此时没有其他...
数据库
重量级锁，也称为锁管理器锁或者简单锁，主要保护 SQL 可见的对象，例如表。不过，它们也被用于确保特定内部操作的互斥，例如关系扩展。wait_event 将标识等待的锁的类型。BufferPin：服务器进程正在等待访问数据缓冲区，而此时没有其他...
Query管理
说明 be_lock_waiters和be_lock_converting_waiters采集的都是backend的锁，而不是frontend的锁，排查锁请参见 锁以及排查锁。支持 不支持 state 表示连接的状态。常见的状态如下：active：活跃。idle：空闲。idle in transaction：长事务...
参数调优建议
innodb_autoinc_lock_mode 适用版本：8.0、5.7、5.6、5.5 修改完后是否需要重启：是 作用：在MySQL 5.1.22后，InnoDB为了解决自增主键锁表的问题，引入了参数innodb_autoinc_lock_mode，用于控制自增主键的锁机制。该参数可以设置的值为0、...
基于Hadoop集群支持Delta Lake或Hudi存储机制
使用限制 基于Hadoop集群支持Delta Lake或Hudi存储机制湖仓一体方案，使用限制如下：仅华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域支持构建湖仓一体能力。操作流程 本文以阿里云...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
DTS 迁移过程中，是否会锁表，对源数据库是否有影响？
DTS 在进行全量数据迁移和增量数据迁移的过程中，均不会对源端数据库进行锁表，因此在全量数据迁移和增量数据迁移的过程中，迁移源端的数据表均可以正常读写访问。
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
Hive作业异常排查及处理
hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析：在Hive lib目录（$HIVE...
RDS MySQL中表级锁等待的介绍
概述 本文主要介绍在RDS MySQL中表级锁等待的介绍。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议...
作业配置指南
设置为true时将使用标准snappy库解压，否则使用hadoop默认的snappy库解压。访问用户VPC 和 连接用户数据源 相关参数：参数名称 默认值 参数说明 spark.dla.eni.enable false 这个参数为true表示启用打通VPC功能。spark.dla.eni.vswitch.id ...
在文件存储 HDFS 版上使用Presto
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli-xxx-executable.jar。本文使用的Presto版本为0.265.1。背景信息 ...
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
使用说明
不支持 空间索引 不支持（所有与全文索引相关的创建、使用均不支持）事务 事务隔离级别 支持如下2个隔离级别：读已提交（RC）可重复读（RR）单个事务支持的最大数据量 32 MB Savepoint 不支持 XA事务 支持内部XA事务 锁 锁粒度 支持表级别...
什么是OSS-HDFS服务
引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...
RDS MySQL如何管理长时间执行的查询
出现原因 在使用RDS MySQL的过程中，由于某些原因，例如被SQL注入、SQL执行效率较差、DDL语句引起表元数据锁等待等，会出现运行时间很长的查询。说明：元数据锁等待的问题请参考 解决MDL锁导致无法操作数据库的问题。由于SQL执行效率差而...
使用SQL管理外部项目
本文为您介绍如何使用SQL方式对不同场景中已创建的外部项目、及其中的表进行管理，例如查询或更新表数据等操作。背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后，可以使用SQL方式操作External Project，场景如下...
- 产品推荐
- 这些文档可能帮助您