如何实现不锁表转冷存
本文介绍不锁表转冷存的最佳实践。场景描述 通过 ALTER TABLE tblname SET TABLESPACE oss 转冷存会将表锁住，即转存过程中无法对表进行读写操作，如果表数据量比较大，转存的时间会比较久，长时间锁表可能会影响业务。为了解决这类问题，...
开启无锁结构变更
原生无锁优先，失败转DMS执行 优先尝试使用数据库原生OnlineDDL无锁执行，如果DMS检测到原生执行会锁表或失败，则自动转用DMS自研的DDL无锁变更引擎执行，以保障不锁表。执行时间相对比较快，但有可能导致实例的并行复制降为串行复制，从而...
MySQL四种能规避因数据库变更导致锁表问题的功能
概述 MySQL在大数据量的情况下进行结构变更（增加字段、修改字段属性、增加索引、修改索引等），需要考虑锁表的风险，锁表可能导致业务无法正常写入。本文主要介绍四种能较好地规避因数据库变更导致锁表问题的功能。详细信息 功能 优点 ...
无锁结构变更概览
DDL无锁变更能够有效解决结构变更时锁表的问题，较好地规避了因锁表导致业务阻塞的问题、避免了数据库原生Online DDL带来的主备延迟现象。您可在业务低峰期提交无锁变更。背景信息 在数据量大的情况下进行结构变更，需要考虑锁表的风险，锁...
无锁结构变更
背景信息 为解决变更数据库表结构时的锁表问题，ODC V4.2.0 版本提供了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务。本文档旨在介绍如何通过提交无锁变更工单实现数据库无锁结构变更。ODC 支持的在线结构变更 分类 操作 ...
云数据库RDS SQL Server版查看锁信息
免责声明：本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他...说明：sessionid为 锁表的进程。objectname为 被锁的表名。适用于 云数据库RDS SQL Server版
锁以及排查锁
操作/锁范围 表锁 表数据锁 行数据锁 表Schema锁 CREATE 不涉及 DROP 说明 一旦DROP命令获取锁，无法执行其他命令，其他命令会等待锁，直到发现表被删除了，则其他命令失败。说明：不涉及 不涉及 说明 与其他操作都冲突。ALTER 说明 与DROP...
非阻塞DDL
Nonblock DDL规避了执行DDL过程中MDL锁长时间获取不成功导致的连接堆积和阻塞，有效地解决了DDL导致的锁表问题。背景信息 用户在执行DDL操作的时候，若目标表存在未提交的长事务或大查询，DDL将持续等待获取MDL-X锁。在 PolarDB 中由于MDL-...
无锁结构变更方案对比
锁表变更对业务甚至是致命的，DDL无锁变更通过引入非触发器的方式可以解决大表无锁变更这个难题。本文介绍几种无锁结构变更方案的对比。线上业务不建议直接进行DDL操作，通常有几种做法来避免影响业务：业务低峰期变更：合适的变更窗口以及...
Query洞察
Query洞察旨在结合 慢Query日志 和表统计信息日志系统表hg_table_info，快速获取当前Query的执行信息，例如Query进程的资源消耗、Query所涉及的表的元数据，以及Query对应的执行计划（plan）。同时可以通过Query洞察快速判断当前Query是否...
pg_locks
pg_locks 视图提供了数据库服务器上活动进程中保持的锁的信息。简介 pg_locks 视图对每一个活动可锁对象、请求锁模式和相关进程的组合都有一行。因此，如果多个进程持有或者正在等待一个可锁对象上的锁，同一个可锁对象可能出现多次。但是...
pg_locks
pg_locks 视图提供了数据库服务器上活动进程中保持的锁的信息。简介 视图 pg_locks 提供了数据库服务器上活动进程中保持的锁的信息。pg_locks 中对每一个活动可锁对象、请求锁模式和相关进程的组合都有一行。因此，如果多个进程持有或者...
文档更新动态（2022年之前）
2021年01月19日 华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州）新建元表 通用补数据实例 支持一键终止运行中的补数据实例下所有节点的补数据操作。2021年1月19日 华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州...
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
LOCK
描述 LOCK TABLE 获得一个表级锁，必要时会等待任何冲突锁被释放。如果指定了 NOWAIT，LOCK TABLE 不会等待以获得想要的锁：如果它不能立刻得到，该命令会被中止并且发出一个错误。一旦获取到，该锁会被在当前事务中一直持有（没有 UNLOCK ...
MySQL性能排查解析
整体性能排查思路 资源监控 CPU 内存 IO 网络 连接 磁盘 日志分析 error log slow log general log binlog SQL分析 slow log explain show profile optimizer_trace 锁分析 表锁 行锁 行锁 间隙锁 下一键锁 MDL锁 死锁 MySQL资源性能瓶颈 ...
数据库
重量级锁，也称为锁管理器锁或者简单锁，主要保护 SQL 可见的对象，例如表。不过，它们也被用于确保特定内部操作的互斥，例如关系扩展。wait_event 将标识等待的锁的类型。BufferPin：服务器进程正在等待访问数据缓冲区，而此时没有其他...
数据库
重量级锁，也称为锁管理器锁或者简单锁，主要保护 SQL 可见的对象，例如表。不过，它们也被用于确保特定内部操作的互斥，例如关系扩展。wait_event 将标识等待的锁的类型。BufferPin：服务器进程正在等待访问数据缓冲区，而此时没有其他...
基于Hadoop集群支持Delta Lake或Hudi存储机制
步骤三：基于MaxCompute实时分析Hadoop集群数据 基于已创建的MaxCompute项目以及Hadoop集群表数据，创建External Project，用于Hadoop集群，并映射至已创建的MaxCompute项目。后续可通过映射的MaxCompute项目对External Project进行数据...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
显式锁定
表 2.冲突的锁模式 请求的锁模式 已存在的锁模式 ACCESS SHARE ROW SHARE ROW EXCL.SHARE UPDATE EXCL.SHARE SHARE ROW EXCL.EXCL.ACCESS EXCL.ACCESS SHARE X ROW SHARE X X ROW EXCL.X X X X SHARE UPDATE EXCL.X X X X X SHARE X X X X ...
RDS MySQL中表级锁等待的介绍
概述 本文主要介绍在RDS MySQL中表级锁等待的介绍。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议...
Hive作业异常排查及处理
元数据相关报错 Drop大分区表超时 报错日志：FAILED:Execution ERROR,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.org.apache.thrift.transport.TTransportException:java.net.SocketTimeoutException: Read timeout 原因...
计费项
其中，通用预付费资源包分为两种，具体类型和适用范围请参见下表：通用预付费资源包类型 适用范围 图像通用预付费资源包 人脸人体 人脸核身APP认证、人脸核身服务端、图像人脸融合、人脸美颜、人脸美妆、人物动漫化、人像素描风格化、人脸...
配额
通用配额 下表列举了共享带宽的所有通用配额。配额名称 描述 默认值 是否支持调整 cbwp_quota_eip_num 每个共享带宽实例可加入的EIP的数量 100个 是 API速率配额 下表列举了共享带宽的API速率配额。API名称 API版本 默认值 描述 是否支持...
配额
通用配额 下表列举了私网连接的通用配额。说明 本文列举的配额默认值仅供参考，实际配额默认值请以控制台为准。配额名称 描述 默认值 是否支持调整 pvl_quota_epsrv_resource_per_service 单个终端节点服务可添加的服务资源的数量 500个 是...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端...
配额
通用配额 下表列举了 EIP 的通用配额。配额名称 描述 默认值 是否支持调整 eip_quota_instances_num 每个账号可保有的EIP数量 20个 是 API速率配额 下表列举了 EIP 的API速率配额。API名称 API版本 默认值 描述 是否支持调整 ...
Hudi
WITH参数 基础参数 通用 参数 说明 数据类型 是否必填 默认值 备注 connector 表类型。String 是 无 固定值为hudi。path 表存储路径。String 是 无 支持阿里云OSS、HDFS和OSS-HDFS和三种路径。OSS：路径格式为 oss:/<bucket>/。HDFS：路径...
使用SQL管理外部项目
基于数据湖构建DLF和对象存储OSS的外部项目操作 基于Hadoop外部数据源的外部项目操作 创建与外部数据源中表结构相同的表 基于数据湖构建DLF和对象存储OSS的外部项目操作 在创建External Project后，您可以通过 MaxCompute客户端 进入创建的...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
上下游存储
含有MaxCompute结果表的作业运行过程中报错Invalid partition spec 含有MaxCompute结果表的作业运行过程中报错No more available blockId Print结果表 如何在控制台查看print数据结果？Tablestore维表 维表进行JOIN时，如果查询不到数据，...
新功能发布记录
2023-02-14 全部 NAS监控概述 查看NAS容量监控 配置基础报警规则 历史年份 表 1.2022年 功能名称 功能概述 发布时间 发布地域 相关文档 通用型NAS容量监控 通用型NAS支持容量监控，通过云监控服务可实时监控文件系统实例的存储概况，包括...
如何选择通用规格和独享规格
PolarDB MySQL版 的 集群版 和 多主集群（库表）的计算节点规格包含两种规格类型：通用规格 和 独享规格。本文为您介绍这两种规格类型的区别，帮助您决策如何选择。通用规格与独享规格对比 规格类型 特点 适用场景 独享规格 每个 独享规格 ...
ODPS-0121096
如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire exclusive lock（作业尝试加锁超时时间大约半分钟，超过则报错，加锁粒度为表级）。...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
- 产品推荐
- 这些文档可能帮助您