使用SQL管理外部项目
基于数据湖构建DLF和对象存储OSS的外部项目操作 基于Hadoop外部数据源的外部项目操作 创建与外部数据源中表结构相同的表 基于数据湖构建DLF和对象存储OSS的外部项目操作 在创建External Project后，您可以通过 MaxCompute客户端 进入创建的...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
ODPS-0121096
如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire exclusive lock（作业尝试加锁超时时间大约半分钟，超过则报错，加锁粒度为表级）。...
上下游存储
含有MaxCompute结果表的作业运行过程中报错Invalid partition spec 含有MaxCompute结果表的作业运行过程中报错No more available blockId Print结果表 如何在控制台查看print数据结果？Tablestore维表 维表进行JOIN时，如果查询不到数据，...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
应用级别的数据完整性检查
在可重复读事务里获取的锁保证了不会有其它修改该表的事务正在运行，但是如果事务看到的快照在获取锁之前，那么它可能早于表中一些现在已经提交的更改。一个可重复读事务的快照实际上是在它的第一个查询或者数据修改命令（SELECT、INSERT、...
避免等锁
查看指定表上当前锁持有情况和对应持有锁的SQL 命令如下：select*from gp_toolkit.gp_locks_on_relation where lorrelname='<table>';如果需要结束查询来释放锁，可以通过 select pg_terminate_backend(lorpid)来结束，示例如下。
2023年
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
执行DDL操作提示“获取不到MDL锁”
force_node='pi-bp10k7631d6k3*'*/SELECT*FROM information_schema.innodb_trx\G 大查询导致的DDL执行失败显示结果如下：从上图可以看到，当前表 t1 上面存在一个大查询，说明当前的连接持有了表 t1 的MDL锁。此时，使用Hint语法指定只读...
DML操作常见问题
如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire exclusive lock（作业尝试加锁超时时间大约半分钟，超过则报错，加锁粒度为表级）。...
解决MDL锁导致无法操作数据库的问题
异常情况下的元数据锁MDL（metadata lock）会阻塞后续对表的操作，本文介绍通过DMS工具解决该问题。背景信息 MySQL 5.5版本开始，引入了MDL锁，用于解决或者保证DDL操作与DML操作之间的一致性，但是在部分场景下会出现阻塞，例如执行DML...
作业上线问题
130)at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:107)at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)at com.sun.proxy.$Proxy...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
配置MoveTo工具在HDFS下的锁目录 在Hadoop配置文件 core-site.xml 或 hdfs-site.xml（任选一个即可，在$HADOOP_CONF_DIR 目录下）新增配置项 jindotable.moveto.tablelock.base.dir。该配置的值应指向一个HDFS目录，目的是存放MoveTo工具在...
MySQL深潜-MDL锁的实现与获取机制
这是一种逻辑意义上的锁，与操作系统内核提供的有限种类mutex不同，MDL可以灵活自定义锁的对象、锁的类型以及不同锁类型的优先级，甚至可以做到在系统不同状态时动态调整不同锁类型的兼容性，极大的方便了数据库对各种查询请求进行合理的...
HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
监控大盘
table_lock_escalations_per_sec 表上的锁升级到TABLE或HoBT粒度的次数。average_lock_wait_time 请求锁资源的平均等待时间。total_latch_wait_time 锁在最后一秒内的总等待时间。说明 监控指标含义也可以在控制台的监控大盘中单击每个指标...
ALTER TABLE
请注意，除了声明约束的表上的锁之外，ADD FOREIGN KEY 还获得了对引用表的 SHARE ROW EXCLUSIVE 锁。当唯一或者主键约束被添加到分区表时，会有额外的限制，请参考 CREATE TABLE。此外，当前分区表上的外键约束不能被声明为 NOT VALID。...
YARN高可用特性使用指南
如果Active RM进程或其所在节点存在问题，Standby RM能够基于Zookeeper的分布式锁机制选举出1个Active RM，新的Active RM将从Zookeeper存储中恢复出全部应用的信息与状态，继续提供资源管理与调度服务，从而避免单点故障。RM HA相关的重要...
UDF开发（Java）
读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。注意事项 在编写Java UDF前，您需要先...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
EMR自带服务 EMR自带服务中运行的作业均可以自动基于MetaSerivce服务免明文AccessKey访问阿里云资源（OSS、LogService和MNS）以下是使用MetaService（新）和不使用MetaService（旧）的对比示例：通过Hadoop命令行查看OSS数据 旧方式 hadoop...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
功能发布记录
优化无主键表写入能力，无主键表批量写入不产生表锁，改为行锁，可以与Fixed Plan同时进行，详情见 锁以及排查锁。Proxima向量计算支持先建表并导入向量数据、再创建向量索引，缩短索引创建时间，简化向量计算使用，详情见 Proxima向量计算...
添加数据源
各挂载参数说明如下表所示。参数 描述 vers 文件系统版本。vers=3：使用NFS v3协议挂载文件系统。vers=4：使用NFS v4协议挂载文件系统。vers=4.0：使用NFS v4.0协议挂载文件系统。nolock 是否启用文件锁。proto 文件系统挂载协议。rsize ...
FE参数配置
enable_odbc_table 默认值：false 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：是否启用ODBC表，默认不启用，在使用的时候需要手动配置启用，该参数可以通过：ADMIN SET FRONTEND CONFIG("key"="value")方式进行...
元数据仓库共享模型（Hadoop）
本文为您介绍Hadoop计算引擎下提供的元数据共享模型详情。概述 为了支持更灵活的数据分析及二次开发，需要使用Dataphin的元数据信息。Dataphin以元数据共享模型的方式将系统元数据对外开放。元数据共享模型的使用方式请参见 元数据仓库共享...
参数配置
bdbje_lock_timeout_second 1 BDBJE锁超时的间隔，单位为s。max_bdbje_clock_delta_ms 5000 Master与Non-master最大容忍的时钟偏移，单位为ms。txn_rollback_limit 100 事务回滚的上限。bdbje_replica_ack_timeout_second 10 BDBJE Master...
参数配置
本文介绍了Serverless StarRocks FE和BE的参数配置。根据参数的生效方式，它们被划分为静态参数和动态参数两类。静态参数在修改后需要重新启动服务才能生效，而动态参数...bdbje_lock_timeout_second 1 BDBJE锁超时的间隔，单位为s。max_bdbje...
概述
ADD/DROP PARTITION支持分区粒度的MDL锁 在线分区维护 EXCHANGE PARTITION支持分区粒度的MDL锁 REBULD/REORGANIZE PARTITION支持分区粒度的MDL锁 二级分区支持子分区粒度的MDL锁 DDL功能 普通表与分区表的ONLINE DDL 普通表转分区表ONLINE ...
SHOW METADATA LOCK
列名说明 列名 说明 CONN_ID 持有锁的连接ID TRX_ID 持有锁的事务ID TRACE_ID 持有锁的SQL的跟踪ID SCHEMA 库名 TABLE 表名 TYPE 持有锁类型 DURATION 持有锁的周期 VALIDATE 是否有效 FRONTEND 前端连接信息 SQL 持有锁的SQL语句
SHOW METADATA LOCK
列名说明 列名 说明 CONN_ID 持有锁的连接ID TRX_ID 持有锁的事务ID TRACE_ID 持有锁的SQL的跟踪 ID SCHEMA 库名 TABLE 表名 TYPE 持有锁类型 DURATION 持有锁的周期 VALIDATE 是否有效 FRONTEND 前端连接信息 SQL 持有锁的SQL语句
清理表空间（pg_repack）
RDS PostgreSQL支持通过插件pg_repack在线清理表空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。前提条件 请确保实例大版本满足要求，本插件具体支持的实例大版本...
5.6/5.7/8.0版功能对比
并行元数据锁同步 ✔️ 防止只读节点上长事务阻塞DDL操作 ✔️ DDL易用性优化 功能 集群版 查看DDL执行状态和MDL锁状态 ❌ 分区表 功能 集群版 修改分区表 ✔️ INTERVAL RANGE分区 ❌ 部分索引（Partial Index）❌ 全局二级索引（GSI）❌ ...
附加/分离分区
例如：假设分区表A引用了分区B作为外键，若从分区表B中分离一个分区B_p1，则会对分区表A加上共享锁。上述语法中还可以指定 CONCURRENTLY 或 FINALIZE：如果指定 CONCURRENTLY，则会在低级别锁定上运行，以避免阻塞可能正在访问分区表的其他...
附加/分离分区
例如：假设分区表A引用了分区B作为外键，若从分区表B中分离一个分区B_p1，则会对分区表A加上共享锁。上述语法中还可以指定 CONCURRENTLY 或 FINALIZE：如果指定 CONCURRENTLY，则会在低级别锁定上运行，以避免阻塞可能正在访问分区表的其他...
附加/分离分区
例如：假设分区表A引用了分区B作为外键，若从分区表B中分离一个分区B_p1，则会对分区表A加上共享锁。上述语法中还可以指定 CONCURRENTLY 或 FINALIZE：如果指定 CONCURRENTLY，则会在低级别锁定上运行，以避免阻塞可能正在访问分区表的其他...
pg_repack
PolarDB PostgreSQL版（兼容Oracle）支持通过pg_repack插件对表空间进行重新“包装”，回收碎片空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。注意事项 pg_repack...
pg_repack
其余步骤pg_repack只需要持有原表的ACCESS SHARE锁，不阻塞对原表的 INSERT、UPDATE 和 DELETE 操作，但会阻塞 DDL 操作。pg_repack需要额外的存储空间来保存新表和日志表，因此剩余存储空间大小需要至少是被repack表大小的两倍。对带有...
Broker Load
Broker Load支持一次导入任务涉及多张表，每个Broker Load导入任务可通过多个data_desc声明多张表来实现多表导入。每个单独的data_desc可以指定属于该表的数据源地址，可以用多个file_path来指定导入同一个表的多个文件。Broker Load保证了...
- 产品推荐
- 这些文档可能帮助您