SHOW METADATA LOCK
列名说明 列名 说明 CONN_ID 持有锁的连接ID TRX_ID 持有锁的事务ID TRACE_ID 持有锁的SQL的跟踪 ID SCHEMA 库名 TABLE 表名 TYPE 持有锁类型 DURATION 持有锁的周期 VALIDATE 是否有效 FRONTEND 前端连接信息 SQL 持有锁的SQL语句
接口说明
通用-哈萨克语 16k 支持 不支持 不支持 不支持 不支持 韩语 通用-韩语 16k 支持 支持 不支持 不支持 不支持 泰语 通用-泰语 16k 不支持 不支持 不支持 不支持 不支持 通用-泰语客服通用 8k 不支持 不支持 不支持 不支持 不支持 印尼语 通用...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
作业配置说明
如果为OSS路径，您需要配置对应的配置项，包括：spark.hadoop.fs.oss.endpoint、spark.hadoop.fs.oss.accessKeyId、spark.hadoop.fs.oss.accessKeySecretspark.hadoop.fs.oss.impl。重要 通过JDBC方式连接计算引擎时，JAR包仅支持上传至...
PolarDB死锁
本文主要介绍了利用DAS的锁分析功能与SQL洞察功能进行死锁定位的方法。背景信息 死锁是关系型数据库系统中最为常见的错误，出现在不同事务中同时对某些数据访问加锁时，都要等待对方请求中的数据而无法获取锁。数据库系统会自动牺牲回滚...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
IO加速
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通过整库迁移配置集成任务
同步时将自动生成目标库表的后缀，如：表名后缀填写_prod，表名为 dataphin，则生成的目标库表名为 pre_dataphin_prod。字段名称规则：单击 新增规则，在规则项中填写 来源字段替换字符串 和 目标字段替换字符串。如：需将字段名 datawork ...
Hudi连接器
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
统计图表（Pro版本）属性
表格（Pro版本）线图（Pro版本）流图（Pro版本）柱状图（Pro版本）统计图（Pro版本）计量图（Pro版本）饼图（Pro版本）雷达图 拓扑图 交叉表 散点图 直方图 通用配置用于对图表进行全局配置。基本配置 参数 说明 标题 设置图表的标题。显示...
什么是通用云盘
本文为您介绍通用云盘的概念、性能及性能上限、适用场景、计费说明、相关操作等，为您选择通用云盘提供参考信息。简介 阿里云RDS通用云盘是云数据库RDS支持的一种新存储类型。在兼容ESSD云盘所有特性的基础上，通用云盘支持IO突发功能，为...
Kudu连接器
背景信息 本文为您介绍Kudu连接器相关的内容和操作，具体如下：修改Kudu连接器配置 数据查询 数据类型映射 支持的Presto SQL语法 创建表 增加列 前提条件 已创建Presto集群和Hadoop集群，且Hadoop集群选择了Kudu服务，详情请参见 创建集群...
Spark批式读写Iceberg
本文以Spark 3.x操作Iceberg表为例，介绍如何通过Spark DataFrame API以批处理的方式读写Iceberg表。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop集群。操作...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
环境准备
使用Hive/HadoopMR来访问表格存储中的表前，您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
如何兼容Hbase 1.0以前的版本
TableName 类 在HBase 1.0.0 之前的版本中，创建表时可以使用 String 类型的表名，但是 HBase 1.0.0 之后需要使用类 org.apache.hadoop.hbase.TableName。最新的代码如下所示：String tableName="MyTable;or byte[]tableName=Bytes.toBytes...
项目
外部项目无法被独立创建和使用，需要配合数据湖集成，用以实现访问和管理Hadoop集群Hive数据库中的表数据，或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限，需要关联到MaxCompute项目，通过...
使用OSS-HDFS作为HBase的底层存储
TABLE bar 1 row(s)Took 0.0138 seconds 退出HBase Shell后，执行以下命令验证表数据。命令格式如下。hadoop fs-ls oss:/${OSS-HDFS服务的域名}/{dir} 例如，执行以下命令。hadoop fs-ls oss:/test_bucket....
兼容版本SDK概述
MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性的详细列表，如下表所示。类型 接口 是否兼容 Mapper void map(KEYIN key,VALUEIN value,org.apache.hadoop.mapreduce.Mapper.Context context)是 Mapper void run(org.apache....
GetPartitions
调用GetPartitions获取表的所有分区信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
GetPartition
InputFormat String org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat 表的InputFormat。Location String oss:/data/xxx 表的路径。OutputFormat String org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat ...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
Dataphin逻辑表的生命周期和计算引擎的关系
概述 Dataphin逻辑表的生命周期和计算引擎的关系。详细信息 如果计算引擎是MaxCompute就会逻辑表生命周期会生效，如果是Hadoop就不会生效。适用于 Dataphin
EMR-3.25.x版本说明
Impala 修复Impala无法访问lzo表的问题。HDFS 移除mongo-hadoop的相关JAR包。Zookeeper 升级至3.5.6版本。YARN 适配tez-ui，yarn-site 页签支持添加配置项 yarn.resourcemanager.system-metrics-publisher.enabled=true。Bigboot 升级至2.2...
GetTable
调用GetTable获取给定表的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetTable ...
CreateTable
调用CreateTable创建OSS的表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateTable ...
AddPartitions
InputFormat String 是 org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat 表的InputFormat。Location String 否 oss:/data/xxxx 表的路径。OutputFormat String 是 org.apache.hadoop.hive.ql.io.parquet....
常见问题
解决方法：您需要在执行查询Hudi表的命令时，添加上 set hive.input.format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat。Spark查询Hudi表分区裁剪不生效？问题原因：可能是在分区字段包含/（正斜线）的情况下，分区字段...
Spark常见问题
使用AccessKey鉴权，配置示例如下：val conf=new SparkConf().setAppName("jindo-sdk-demo")#配置access-key鉴权参数.set("spark.hadoop.fs.oss.accessKeyId",").set("spark.hadoop.fs.oss.accessKeySecret","<YourAccessKeySecret>")使用...
访问OSS-HDFS数据源
具体操作，请参见 通过Hadoop Shell命令访问。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群列表，在 湖仓版（3.0）页签，单击目标集群ID。在左侧导航栏，单击 作业开发>Spark Jar 开发...
配置连接器
连接器名称 配置文件 hive-hadoop2 hive.properties kudu kudu.properties mysql mysql.properties iceberg iceberg.properties hudi hudi.properties delta delta.properties jmx jmx.properties 示例：修改Hive连接器 在EMR控制台的...
访问MaxCompute数据源
建表时只写表名。输入以下语句，单击 执行SQL（F8），并在弹窗中，单击 继续执行。向表中写入数据。INSERT INTO odps.spark_on_maxcompute.spark_test values(1,'aaa',101),(2,'bbb',102);输入以下语句，单击 执行SQL（F8），并在弹窗中，...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
CREATE CATALOG hive_catalog WITH('type'='hive','default-database'='flink_dlf_hive','hive-version'='2.3.6','hive-conf-dir'='/root/test','hadoop-conf-dir'='/etc/taihao-apps/hadoop-conf/');涉及参数如下表。参数 描述 type 固定...
- 产品推荐
- 这些文档可能帮助您