管理存储过程
储存过程运行结果页面 存储过程执行完毕后，可查看 运行结果 和 DBMS 输出 信息。功能 说明 运行结果 在运行结果页签中，可查看存储过程运行状态、参数、类型、值、返回类型和返回值。DBMS 输出 在 DBMS 输出页签中，可查看存储过程 DBMS ...
存储过程
您在使用存储过程时，可以指定存储过程的名字并使用参数（parameters），并在合适的时候调用存储过程实现相同或者不同的业务。本文将介绍存储过程的使用方法。背景信息 AnalyticDB PostgreSQL 6.0版 中，函数（Function）虽然可以实现大...
创建存储过程
如果指定 AUTHID CURRENT_USER，则将使用执行存储过程的当前用户的权限来确定访问特权。PARALLEL { UNSAFE|RESTRICTED|SAFE } 通过 PARALLEL 子句可以使用并行顺序扫描（并行模式）。在查询期间，相比串行顺序扫描，并行顺序扫描使用多个...
新建存储过程
调用存储过程时将参数的值传入存储过程供执行存储过程时使用。IN 类型参数一般只用于传入，在调用存储过程中一般不作修改和返回。OUT 输出参数。调用存储过程时，存储过程会忽略输出参数本身的值并传入一个空值，执行结束后，输出参数会被...
CREATE PROCEDURE
如果指定 AUTHID CURRENT_USER，则将使用执行存储过程的当前用户的权限来确定访问特权。PARALLEL { UNSAFE|RESTRICTED|SAFE } 通过 PARALLEL 子句可以使用并行顺序扫描（并行模式）。在查询期间，相比串行顺序扫描，并行顺序扫描使用多个...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
查询Delta表数据
在E-MapReduce中通过Spark创建的Delta表将自动同步到Hive元数据，您可以像使用其他表一样查询Delta表。您还可以通过使用Hive创建外表的方式来查询Delta表。本文为您介绍如何通过Spark创建表和Hive创建外表的方式，在Hive、Presto和Trino中...
开通并配置OSS存储分析
EMR Doctor支持分析OSS上的数据，开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态，让您更好地治理存储在OSS上的数据。背景信息 OSS提供了存储清单功能，配置该功能后会定期为Bucket生成清单文件，清单文件中保存...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
EMR Serverless Spark与其他VPC间网络互通
hive 执行以下命令，创建表。CREATE TABLE my_table(id INT,name STRING);执行以下命令，向表中插入数据。INSERT INTO my_table VALUES(1,'John');INSERT INTO my_table VALUES(2,'Jane');执行以下命令，查询数据。SELECT*FROM my_table;...
HIVECLI
HIVECLI任务类型用于执行SQL脚本语句或者SQL任务文件。本文为您介绍创建HIVECLI类型任务时涉及的参数，并提供了HIVECLI任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：...
使用Kerberos认证
登录您需要运行Hive Client的机器，执行以下命令，创建并切换至test用户。useradd test su test 执行以下命令，创建TGT。kinit 回车后输入test用户的密码，本文示例密码为123456。访问Hive Client。方式一：直接使用 hive 命令访问Hive ...
创建CDH Hive节点
如果您已部署CDH集群并希望借助DataWorks执行Hive任务（例如，数据查询作业或处理批量数据），可以使用CDH Hive节点。本文为您介绍如何创建CDH Hive节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于...
Dataphin提交至hive中的任务执行时间过长
问题描述 Dataphin提交至hive中的任务执行时间过长。具体情况如下：Dataphin日志显示2023-04-23 13:47:02.509 至 2023-04-23 13:51:34.297这4分32秒任务是在hive中执行；查看yarn日志，hive执行的时间只有28秒；还有4分4秒耗费在哪里呢？...
Dataphin执行计算任务发现正则表达式不能使用
问题描述 用户执行一段SQL代码，发现在Hive执行结果和Dataphin不一致，用户使用了正则表达式。问题原因 MaxCompute计算引擎，如果没有开启Hive语法兼容，并不能完美适配Hive项目切换到MaxCompute之后的语法。解决方案 需要加上set odps.sql...
Paimon与Hive集成
E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持在Hive中查询Paimon中的数据。操作步骤 查询Hive Catalog与DLF Catalog中...
Flink Table Store与Hive集成
E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
Hive访问Delta Lake和Hudi数据
Hive不支持写入数据到Delta Lake和Hudi，但是可以通过外部表的方式查询Delta Lake和Hudi中的数据。本文通过示例为您介绍如何使用EMR上的Hive访问Delta Lake和Hudi数据。前提条件 已创建包含Hive、Delta Lake和Hudi服务的集群，详情请参见 ...
自定义函数（UDF）
Hive提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍自定义函数的开发和使用流程。背景信息 UDF分类如下表。UDF分类 描述 UDF（User ...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
读API
仅支持访问content type为以下类型的外部接口：application/json application/x-www-form-urlencoded text/plain 数据的写入操作和用户指定的计算引擎、临时存储关系如下表：计算引擎 临时存储 执行写入操作 Spark Hive Storage Spark ...
查看集群日报与分析
Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布比例 Hive表热冷数据分布 Hive表存储格式分布 Hive详细信息 在Hive信息中会展示Hive库和Hive表的详细信息。...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
在Hue WebUI使用编辑器
当您需要使用图形化界面在集群中执行HiveQL或Spark SQL语句时，可以通过Hue完成任务。本文以EMR-4.9.0版本为例，为您介绍如何在Hue WebUI中使用Hive编辑器和Spark SQL编辑器。前提条件 已设置安全组访问。重要 设置安全组规则时要针对有限...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
使用表格存储过程中返回503错误码
问题描述 在使用表格存储的过程中，偶尔会出现503错误，详细错误信息请参见下表。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
计费概述
文件存储NAS支持创建不同类型的NAS文件系统，不同类型的文件系统计费标准不同，本文介绍文件存储NAS的计费情况。付费方式 付费模式 说明 按量付费 默认付费方式。先使用，后付费，适用于业务用量经常有变化的场景。通用型NAS按照各计费项的...
- 产品推荐
- 这些文档可能帮助您