存储过程

您在使用存储过程时,可以指定存储过程的名字并使用参数(parameters),并在合适的时候调用存储过程实现相同或者不同的业务。本文将介绍存储过程使用方法。背景信息 AnalyticDB PostgreSQL 6.0版 中,函数(Function)虽然可以实现大...

新建存储过程

概述 存储过程是一条或多条语句的集合,对数据库进行一系列复杂操作时,存储过程可以在数据库内将这类复杂操作封装成一个代码块,以便重复使用,从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集,经编译创建并保存...

查看集群日报与分析

Hive基础信息 该区域汇总了Hive使用过程中常用的几个存储指标,包含存储使用量趋势,文件数量趋势及评分趋势等。Hive使用量分析 在Hive使用分析中,您可以获取以下图表:Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布...

External Catalog

注意事项 如果使用HDFS作为文件存储,则需要在StarRocks实例中配置用于连接至HDFS集群和Hive Metastore服务的用户名。如果不特意设定该用户名,则默认使用Frontend(FE)和 Backend(BE)进程的用户名进行访问(默认用户名为starrocks)。...

数据湖生态接入

HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...

Hive数据源

The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...

Hive连接器

使用Hive连接器可以查询和分析存储Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,...

Paimon数据源

paimon.catalog.type 是 Paimon使用的元数据类型,取值为:hive:使用Hive MetaStore存储的元数据。filesystem:使用filesystem存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径,支持HDFS、OSS和OSS-HDFS。hive.metastore....

快速使用数据湖分析版实例

数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖中的数据,无需数据迁移即可轻松查询。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks数据湖分析实例。...

管理存储过程

概述 在 OceanBase 开发者中心(OceanBase Developer Center,ODC)首页单击连接名进入连接后,在左导航栏中单击 存储过程 标签可查看存储过程列表,在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中,可查看...

什么是OSS-HDFS服务

引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK...

环境准备

使用Hive/HadoopMR来访问表格存储中的表前,您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包,可以直接使用Hive...

概述

通过将SPL代码组织为子存储过程和子函数,可以有利地运用SPL存储过程和函数程序的能力和功能来构建结构良好且易于维护的程序。通过在SPL程序中声明子存储过程和子函数,可从相对较大的SPL程序中的不同位置多次调用相同的SPL代码。子存储...

CREATE PROCEDURE

如果包括此子句,则使用全常量参数对存储过程的任何调用将立即替换为存储过程值。STABLE 指示该存储过程不能修改数据库,并且在单表扫描中,它将始终为相同的参数值返回相同的结果,但其结果可能会因 SQL 语句而变化。对于依赖于数据库查找...

DROP PROCEDURE

PolarDB PostgreSQL版(兼容Oracle)允许重载存储过程名称,因此在 PolarDB PostgreSQL版(兼容Oracle)中,重载存储过程的 DROP PROCEDURE 命令需要使用输入参数数据类型给定的存储过程特征。使用 IFEXISTS、CASCADE 或 RESTRICT 与 ...

功能特性

通过Hive Catalog,能轻松集成Hive使用Hive Metastore作为元数据存储的系统。Hive数据源 Iceberg数据源 本文介绍云数据库 SelectDB 版与Iceberg数据源进行对接使用的流程,帮助您对Iceberg数据源进行联邦分析。Iceberg数据源 Hudi数据源 ...

管理Hive Catalog

本文将从以下方面为您介绍如何管理Hive Catalog:配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前,需要完成以下配置:使用...

注册Hive Kerberos集群

如果您的Flink作业要访问的Hive支持了Kerberos,则需要您先在Flink全托管控制台上注册Hive Kerberos集群,然后在Flink作业中配置Kerberos集群信息,即可访问支持了Kerberos的Hive使用限制 仅支持Hadoop 3版本的Hive Kerberos集群。一个...

使用阿里云OpenAPI

您可以在 OpenAPI Explorer 中调用阿里云各云产品开放的 API,查看API请求和返回结果。阿里云 OpenAPI 开发者门户是一款集 OpenAPI 智能搜索、OpenAPI 文档、OpenAPI 在线调试、SDK 获取、CodeSample、调用出错诊断、调用统计为一体的产品...

创建存储过程

存储过程是作为单个 SPL 程序语句调用的独立 SPL 程序。调用时,存储过程可选择以输入参数的形式从调用方接收值,并可选择以输出参数的形式向调用方返回值。CREATE PROCEDURE 命令可定义并命名一个将存储在数据库中的独立存储过程。如果...

配置连接器

连接器 功能 对应文档 hive 使用Hive连接器可以查询存储Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...

SparkSQL UDF基础操作

使用Hive UDF 使用文件传输工具,上传生成的JAR包至集群任意目录(本文以test目录为例)。上传JAR包至HDFS或OSS(本文以HDFS为例)。通过SSH方式登录集群,详情请参见 登录集群。执行以下命令,上传JAR包到HDFS。hadoop fs-put/test/...

Hive数据源

Hive Catalog是一种External Catalog。通过Hive Catalog,您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群,例如DataLake或Custom集群,详情请见 ...

计算与分析概述

表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...

Catalog概述

本文为您介绍什么是Catalog(数据目录),以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog ...

Catalog概述

本文为您介绍什么是Catalog(数据目录),以及如何使用Catalog查询内外部数据。基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如,Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog StarRocks ...

教程概述

本文为您介绍当需要通过DataV展示海量数据的分析结果时,如何使用DataWorks的数据服务开发数据API,并快速在DataV中调用API,最终将来自MaxCompute的数据成果展示在DataV大屏中,数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...

使用Presto访问

说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据,在文件引擎上使用Presto时需要额外配置一些依赖包,详细操作步骤请参见 配置Presto。准备工作 搭建和使用Presto读写文件引擎,需要先完成以下准备工作。开通文件...

配置连接器

连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...

配置Presto开启Ranger权限控制

本文为您介绍如何配置Presto开启Ranger权限控制。...Ranger Presto与Ranger Hive使用相同的Ranger Service(emr-hive)进行权限管理,相关权限配置的方式是一样的,有关权限配置的详细介绍请参见 配置Hive开启Ranger权限控制。

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

配置连接器

连接器 功能 hive 使用Hive连接器可以查询存储Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...

Hive使用JindoSDK处理OSS-HDFS服务中的数据

使用Hive搭建离线数仓时,随着数据量的不断增长,传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下,您可以使用OSS-HDFS服务作为Hive数仓的底层存储,并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...

开通并配置OSS存储分析

EMR Doctor支持分析OSS上的数据,开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态,让您更好地治理存储在OSS上的数据。背景信息 OSS提供了存储清单功能,配置该功能后会定期为Bucket生成清单文件,清单文件中保存...

Hudi连接器

Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力,以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面,EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...

常见问题

本文汇总了Hive使用时的常见问题。说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态,如何处理?Map端是否读取...

创建集群

参数 说明 Hive存储模式 使用数据湖存储OSS-HDFS或OSS作为数据仓库的存储目录。如果取消勾选,则使用集群HDFS作为存储目录。默认勾选时,还需配置 Hive数据仓库路径,建议选择开通了HDFS服务的Bucket。说明 请确保具有访问OSS或OSS-HDFS ...

配置CDH6使用文件存储 HDFS 版

数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...

查询Delta表数据

在E-MapReduce中通过Spark创建的Delta表将自动同步到Hive元数据,您可以像使用其他表一样查询Delta表。您还可以通过使用Hive创建外表的方式来查询Delta表。本文为您介绍如何通过Spark创建表和Hive创建外表的方式,在Hive、Presto和Trino中...

Hive作业配置

E-MapReduce默认提供了Hive环境,您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目,详情请参见 项目管理。已准备好Hive SQL的脚本,并上传到OSS的某个目录中(例如 oss:/path/to/uservisits_aggre_hdfs.hive)。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云存储网关 文件存储 CPFS 混合云存储 对象存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用