存储过程
在7.0版本，您可以直接在存储过程中控制事务。Oracle等传统数仓的业务迁移至 AnalyticDB PostgreSQL版 时，可以直接使用存储过程功能，不需要改造业务SQL。存储过程的特性 AnalyticDB PostgreSQL 7.0版 的内核版本升级至PostgreSQL 12，...
功能特性
服务器端加密 客户端加密 OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。客户端加密 合规保留策略 OSS保留策略具有WORM（Write Once Read ...
管理存储过程
对象存储过程的结构树最深包含三层，右键单击结构树中不同层级中的项，提供对该项的操作键选项，具体操作请参见 管理操作 中的 管理操作键表：管理操作 在存储过程列表中，存储过程对象名称默认支持按头字符升序排序。快捷功能 在结构树中...
创建存储过程
VOLATILE 指示即使在单表扫描中存储过程值也可以更改，因此不能进行任何优化。请注意，任何具有负面影响的函数必须分类为易失性函数，即使其结果可预测性很好也是如此，这是为了防止调用由于优化而被去除。DETERMINISTIC DETERMINISTIC 是 ...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
Hive数据源
支持识别Hive Metastore中存储的Hive、Iceberg、Hudi元数据。创建Catalog Hive On HDFS CREATE CATALOG hive PROPERTIES('type'='hms','hive.metastore.uris'='thrift:/172.0.0.1:9083');type 与 hive.metastore.uris 为必须参数，同时您还...
功能特性
删除DBFS 删除数据库文件存储并停止计费 删除DBFS 修改DBFS实例规格 在使用数据库文件存储的过程中根据业务存储性能的要求，调整数据库文件存储的实例规格，实例规格越高，消耗的CPU和内存资源越多 实例规格说明 修改DBFS使用场景 在使用...
计费概述
在使用文件存储CPFS过程中，除了文件存储CPFS收费的计费项之外，还可能涉及以下费用支出。CPFS-POSIX管理节点费用 在文件存储控制台为CPFS文件系统添加POSIX挂载点时创建的3个用于客户端管理的ECS实例，将根据云服务器ECS的产品价格计费。...
使用表格存储过程中返回503错误码
问题描述 在使用表格存储的过程中，偶尔会出现503错误，详细错误信息请参见下表。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
计费概述
在使用文件存储NAS或文件存储CPFS过程中，除了文件存储NAS或文件存储CPFS收费的计费项之外，还可能涉及以下费用支出。文件存储NAS 文件备份费用 文件存储NAS支持与云备份（Cloud Backup）服务无缝集成。您可以在NAS控制台定期备份NAS文件，...
为什么使用表格存储过程中会有少量的500错误
不少用户在使用表格存储的过程中偶尔会接到一些500错误，主要错误码如下。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
产品计费
其他费用 在使用云存储网关过程中，除了云存储网关收费的计费项之外，还有其他费用支出。OSS使用费用 云存储网关中的OSS资源归您所有，网关访问OSS产生的费用由OSS产品向您收取，这些费用包括存储费用、流量费用、请求费用和数据取回费用，...
通用型NAS计费
重要 在进行低频存储或归档存储转储过程中，为了性能，会批量转换，转换完成后，标准存储中的文件会被删除。转换过程中的文件数据在标准存储与低频存储或归档存储中都会存在一个副本，造成计费量的上升。转换完成后，计费会恢复正常。注释...
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
应用场景
车辆数据通过MQTT协议接入消息队列Kafka后，数据一部分接入到实时计算Flink进行清洗与地理围栏计算检查，一部分直接写入表格存储中存储车辆相关信息。同时，支持通过SQL协议接入报表进行数据统计以及接入MaxCompute中进行海量历史数据分析...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
方案背景
例如存储车辆行驶过程中的GPS坐标数据用于导航大屏上的轨迹展示，在交通管理中通过分析车辆一段时间内的速度变化用于判断车辆在区间内是否超速等。因此车联网场景下车辆轨迹数据存储与分析的需求如下：数据存储：车辆轨迹数据会随着时间...
监控审计
日志转存 访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。...
表格存储系统权限策略参考
在产品迭代过程中，表格存储会向系统策略中添加新的权限，用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份，包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息，请参阅 权限策略概览。说明 ...
Dataphin中从SAP HANA向Hive同步数据后数据精度丢失
问题描述 Dataphin中从SAP HANA...问题原因 从Hive中表结构可以看出，字段定义的是decimal(10,0)格式，因此同步到Hive数据只有整数。解决方案 修改Hive中对应字段格式，需要具有小数位数。适用于 适用产品：Dataphin 适用版本：独立部署3.9.1
Paimon与Hive集成
E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持在Hive中查询Paimon中的数据。操作步骤 查询Hive Catalog与DLF Catalog中...
logging（日志转存）
访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。您可以通过 logging 命令开启、查询、关闭Bucket的日志转存配置。注意事项 要开启日志...
Flink Table Store与Hive集成
E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...
文件存储NAS系统权限策略参考
在产品迭代过程中，文件存储NAS会向系统策略中添加新的权限，用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份，包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息，请参阅 权限策略概览。...
为什么云存储网关与OSS上的文件不一致
在全量过程中，云存储网关会以OSS为基准同步本地所有文件。在全量同步的过程结束之前，有可能无法见到所有的存储桶里的存量文件，建议等待全量同步完成后，再开始使用存储网关进行读写。增量更新 增量更新利用创建的OSS事件通知规则，以MNS...
Hive访问云HBase数据
hbase shell 执行 list 命令，查看HBase表中hive_hbase_table或者hbase_table是否存在。不存在：请执行 步骤四：创建HBase内表。存在：请执行 步骤三：创建HBase外部关联表。步骤三：创建HBase外部关联表 执行以下命令，创建外部表。create...
Dataphin提交至hive中的任务执行时间过长
问题描述 Dataphin提交至hive中的任务执行时间过长。具体情况如下：Dataphin日志显示2023-04-23 13:47:02.509 至 2023-04-23 13:51:34.297这4分32秒任务是在hive中执行；查看yarn日志，hive执行的时间只有28秒；还有4分4秒耗费在哪里呢？...
通过Hive访问HBase增强版
本文介绍如何通过Hive访问HBase增强版。前提条件 HBase增强版集群为2....插入数据：put 'hive_hbase_table','213','cf1:val','dadsadasda' 在Hive中查看数据是否插入成功：SELECT*FROM hive_hbase_table;返回结果如下：212 bab 213 dadsadasda
通过Hive连接并使用宽表引擎
在Hive中配置连接参数 方式一：在 hive-site.xml 配置文件中添加访问配置。property><name>hbase.zookeeper.quorum!宽表引擎的HBase Java API专有网络连接地址-><value>ld-bp1461s38p7y9*-proxy-lindorm.lindorm.rds....
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
通过Hive访问云数据库HBase
create 'hbase_table','f' put 'hbase_table','1122','f:col1','hello' put 'hbase_table','1122','f:col2','hbase' 在Hive中创建云数据库HBase外部关联表，并查看数据。CREATE external table hbase_table(key int,col1 string,col2 ...
创建Hive数据源
使用Hive数据源作为集成的输入输出组件时，请确认Dataphin的IP地址已在Hive的网络白名单中，以确保Dataphin能够访问Hive中的数据。请确保Dataphin的应用集群与调度集群与Hive服务、HDFS的NameNode（包括webUI、IPC）和DataNode、KDC Server...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
2020-10-27版本
支持Hive Metastore：可读取Hive中维护的元数据信息，便于统一管理元数据。详情请参见 管理Hive Catalog。重要 仅支持Hive Metastore 2.3.6版本。Hive Metastore暂不支持Kerberos方式认证。支持快速配置监控告警：您可以直接在Flink全托管...
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
Hive访问Delta Lake和Hudi数据
2 3 4 0 1 Time taken:1.847 seconds,Fetched 5 row(s)在Hive中查看Delta Lake数据。执行以下命令，进入Hive命令行。hive 执行以下命令，在Hive中查看Delta Lake表。desc formatted delta_table;执行以下命令，在Hive中查看Delta Lake表的...
- 产品推荐
- 这些文档可能帮助您