EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
常见问题
问题原因：Hive默认使用HiveCombineInputFormat不会调用表自定义的 input format。解决方法：您需要在执行查询Hudi表的命令时，添加上 set hive.input.format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat。Spark查询Hudi表...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
EMR-4.10.x版本说明
优化Hive默认参数，以提升作业性能。修改了E-MapReduce控制台上，Hive服务配置页面的 hive-env 页签的配置项名称为大写，便于用户使用。优化文件系统与MetaStore不一致时写Hive表的报错信息。Hive on JindoFS（Block）支持批量元数据优化...
EMR-5.2.x版本说明
优化Hive默认参数，以提升作业性能。修改E-MapReduce控制台上，Hive服务 配置 页面的 hive-env 页签的配置项名称为大写，便于用户使用。修复UDF（User Define Function）导致HiveServer2内存泄露的问题。优化文件系统与MetaStore不一致时写...
EMR-3.36.x版本说明
优化Hive默认参数，以提升作业性能。修改E-MapReduce控制台上，Hive服务 配置 页面的 hive-env 页签的配置项名称为大写，便于用户使用。优化文件系统与MetaStore不一致时写Hive表的报错信息。HDFS 支持ZSTD（Zstandard）压缩格式。Flink ...
Hive作业调优
Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
exZset
和TairZset中元素默认排序相反，该命令返回元素按照分数从高到低排列，分数相同的元素按照逆字典序排列。说明 除排序方式相反外，本命令和 EXZRANGEBYSCORE 用法相似，注意本命令中 max 在前。EXZRANGEBYLEX EXZRANGEBYLEX key min max...
购买实例
说明 开发者版审计日志默认存储时间为180天；录像默认存储空间为20 GB。轻量版审计日志默认存储时间为365天；录像默认存储空间为200 GB。购买时长 选择 PAM 实例的有效期。说明 支持选择 到期自动续费。如果开启自动续费，在实例到期前，您...
Hive Metastore使用加密文件访问RDS
DataLake或Custom集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hive$HIVE_CONF_DIR/hive.jceks Hadoop集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hadoop$HIVE_CONF_DIR/hive.jceks 在EMR控制台目标集群Hive...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
配置存储地址
在使用智能媒体服务媒资上传、媒体处理、云剪辑等服务前，您需要配置存储地址。通过阅读本文，您可以了解如何配置存储地址。...API参考 SetDefaultStorageLocation-设置默认存储位置 GetDefaultStorageLocation-获取默认存储位置
SetDefaultStorageLocation-设置默认存储位置
设置临时文件的默认存储路径。默认存储地址用于ICE在线编辑器及集成webSDK使用时，剪辑过程产生的临时文件存储，如智能配置生成的音频文件等；设置默认存储地址，可避免在编辑过程中申请填写各类临时资源的存储路径时，对使用者造成困扰；...
计费方式
说明 开发者版审计日志默认存储时间为180天；录像默认存储空间为20 GB。轻量版审计日志默认存储时间为365天；录像默认存储空间为200 GB。网络域数 网络域用于统一管理使用 PAM 进行资产运维时所涉及的网络资源配置。根据被运维管理的资产所...
EMR-4.4.x版本说明
Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson-databind版本。Impala 支持集成Ranger。升级Shiro至1.6.0版本。SmartData 升级至2.7.301版本。Bigboot Knox 支持Tez UI独立打开，支持YARN UI中的Tez。升级Shiro至1....
时序数据存储概述
时序数据的默认存储时效为30天。对于2022年12月01日（不包含）后购买的企业版实例：上报和查询设备时序数据，均受时序数据的存储IOPS和存储空间限制。时序数据的默认存储时效为365天。使用限制 限制项 描述 限制 时序数据存储规则 一个实例...
管理时序存储配置
2022年12月01日后创建的企业版实例，默认存储时效为365天，2022年12月01日前创建的实例默认为30天。新版公共实例的存储时效默认为30天。最短为7天，最长不过期（设置为-1）。超过存储时效或者存储空间后，物联网平台会清理最早的数据。每...
管理存储Bucket
设置默认存储地址 当同一服务地域下存在多个存储地址时，可以选择其中一个作为默认存储地址，后续在该地域上传媒体资源时，都将默认上传到所设置的默认存储地址中。在视频点播控制台，切换到目标服务地域后，选择 配置管理>媒资管理配置>...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
计费方式
默认3 TB存储空间 默认800 MB带宽 实例数与存储支持弹性扩容 750元/数据库实例/月 80~150个 80~99个数据库实例 吞吐量峰值：46,000条SQL/秒 850 Mbps数据库流量峰值 20亿条在线SQL语句存储 默认4 TB存储空间 默认1 GB带宽 实例数与存储支持...
EMR-5.12.x版本说明
Hive Hive warehouse支持默认使用OSS-HDFS存储。OSS-HDFS 新增服务。YARN 支持默认使用OSS-HDFS存储。HBase HBase HFile数据支持默认使用OSS-HDFS存储。HBase WAL日志支持使用OSS-HDFS存储。EMR-5.12.0 服务 变更点 Kyuubi 升级到1.7.1版本...
EMR-3.46.x版本说明
Hive Hive warehouse支持默认使用OSS-HDFS存储。OSS-HDFS 新增服务。YARN 支持默认使用OSS-HDFS存储。HBase HBase HFile数据支持默认使用OSS-HDFS存储。HBase WAL日志支持使用OSS-HDFS存储。EMR-3.46.0 服务 变更点 Kyuubi 升级到1.7.1版本...
开通并配置OSS存储分析
EMR Doctor支持分析OSS上的数据，开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态，让您更好地治理存储在OSS上的数据。背景信息 OSS提供了存储清单功能，配置该功能后会定期为Bucket生成清单文件，清单文件中保存...
购买云防火墙服务
云防火墙默认存储最近7天的日志，如果您需要更长时间日志存储或满足等保要求，需要开通日志分析功能，最多支持存储6个月的日志，并支持导出日志。更多信息，请参见 日志分析 和 日志分析计费方式。云防火墙默认存储最近7天的日志，如果您...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
快速开始转码任务
配置存储 选择当前上传资源的存储地址，当您有多个存储地址时，会选中您的默认存储。配置默认存储地址，具体请参见 存储管理。重要 存储地域和智能媒体服务的服务地域需一致，否则会导致上传失败。可选：分类设置 上传前，您也可以进行媒资...
包年包月
基础价格默认不包含，可扩展范围为 5,000~500,000 GB 云防火墙默认存储7天的审计日志，支持审计事件日志、流量日志和操作日志。如需要更长时间日志存储或满足等保要求，需要开通日志分析功能。日志分析存储容量的扩展费用：500元/1,000 GB/...
克隆集群
当 计费类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储空间 按空间计费（包年包月）需要预购的存储空间容量大小。存储空间容量范围为50 GB~100 TB，最小调整量为10 GB。说明 仅当 存储计费类型 为 按空间计费（包年包月）...
克隆集群
当 商品类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储费用 无需选择。系统会根据实际数据使用量按小时计费，详情请参见 规格与定价。说明 创建集群时无需选择存储容量，存储容量随数据量的增减而自动弹性伸缩。集群名称 ...
克隆集群
当 计费类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储空间 按空间计费（包年包月）需要预购的存储空间容量大小。存储空间容量范围为50 GB~100 TB，最小调整量为10 GB。说明 仅当 存储计费类型 为 按空间计费（包年包月）...
快速使用WAF日志服务
存储类型 默认存储网站域名的全量日志。支持修改。可修改为仅存储拦截日志。WAF支持修改以上默认配置。具体操作，请参见 修改日志设置。前提条件 已开通 高级版、企业版、旗舰版 或 独享版 包年包月WAF实例，或者已开通按量付费WAF实例。已...
快速使用WAF日志服务
存储类型 默认存储网站域名的全量日志。支持修改。可修改为仅存储拦截日志。WAF支持修改以上默认配置。具体操作，请参见 修改日志设置。前提条件 已开通 高级版、企业版、旗舰版 或 独享版 包年包月WAF实例，或者已开通按量付费WAF实例。已...
Hive使用扩展记录数据血缘和访问历史
E-MapReduce集群默认在Hive服务上集成了EMR-HOOK。EMR-HOOK可以收集作业的SQL信息，例如数据血缘、访问频次等。通过EMR-HOOK，您可以利用数据湖构建（DLF）的数据概况，以统计表和分区的访问次数。同时，您也可以使用DataWorks来管理数据...
从集群回收站恢复误删的集群
当 商品类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储空间 按空间计费（包年包月）需要预购的存储空间容量大小。存储空间容量范围为50 GB~100 TB，最小调整量为5 GB。说明 仅当 存储计费类型 为 按空间计费（包年包月）...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
常见问题
您可以使用OSS的标准访问方法直接访问OSS，也可查询存储于OSS上的Hive表。EMR Trino支持OSS-HDFS。如何访问Trino UI？如何理解Trino UI？如果您的集群安装了Knox服务，可以使用Knox链接访问Trino UI，详情请参见 Knox。如果您的集群不包含...
页面布局
如图所示，向画布中拖拽一个“容器”组件，再向“容器”组件中拖入两个“文本”组件，“文本”组件为块级元素，默认占据全部父级元素宽度，即外层“容器”的宽度，第二个“文本”组件会在第一个“文本”组件的下方。布局主要是通过“容器”...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
如何关闭公网访问表格存储实例？
表格存储默认允许任意网络访问，实例对访问来源不做限制。如果要关闭公网访问，请为实例绑定VPC并更改 实例网络类型 为 限定控制台或VPC访问。具体操作，请参见 使用VPC访问表格存储实例。
- 产品推荐
- 这些文档可能帮助您