查看集群信息
说明 如果您想查看组件的资源消耗，请前往容器服务ACK控制台查看相应Pod的资源使用情况。所属ACK集群 ACK集群的名称。命名空间 ACK集群的命名空间。创建时间 显示集群创建的时间。操作 集群支持的操作：配置：管理服务配置。释放：释放当前...
使用DLF元数据
前提条件 已创建EMR-5.8.0及之后版本的数据分析（OLAP）或自定义场景（Custom）的集群，且选择了StarRocks服务，详情请参见 创建集群。注意事项 本文仅适用于Hive、Hudi、Iceberg和Delta Lake数据源。操作步骤 使用SSH方式登录StarRocks...
EMR对接外部KDC
这意味着当您在EMR集群中使用Kerberos身份验证时，您可以选择使用由集群创建的KDC，也可以选择使用外部KDC来实现统一的身份管理和认证。前提条件 已获取正确的KDC的IP地址，Kadmin的IP地址以及Principal的名称和密码。说明 请确保获取的...
EMR Notebook公测说明
重要 公测期间您可以免费试用EMR Notebook服务，但EMR Notebook工作流运行时需要关联EMR集群、添加EMR集群下的数据源，创建或使用已有的EMR集群会产生EMR和ECS等费用，详情请参见 计费项。公测限制 公测期间，有以下限制：指定地域如果创建...
Hive基础操作
前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。进入Hive命令行 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，进入Hive命令行。hive 库操作 本文示例中的数据库以...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
SmartData 2.6.0-2.7.2版本简介
例如，Namespace服务后端存储支持Tablestore（OTS）以及Raft、Namespace服务支持HA、读写性能优化、块存储模式和缓存模式使用方式优化等。元数据服务后端存储方案升级 在原有RocksDB方案的基础上，新版本推出了Tablestore和Raft的后端存储...
Hive数据按行过滤
前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按行过滤的表。操作步骤 说明 本文Ranger截图以2.1.0版本为例，其余版本请以实际界面为准。Hive组件配置Ranger，详情请参见文档 配置Hive集成Ranger。在Ranger页面，...
DLF统一元数据
使用限制 DLF统一元数据适配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的...
管理事件
使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和Custom类型集群的事件，Hadoop类型集群的事件请参见 管理事件中心。事件类型 健康事件 健康事件是系统检测到服务组件健康状态异常变化的事件，用于展示当前服务...
EMR Serverless StarRocks公测说明
介绍EMR Serverless StarRocks公测说明。说明 EMR Serverless StarRocks已于2023年06月01日正式发布，详情请参见 EMR Serverless StarRocks商业化发布。...快速使用EMR Serverless StarRocks 快速使用EMR StarRocks Manager
配置自定义软件
如果您需要调整这些服务的配置项，则可以在集群创建时使用软件自定义配置功能，以修改现有配置或添加新的配置项。使用限制 软件配置操作仅在集群创建时执行一次。操作步骤 登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 ...
管理LDAP认证
开启LDAP认证的功能可以方便您使用LDAP认证，避免了复杂的配置过程。本文为您介绍如何一键开启和关闭LDAP认证。前提条件 已创建Hadoop集群，详情请参见 创建集群。使用限制 EMR-3.34.0及后续版本或EMR-4.8.0及后续版本的Hadoop集群，支持一...
阿里云OSS-HDFS服务（JindoFS 服务）Endpoint配置
本文为您介绍阿里云OSS-HDFS服务（JindoFS 服务）Endpoint的配置方法。方法一：在访问路径中指定Endpoint（推荐）访问OSS-HDFS服务时，推荐您使用 oss:/<Bucket>.<Endpoint>/格式的访问路径，例如 oss:/example-oss-bucket....
设置权限
如果客户端设置了 alluxio.security.login.username 参数，客户端将使用对应的配置作为请求服务端的用户。如果是创建目录或文件请求，该用户信息会保存在元数据中。Alluxio支持修改认证方式，修改后需要重启服务生效，详细信息请参见 ...
Knox
Knox的用户身份验证基于LDAP，您可以使用集群中Apache Directory Server的LDAP服务。方式一（推荐）在集群的 用户管理 页面，直接添加Knox访问账号，详情请参见 用户管理。方式二：通过SSH方式连接集群，详情请参见 登录集群。准备您的用户...
创建集群模板
集群模板是为快速创建集群而保存的配置。本文为您介绍如何创建集群模板。背景信息 集群模板主要用于数据开发工作流自动创建...完成上述参数配置后，选中 E-MapReduce服务条款 后，单击 保存模板。模板创建成功后，就可以在模板列表中查看到。
按量付费转包年包月
使用限制 不支持从包年包月转换为按量付费模式。当按量付费的节点组配置了弹性规则时，该节点组不支持转为包年包月，而没有配置弹性规则的节点组可以进行转换。如果需要转换，请先删除已配置的弹性伸缩规则。操作步骤 重要 一旦切换为包年...
调整YARN队列
SparkSQL使用SparkThriftServer，在Spark组件上修改spark-thriftServer配置或添加自定义配置：在左侧导航栏中，选择 集群服务>Spark。单击 配置 页签。单击 服务配置 区域的 spark-thriftServer 页签。在 spark-thriftServer 页签，单击右...
Kyuubi概述
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户支持。高可用：Kyuubi基于...
创建事件报警规则
调试系统事件报警规则 创建事件报警规则后，您可以使用系统事件的调试功能，验证系统事件报警规则中设置的消息服务队列、函数计算、URL回调和日志服务是否能正常被触发。登录 云监控控制台。在左侧导航栏，选择 事件中心>系统事件。单击 ...
跨域互信
步骤四：访问Cluster-B服务 此时，在Cluster-A上，您可以使用Cluster-A的Kerberos Ticket，访问Cluster-B的服务。创建测试需要的Principal，并生成Ticket。kadmin.local-q"addprinc-pw 123456 test"kinit test 访问Cluster-B的HDFS服务。...
创建集群模板
在 集群模板 页面的 确认配置 阶段，输入 集群模板名称，选择 集群模板资源组，选中 服务协议，单击 创建集群模板。说明 相关参数与创建集群时相同，请根据提示信息配置相关参数，详细信息请参见 创建集群。集群模板名称：输入集群模板的...
升级小版本
小版本是指StarRocks的更新版本（2.x或3.x系列内的版本升级），包括性能提升、新功能或问题修复等，旨在提供更稳定和可靠的服务。EMR Serverless StarRocks采用滚动升级的方式，使实例的小版本升级过程更加平滑。前提条件 已创建StarRocks...
EMR Kafka配置说明
变量名 说明 KAFKA_ROOT Kafka服务安装的根目录。KAFKA_HOME Kafka Broker软件安装目录。LOG_DIR_ROOT EMR集群服务日志根目录。KAFKA_ZOOKEEPER EMR Kafka ZooKeeper访问路径。例如，master-1-1.c-0e6a8cxxxxxxxxxx....
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Tablestore（OTS）或者Raft...
安装第三方插件
给 FLUME_CLASSPATH 的参数值添加获取的JAR包，多个CLASSPATH使用英文冒号（:）隔开。保存配置。单击下方的 保存。在弹出的对话框中，输入 执行原因，单击 保存。说明 本文以EMR集群为例介绍，非EMR集群请您根据实际情况修改 flume-env.sh ...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Tablestore（OTS）或者Raft...
扩缩容实例
注意事项 实例扩缩容期间，服务可能出现中断，请确认业务使用方已增加重试机制。实例扩缩容期间，不可进行其他的升配，降配，修改配置，升级等操作。扩容 说明 如果 扩容预检查 显示为 检查失败，原因是当前地域或可用区库存不足，请减少扩...
扩容集群
服务协议 阅读并同意服务条款后，选中即可。完成上述参数配置后，单击 确定。登录新扩容节点的具体操作，请参见 登录集群。后续操作 当您扩容的节点组为Core节点组，且使用本地HDFS作为存储时，如果在扩容流程结束后发现HDFS出现数据不平衡...
查看集群信息
说明 如果您想查看组件的资源消耗，请前往容器服务ACK控制台查看相应Pod的资源使用情况。所属ACK集群 ACK集群的名称。命名空间 ACK集群的命名空间。创建时间 显示集群创建的时间。操作 集群支持的操作：配置：管理服务配置，详情请参见 ...
Redis数据源
本文介绍如何使用Redis数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName[(columnName dataType[,columnName dataType]*)]USING redis OPTIONS(propertyKey=propertyValue[,propertyKey=propertyValue]*);Table Schema 创建...
迁移方案
基于Flink on YARN的部署模式，在未设置 yarn.provided.lib.dirs 参数的情况下，Flink作业在YARN集群中运行时所使用的Flink Runtime为提交作业的客户端所使用的Flink（例如，开源Flink 1.13等）。因此如果您想使用特定的Flink版本运行作业...
实时计算场景优化
本文为您介绍在E-MapReduce（简称EMR）上使用HDFS进行实时计算场景化配置的一些建议，以便优化HDFS的稳定性。调整DataNode Xceiver连接数 背景：通常实时计算框架会打开较多的HDFS文件写入流（Stream），方便不断地向HDFS写入新的数据。...
运行指定操作
调用RunClusterServiceAction接口对集群的指定服务，运行指定的操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
SmartData 3.7.x版本简介
JindoFS服务收集汇总了一些重要的指标信息，例如OSS读写吞吐、缓存读写吞吐、缓存使用率等，可用于对接Prometheus，进行可视化监控。JindoFS分层存储支持冷归档 SmartData 3.7.3及后续版本支持该特性。分层存储命令支持了OSS冷归档存储类型...
HDFS的部署拓扑
本文分别为您介绍非高可用集群和高可用集群的HDFS组件的部署拓扑信息。非高可用集群 节点 组件 描述 master-1-1（部分版本为 emr-header-1）NameNode NameNode对外提供读写服务。SecondaryNameNode SecondaryNameNode合并NameNode的edits...
EMR-3.22.x之前版本说明
EMR-3.2.0 支持所有的服务在界面上进行起停操作，支持在界面对服务进行配置管理。EMR-3.1.1 OS升级到CentOS 7.2。Spark升级到2.1.1版本。emr-core升级到1.2.6版本。修复了OSS免AccessKey操作的缺陷。EMR-3.0.2 emr-core版本升级到1.2.5版本...
通过公网访问Kafka
本文为您介绍如何配置阿里云E-MapReduce集群中的Kafka服务，包括修改相关配置以监听公网接口以及设置对应的安全组规则，从而使得客户端能够在公网环境下顺利访问该集群上的Kafka服务。新建集群时，开通公网服务 新建Dataflow集群时，打开...
开启ORC查询加速
说明 Spark调用读取ORC时，需要使用DataFrame或者Spark-SQL API来启用加速。全局设置 详细请参见 全局设置Spark。Job级别设置 使用spark-shell或者spark-sql时可以添加Spark的启动参数。conf spark.sql.extensions=io.delta.sql....
- 产品推荐
- 这些文档可能帮助您