Lindorm for Cassandra应用实践
可调一致性（无需repair数据）服务模式 自建 集群托管或者Serverless可选 可靠性 无SLA保障，开源软件BUG需要自行修复。SLA保障，并具备主备双活、备份、异地容灾等能力。冷热分离 不支持 透明冷热分离降低成本 全文检索 不支持 兼容CQL...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
配置自定义软件
如果您需要调整这些服务的配置项，则可以在集群创建时使用软件自定义配置功能，以修改现有配置或添加新的配置项。使用限制 软件配置操作仅在集群创建时执行一次。操作步骤 登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 ...
释放集群
当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。本文为您介绍如何释放集群。前提条件 请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤 登录 EMR on ACK。...
Catalog概述
说明 本文图片和部分内容来源于开源StarRocks的 概述。Internal Catalog：内部数据目录，用于管理StarRocks所有内部数据。例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks...
漏洞公告|Solr升级修复漏洞
数据湖（DataLake）、数据服务（DataServing）和自定义（Customer）场景集群 单击 solr-8.11.3.tgz，下载修复漏洞后的Solr软件包。将下载的Solr软件包上传到集群Master节点的/opt/apps/RANGER/目录下。scp solr-8.11.3.tgz master-1-1:/opt...
管理网络配置
参数 说明 专有网络 选择用于需与后续添加使用的EMR集群、数据库专有网络一致 交换机 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通的交换机，仅支持选择特定可用区下的交换机，详情请参见使用限制。安全组 选择机器加入的安全...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
常见问题
您可以在EMR控制台Impala服务的 配置 页签，在搜索区域搜索 mem_limit 参数，默认值为80%，表示允许使用本机内存的80%来计算。您也可以配置为具体的内存大小，例如 10G。如何限制单条查询语句消耗内存的大小？可以使用SQL语句 set MEM_...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
统一命名空间缓存加速
jindo admin-mount/nas local:/mnt/nas 其中/mnt/nas 为阿里云文件存储NAS在物理机上的挂载点路径，需要加上 local:/前缀。执行以下命令访问 jindo:/emr-header-1:8101/nas/。hdfs dfs-ls jindo:/emr-header-1:8101/nas 返回信息为 jindo:/...
扩容集群
交换机 当前节点组的交换机信息。当前数量 当前节点组中实例的数量。增加数量 单击调整框的上下箭头或直接在调整框中输入数字，设置需要增加当前节点组实例的数量。集群到期时间 包年包月类型集群的到期时间。服务协议 阅读并同意服务条款...
什么是EMR on ECS
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。产品...
查看指定主机的任务列表
调用ListClusterOperationTask接口，查询指定的操作历史中主机对应的任务列表信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 ...
Hadoop集群迁移至DataLake集群
（可选）软件自定义配置 如果您导出了旧平台集群中的服务配置，或计划在创建集群流程中预置配置，则可以在新平台集群创建流程中开启软件自定义配置，并将编辑好的配置粘贴输入框中，详细使用方法请参见 配置自定义软件。硬件配置 在 查看...
配置集群管理密码
说明 这些命令和软件包的具体使用方式可能因系统版本和配置而有所不同，建议您根据实际情况使用。单击 保存。在弹出的对话框中，输入 执行原因，单击 保存。重启Presto服务。单击上方的 服务详情 页签。在 组件列表 区域，单击 ...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
Kafka常见问题
是否可以停止Kafka-Manager服务 Kafka-Manager只是Kafka集群的管理软件，Kafka对外提供读写服务不依赖Kafka-Manager服务。如果您没有集成其他Kafka管理平台，建议您保留Kafka-Manager服务。如果您确认不需要Kafka-Manager服务，您可以直接...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击 确定。通过SSH登录emr-header-1节点...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击确定。通过SSH登录emr-header-1节点...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击 确定。通过SSH登录emr-header-1节点...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击确定。通过SSH登录emr-header-1节点...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
Presto概述
与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向...
与开源PostgreSQL性能对比
PolarDB for PostgreSQL 14和开源 PostgreSQL 14的环境和规格如下表所示，本次测试的开源PostgreSQL 14在阿里云ECS机器上进行部署：参数 PolarDB for PostgreSQL 14 开源 PostgreSQL 14 核数+内存 8核 64 GB 8核 64 GB 发压ECS机规格 ...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
克隆集群
集群创建后，您在EMR控制台修改的服务配置目前不会克隆到新集群，但创建集群时自定义软件配置中配置的参数，则会克隆最新的修改值到新集群。创建集群后，您手动在集群机器上修改的文件或内容，例如JAR包等，无法克隆到新集群。注意事项 在...
配置hosts
在弹出的对话框中，输入 执行原因，单击 保存。重启Presto服务。单击上方的 服务详情 页签。在 组件列表 区域，单击 TrinoCoordinator 和 TrinoWorker 操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
迁移方案
在选择具体机型时，您可以根据是否有本地盘需求、是否希望使用规模较大的物理机等条件进行选择。Master实例规格通常与整体集群规模大小有关，对应集群最大CU规格经验值如下表所示。Master型号 集群最大CU规格 4核16 GB 80 CU 8核32 GB 160 ...
EMR集群不支持跨区域访问OSS问题
本文介绍EMR集群不支持跨区域访问OSS问题的原因及解决方案。访问OSS出现 Fail to wait EPOLLOUT 报错详情：[emr-user@core-1-1~]$hadoopfs-lsoss:/jindo-oss-runjob-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/ 2022-11-2817:12:19,926...
JindoFS实战演示
或者因历史原因保留在其他云厂商上。但是在云上访问云下HDFS数据时可能存在网络延时、带宽限制、作业突发流量导致核心集群磁盘或网络被打满等问题，为解决这些问题，必须引入HDFS缓存加速。本视频为您介绍如何在Hadoop集群上部署缓存服务，...
Kerberos概述
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
迁移元数据上云
迁移元数据上云是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云 云消息队列 RabbitMQ 版 实例。云消息队列 RabbitMQ 版 会根据成功导入的元数据在目标 云消息队列 RabbitMQ 版 实例中创建对应的Vhost、Queue、Exchange、Binding，...
新功能发布记录
2024-03-14 创建集群 支持创建Gateway类型节点组 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机，并能够自动同步配置，解决了当前任务提交环境部署和配置难的问题。2024-03...
开源自建对比
基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本 需要。需要。不需要。SAE 免运维。硬件成本 按峰值固定保有包年IaaS，...
通过公网访问Kafka
在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。重启Kafka服务。在Kafka服务的 状态 页面的 组件列表 区域，单击 KafkaBroker 组件操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 ...
安装第三方插件
在弹出的对话框中，输入 执行原因，单击 保存。说明 本文以EMR集群为例介绍，非EMR集群请您根据实际情况修改 flume-env.sh 中 FLUME_CLASSPATH 的参数值。方式二：上传第三方的JAR包至$FLUME_HOME/lib/目录下。说明 本文示例中的$FLUME_...
- 产品推荐
- 这些文档可能帮助您