Windows系统实例的宕机问题排查
当Windows操作系统的ECS实例在运行过程中出现内核panic、内存溢出OOM（Out Of Memory）、蓝屏卡死等问题或收到系统事件通知实例出现操作系统崩溃时，说明该ECS实例发生宕机，您可以通过自助诊断工具或系统事件来定位原因并解决。...
IMPALASHELL
IMPALASHELL任务类型用于提交Impala任务，对数据进行查询、分析和处理操作。本文为您介绍创建IMPALASHELL类型任务时涉及的参数。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：...
访问OSS出现CopyNotExcecuted问题
本文介绍JindoSDK访问OSS时，出现CopyNotExcecuted问题的原因和解决方法。问题详情 java.io.IOException:ErrorCode:25201,ErrorMsg:OSS Op Error.[ErrorMessage]:Error in xxxxxxxxxx/.hive-staging_hive_xxxxxxxxxxx/_tmp.-ext-10002/...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
访问OSS出现AccessDenied问题
本文为您介绍JindoSDK访问OSS出现AccessDenied问题的原因和解决方法。问题详情 Failed test connectivity,operation:getFileStatus,errMsg:[RequestId]:635B6DDE9A1F093434AC6A7C[HostId]:oss-cn-beijing-internal.aliyuncs.com ...
JournalNode出现异常
本文介绍JournalNode出现异常的原因和解决方案。具体报错 JournalNode日志出现：org.apache.hadoop.hdfs.server.namenode.FSImage:Caught exception after scanning through 0 ops from/current/edits_inprogress_0000000000000191004 ...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
HIVECLI
提交到Yarn执行 警告 该模式下，作业会被提交到EMR集群的YARN中执行，会直接影响EMR集群的文件、环境等，请谨慎操作。该开关默认打开。您还可以选择配置以下参数：调度队列：指定作业提交的YARN队列。任务执行容器内存（MB）：指定作业执行...
镜像介绍
Ubuntu 16.04 18.04 20.04 22.04 Ubuntu是一个以桌面应用为主的开源GNU/Linux操作系统，Ubuntu是基于Debian GNU/Linux，支持x86、amd64（即x64）和ppc架构，由全球化的专业开发团队（Canonical Ltd）打造。Windows 2008 R2 2012 R2 2016...
应用场景
使用StarRocks统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在StarRocks中进行分析，也可以使用External Catalog和外部表进行数据湖上的分析。典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景...
SmartData 3.0.x版本简介
改进缓存服务，增强节点容错处理和节点下线操作。改进缓存块写入磁盘的选择策略，默认支持轮询（Round Robin）。改进读写流程，增强容错处理。提供JindoFS分层存储的Cache、Uncache和Status命令，允许缓存至指定目录，支持数据预加载，查看...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
产品优势
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
安全中心
EMR Workflow的安全中心支持管理集群、告警组和告警实例。本文为您介绍如何绑定集群、创建告警实例和告警组。前提条件 已创建集群，具体操作请参见 创建集群。绑定集群 说明 支持绑定的集群类型为DataLake、Hadoop和Custom。进入安全中心...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘和系统盘）扩容。本文为您介绍如何对磁盘进行扩容。背景信息 根据E-MapReduce版本和磁盘属性不同，E-MapReduce支持的磁盘扩容方式也不同，具体说明如下：数据盘：...
创建集群
前提条件 已完成添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 授予OSS和DLF权限。已创建Kubernetes集群，详情请参见 创建Kubernetes专有版集群 或 创建Kubernetes托管版集群。已创建节点池，详情请参见 创建节点池。已...
EMR Kafka配置说明
本文为您介绍E-MapReduce（简称EMR）中Kafka集群操作系统环境变量和配置项。操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka，用户组为group，您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 ...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
创建阈值报警规则
云监控（CloudMonitor）是阿里云的一种监控告警服务，当您需要监控E-MapReduce资源的使用和运行情况时，可以通过创建阈值报警规则，实现监控项超过设定阈值后自动发送报警通知的功能，帮助您及时了解监控数据异常并快速进行处理。...
SmartData 3.2.x版本简介
JindoFS缓存优化 优化在AI训练场景下小文件元数据的缓存，提升元数据预加载操作和List操作的性能。JindoTable计算优化 JindoTable集成了AliORC，提供Native ORC Reader。JindoTable支持Spark和Presto使用Native ORC Reader读取ORC文件，以...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
SQL任务开发
本文为您介绍SQL任务开发的配置项说明和操作步骤。前提条件 已创建工作空间和Compute，详情请参见 创建工作空间 和 管理Compute。创建SQL任务 进入任务开发页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>Spark。在 ...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
产品优势
自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群管理工具部署到EMR环境，详情请参见 管理引导操作 和 集群脚本。自主运维：您可以登录Master节点，查看集群日志和部署环境，优化和部署配置，详情请参见...
如何排查EMR Kafka服务异常
本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。排查异常 说明 本文以Kafka Broker服务为例说明。登录EMR on ECS控制台，确认服务状态。说明 当组件状态不是 运行中 或者健康状态不是 良好，则说明组件存在异常。查看服务日志。...
微服务引擎的线上流量治理
通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。解决问题 快速集成：通过JavaAgent技术实现Spring ...
Operation
名称 类型 描述 示例值 object ClusterId string 集群 ID。c-b933c5aac8fe*OperationId string 操作 ID。op-13c37a77c505*CreateTime long 创建时间。...start StateChangeReason OperationStateChangeReason 操作状态转换原因。
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
什么是EMR Serverless Milvus
它包含了数据分区分片、持久化、增量摄取、混合查询等高级功能，同时支持time travel操作，提供了直观的API和多语言SDK，适用于推荐系统、图像检索、视频分析、自然语言处理等多个AI领域。产品优势 云原生极速向量检索服务 集成了Vector...
云监控指标说明
说明 在Linux系统中，一个节拍理解为操作系统进程调度的最小时间片，不同Linux内核可能值有不同，通常在1ms到10ms之间。serverless_starrocks_be_cpu_idle 瞬时值 BE节点CPU使用空闲率。serverless_starrocks_be_max_disk_io_util_percent ...
开源版和商业版介绍
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
Delta Lake概述
而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换、特征化等操作都是流上的节点动作，无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL...
Flink SQL参考
操作 文档 关键字 关键字 创建数据视图 创建数据视图 DML数据操作语句（INSERT INTO）INSERT INTO语句 CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句 AUTO OPTIMIZE语句 DQL数据查询语句 Queries语句 双流JOIN语句 维表JOIN...
开启Nacos开源控制台
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE Nacos从 2.2.3.1 版本开始，将 默认关闭 开源控制台。本文介绍如何重新开启开源控制台的使用。前提条件 已 开通MSE。已创建Nacos引擎。具体操作，请...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
管理用户
开发者 开发者仅具有首页、项目管理和资源中心功能模块的操作权限。说明 添加用户后，该用户可以访问该工作空间。不支持对root用户的编辑和删除操作。相关文档 创建任务和工作流前，您需要先创建项目，详情请参见 创建项目。创建任务和工作...
操作指南
您可以在E-Mapreduce控制台创建和管理集群或实例等操作。形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心 E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作 EMR ...
- 产品推荐
- 这些文档可能帮助您