访问OSS出现CopyNotExcecuted问题
本文介绍JindoSDK访问OSS时，出现CopyNotExcecuted问题的原因和解决方法。问题详情 java.io.IOException:ErrorCode:25201,ErrorMsg:OSS Op Error.[ErrorMessage]:Error in xxxxxxxxxx/.hive-staging_hive_xxxxxxxxxxx/_tmp.-ext-10002/...
访问OSS出现AccessDenied问题
本文为您介绍JindoSDK访问OSS出现AccessDenied问题的原因和解决方法。问题详情 Failed test connectivity,operation:getFileStatus,errMsg:[RequestId]:635B6DDE9A1F093434AC6A7C[HostId]:oss-cn-beijing-internal.aliyuncs.com ...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
JournalNode出现异常
本文介绍JournalNode出现异常的原因和解决方案。具体报错 JournalNode日志出现：org.apache.hadoop.hdfs.server.namenode.FSImage:Caught exception after scanning through 0 ops from/current/edits_inprogress_0000000000000191004 ...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
产品架构
EMR开源优化 EMR基于开源社区版本的组件，增强了其性能和功能，例如：Spark中增加了Spark Streaming SQL，性能较开源版本有大幅提升，详情请参见 简介。Delta Lake相较开源版本增加了ZOrder和Data Skipping能力，详情请参见 Delta Lake概述...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
微服务引擎的线上流量治理
通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。解决问题 快速集成：通过JavaAgent技术实现Spring ...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
如何排查EMR Kafka服务异常
本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。排查异常 说明 本文以Kafka Broker服务为例说明。登录EMR on ECS控制台，确认服务状态。说明 当组件状态不是 运行中 或者健康状态不是 良好，则说明组件存在异常。查看服务日志。...
免费体验Lindorm宽表性能&价格力
构建资源和环境配置对等的云原生多模数据库 Lindorm和开源社区版HBase，基于相同的性能测试工具和测试方法，一键开启测试任务，直观展示对比结果，带您所见即所得地感受Lindorm和开源社区版HBase在 吞吐性能 和 P99时延 两方面的对比。...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
开源版和商业版介绍
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
产品优势
稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本概述。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
合作伙伴及开源生态
同时，SOFAStack 也积极参与了多个重要开源社区，如 SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）加入了 OpenMessaging 社区贡献能力。活动与社群 SOFALab 源码共建 SOFALab 为 SOFAStack 社区发起源码解析系列文章的共建活动，该系列...
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
IMPALASHELL
IMPALASHELL任务类型用于提交Impala任务，对数据进行查询、分析和处理操作。本文为您介绍创建IMPALASHELL类型任务时涉及的参数。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：...
HDFS Web UI介绍
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
创建阈值报警规则
云监控（CloudMonitor）是阿里云的一种监控告警服务，当您需要监控E-MapReduce资源的使用和运行情况时，可以通过创建阈值报警规则，实现监控项超过设定阈值后自动发送报警通知的功能，帮助您及时了解监控数据异常并快速进行处理。...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
关于MSE Nacos新版本取消开源控制台登录页的公告
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
HIVECLI
说明 如果读表或者删除表时任务运行失败，日志报错信息中包含 java.net.UnknownHostException 信息，处理方法请参见 Hive读表或者删除表时报错java.lang.IllegalArgumentException:java.net.UnknownHostException: emr-header-1.xxx 。...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
开源自建对比
Serverless 应用引擎 SAE（Serverless App Engine）是面向应用的Serverless PaaS平台，提供成本更优、效率更高的一站式应用托管方案，容器新手也可以体验Serverless、K8s和微服务。您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
功能特性
由ASM托管的控制面支持的功能 网格管理 功能 开源社区 标准版 企业版 旗舰版 基于UI控制台的网格实例部署、升级管理等全生命周期管理 支持ACK当前支持中的全部版本（包括ACK托管版和专有版集群,以及支持ECI on ACK模式）支持ASK当前支持中...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
应用场景
使用StarRocks统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在StarRocks中进行分析，也可以使用External Catalog和外部表进行数据湖上的分析。典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景...
STREAM语句
背景信息 E-MapReduce支持SET和STREAM两种方法配置WriteStream参数，推荐使用STREAM方法配置WriteStream的必要参数，包括checkpointLocation、outputMode、triggerType和triggerIntervalMs。语法 CREATE STREAM queryName OPTIONS...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
EMR Spark功能增强
背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，基于开源组件，优化和增强阿里云部署环境。功能增强 Spark针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Spark 3.1.1 支持数据湖格式Delta Lake和...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
- 产品推荐
- 这些文档可能帮助您