大语言模型
模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...
Zeppelin常见问题
Zeppelin执行时无法正常启动Interpreter 影响版本：EMR-5.6版本。报错现象：报错信息如下。org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式：您可以参照以下命令...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Flink（VVR）作业配置
VVR提供企业版StateBackend，性能是开源版本的3~5倍。在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、...
Trino概述
EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言进行开发，具备易用、高性能和强扩展能力等特点，具体如下：完全支持ANSI SQL。支持...
Presto概述
注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino概述。基本特性 Presto使用Java语言进行开发，具备易用、高性能和强...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
概述
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
EMR on ACK商业化公告
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
EMR Serverless StarRocks商业化发布
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
EMR Workflow商业化公告
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
Kerberos概述
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
EMR-3.24.x版本说明
Hive2.3.5+Hadoop2.8.5组合发布。重启组件时不同步 hiveserver2-site.xml 中的内容至spark-conf下的 hive-site.xml。支持使用MSCK命令添加增量目录。修复Hive复用tez container时出现的bug。支持使用MSCK命令优化列目录。Bigboot 升级至2.2...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
生命周期策略
待定 5.6.x 2022-04-21 待定 待定 5.8.x 2022-08-05 待定 待定 5.9.x 2022-10-04 待定 待定 5.10.x 2022-12-01 待定 待定 5.11.x 2023-02-28 待定 待定 5.12.x 2023-06-01 待定 待定 相关服务与通知 基于以上生命周期策略规则，我们将会：...
Celeborn
阿里云Spark已完成Celeborn适配，开源Spark 3.5版本已完成Celeborn适配。spark.celeborn.shuffle.writer Celeborn的wirter支持的模式：hash（默认值）：在Partition并发度过大的情况下会使用较多的内存。sort：使用固定大小内存，在...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
EMR-5.2.x版本说明
EMR-5.x系列的第一个稳定版本。本文介绍EMR-5.2.x版本的发布日期、更新内容和发行版本信息。发布日期 EMR-5.2.1 2021年7月16日 更新内容 服务 变更点 SmartData 升级SmartData至3.6.1版本。版本详情，请参见 SmartData 3.6.x版本简介。Hive...
SmartData 3.1.x版本简介
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
访问HBase
org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Found binding in[jar:file:/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!org/slf4j/impl/StaticLoggerBinder...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
合作伙伴及开源生态
得益于社区的信任和支持，目前已经累积超过 2.5 万的 Star 数和超过 100 家企业用户，并持续朝打造金融级云原生多个技术领域的标杆努力。（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring...
基础使用
Hudi版本 EMR版本 0.6.0 EMR 3.32.0~EMR 3.35.0 EMR 4.5.0~EMR 4.9.0 EMR 5.1.0 0.8.0 EMR 3.36.1~EMR 3.37.1 EMR 5.2.1~EMR 5.3.1 0.9.0 EMR 3.38.0~EMR 3.38.3 EMR 5.4.0~EMR 5.4.3 0.10.0 EMR 3.39.1~EMR 3.40.0 EMR 4.10.0 EMR 5.5.0~...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
新功能发布记录
2022年11月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列：升级至EMR-5.9.1 EMR-3.x系列：升级至EMR-3.43.1 2022-11-08 EMR-5.9.x版本说明 EMR-3.43.x版本说明 管理日志 支持在EMR控制台直接查询开源组件的日志。2022-11-29 ...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
Hive元数据说明
数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如...
通过OSS SDK接入开源生态
您可以通过OSS SDK接入多种开源生态。开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用...
免费体验Lindorm宽表性能&价格力
Lindorm宽表引擎支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase（Apache HBase）的3~7倍，P99时延为开源HBase（Apache HBase）的1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升10倍，支持冷热分离，压缩率比开源...
快速使用EMR on ACK
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
创新、资质和荣誉
技术奖项 2019 年，荣获 OSCAR 尖峰开源技术创新奖（自主研发）2019 年，开源中国 GVP：SOFATracer 2019 年，码云 2019 年度 GVP 2019 年，中国开源云联盟中国优秀开源项目：二等奖 2019 年，SegmentFault 思否 2019 中国技术品牌影响力...
通过客户端方式连接StarRocks实例
使用开源MySQL客户端连接StarRocks 步骤一：下载MySQL客户端并安装数据库 下载 MySQL客户端。执行以下命令，解压缩安装包。tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令，复制解压后的mysql目录到系统的本地软件目录。...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
与开源PostgreSQL性能对比
ecs.c5.4xlarge ecs.c5.4xlarge 并发数 256 256 PostgreSQL版本 14 14 磁盘性能等级 PSL5 cloud_essd+PL3 预留磁盘空间 自动扩容，无限制 4 TB 说明 关于内核参数，PolarDB for PostgreSQL 14的参数与开源PostgreSQL 14性能参数进行了对齐...
- 产品推荐
- 这些文档可能帮助您