开源软件源代码-开源软件源代码文档介绍内容-阿里云

EMR-3.24.x版本说明

支持其他开源已有特性。Grafana 新增组件（Flink独立集群），版本6.4.2。Prometheus 新增组件（Flink独立集群），版本2.13.0。AlertManager 新增组件（Flink独立集群），版本0.19.0。TensorFlow on spark 支持TensorFlow框架置于Spark之上...

创建集群

支持多种数据源，适合PB级海量数据的复杂分析，以及跨数据源的查询。Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的...

漏洞公告|Solr升级修复漏洞

漏洞的详细信息：CVE-2023-50386：攻击者可构造恶意请求利用Backup/Restore APIs造成任意代码执行。CVE-2023-50298：攻击者可构造恶意请求利用Streaming Expressions泄漏相关ZooKeeper凭据。CVE-2023-50292：攻击者可构造恶意请求利用相关...

EMR-5.2.x版本说明

优化CBO（Cost-Based Optimization）、DPP（DynamicPartitionPruning）以及Z-Order等功能，性能比开源Spark 3版本提升50%。支持阿里云Log Service、DataHub和消息队列RocketMQ版（简称ONS）等数据源。Tez 优化Tez默认参数，以提升作业性能...

SmartData 3.1.x版本简介

功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...

应用场景

阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

大语言模型

模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...

JindoFS实战演示

Flume高效写入OSS Flume高效写入OSS 2021-06-01 Flume是一个分布式、可靠、高可用的系统，支持从不同数据源高效地收集、聚合、迁移大量日志数据，聚合到中心化的数据存储服务，被广泛用于日志收集场景中。由于OSS本身不支持Flush功能，而...

快速使用EMR Notebook

EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件已完成系统角色...

三方开源大语言模型

本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息重要三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务模型名称模型描述特征 Llama...

存储说明

本地盘不能选择磁盘数量，只能使用默认配置好的数量，数据也没有后端的备份机制，需要上层的软件来保证数据可靠性。部分缓存或临时测试场景，或者基于3副本存储TB级数据时会使用本地盘，但是该方案会因为磁盘寿命增加额外的运维成本，因此...

MSHA产品和开源产品对比

切换数据源和延迟禁写，包括：PolarDB DRDS ✅ ❌ 通用能力组件功能大类具体功能说明商业产品开源产品网关路由条件路由（入口流量调度）✅ ❌ 注册中心同步服务发现跨集群的服务同步 ✅ ❌ 切流模块命令通道控制面和数据面的...

通义千问开源系列大语言模型

预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和...

新功能发布记录

2023-04-03 湖仓一体新能力：EMR支持Hologres和MaxCompute数据源 Spark支持对接Hologres Spark如何读取Hologres表数据。2023-04-03 Spark对接Hologres 升级节点的配置通过配置升级功能可以提升ECS实例规格。2023-04-03 升级节点配置支持...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

Flink Python参考

背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境使用第三方Python包使用...

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见迁移StarRocks数据至EMR Serverless StarRocks。操作步骤重要集群扩容操作不会重启存量...

什么是EMR Serverless Milvus

开源兼容性 100%兼容开源Milvus全托管服务，提供与原生软件交互性一致的产品使用体验，并默认提供开源可视化工具Attu。高安全性基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。实例可...

什么是EMR on ECS

无额外软件License费用。需提前预估资源，且资源相对固定，资源使用率低。采用Hadoop发行版，需额外支付License费用。性能较开源版本性能大幅提升。采用开源社区版本，性能需自行优化。易用性分钟级别启动Hadoop集群，敏捷响应业务需求。...

合作伙伴及开源生态

活动与社群 SOFALab 源码共建 SOFALab 为 SOFAStack 社区发起源码解析系列文章的共建活动，该系列详细介绍了各个部分的代码设计和实现，由蚂蚁 SOFA 团队和源码爱好者们共同出品。截至目前，SOFALab 源码共建累计完结 4 个系列——SOFARPC...

Trino概述

Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

Presto概述

与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本概念数据模型数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向...

EMR-3.28.x版本说明

更新内容服务变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...

Hadoop集群迁移至DataLake集群

详细数据校验针对每行数据的详尽核查，以保证所有数据项在迁移后与源集群完全一致，这种校验方式能更深入地检测数据的完整性和准确性。作业迁移为了确保旧集群的作业能在新集群上顺利调度执行，针对不同的调度系统和环境，我们需要采取...

Kafka Manager

说明当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...

功能特性

EMR on ECS 功能集功能功能描述参考文档集群管理创建集群您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群释放集群在完成EMR集群任务后及时释放集群，可以释放资源...

安装第三方插件

安装第三方插件，可以在不修改Flume源码的情况下，以插件的方式定制您需要的功能。例如，添加数据源和存储组件等。通过添加JindoFS SDK的插件，可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。前提条件已获取第三...

支持的检测规则

云效支持多语言的代码检测规则，覆盖源码开发质量规范和源码安全，以及依赖包风险漏洞扫描，覆盖CWE\OWASP\SANS\CERT等标准。规则说明规则包名称适用语言规则介绍 Java开发规范 Java 阿里巴巴Java开发规约基于《阿里巴巴 Java 开发手册...

Kerberos概述

在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...

通过客户端方式连接StarRocks实例

使用开源MySQL客户端连接StarRocks 步骤一：下载MySQL客户端并安装数据库下载 MySQL客户端。执行以下命令，解压缩安装包。tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令，复制解压后的mysql目录到系统的本地软件目录。...

StarRocks概述

说明本文部分内容来源于开源StarRocks的什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...

快速使用EMR on ACK

kubectl apply-f spark-pi.yaml-namespace<集群对应的namespace>本文示例代码中的<集群对应的namespace>，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在集群详情页面查看。返回如下信息。sparkapplication....

基础使用

写数据环境配置 EMR-3.32.0以及后续版本中，已经将Hudi相关依赖集成到各个开源组件中，包括Spark、Hive和Presto，因此运行时不需要引入额外的Hudi依赖，只需要在pom文件中添加Hudi依赖即可。不同的EMR版本使用的Hudi版本不同，详细信息请...

产品优势

阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见版本...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

Zeppelin常见问题

EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...

开源软件源代码

新品推荐