OpenLDAP
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
应用市场
概述 应用市场的软件应用包括应用目录，应用目录中的软件是容器服务ACK基于开源软件做了适配和二次开发，其中包含了运行一个应用所需要的镜像、依赖和资源定义等。应用目录中有简介、安装步骤、参数配置项、注意事项等信息。您可以通过Helm...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
开源代码参考
阿里云 IDaaS 开源代码库：https://github.com/aliyunidaas 阿里云 IDaaS 将一系列集成样例代码开源，供企业应用的开发者对接使用。 如下为开源代码库。每个库中，都有完整的配置使用、开发说明，请参考：库名 说明 链接 java-spring-...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
开源支持
Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码 Mars。关于Mars的更多说明信息请参见 Mars开发指南。服务支持方式：在Github Mars 中留言或新建Issue。Data collector MaxCompute数据集成工具插件，包括...
E-MapReduce支持倚天云服务器
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
IDaaS“开发友好”设计
功能二：代码开源 IDaaS 提供了一系列针对 SSO 接入、OIDC 设备流对接、账户同步接入等场景的样本代码，以便于开发者下载、查看、复用，详情请查看：开源代码参考。功能三：SDK 与样例代码 针对不同场景，IDaaS 提供管理说明文档、开发说明...
软件使用许可协议
开源软件 甲方授权给乙方的软件中可能包含开源软件，乙方对开源软件的使用应该符合如下要求：（1）遵守相应的开源协议规定，开源协议的约定优于本协议的约定；（2）保留开源软件中原有的许可声明和版权、专利、商标情况等标识；（3）任何情...
迁移场景
软件迁移主要包含以下两种场景：自研软件：指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后...
阿里云RPA软件用户协议
3.甲方授权给乙方的软件中可能包含开源软件，乙方对开源软件的使用应该符合如下要求：（1）遵守相应的开源协议规定，开源协议的约定优于本协议的约定；（2）保留开源软件中原有的许可声明和版权、专利、商标情况等标识；（3）任何情況下，...
迁移概述
其中，软件迁移支持迁移自研软件和开源软件：自研软件：指开发者开发的或者基于开源软件增强开发的软件。具体操作，请参见 源码迁移。开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
Demo App《软件许可协议》
开源软件 阿里云授权给您的软件中可能包含开源软件，您对开源软件的使用应该符合如下要求：（1）遵守相应的开源协议规定，开源协议的约定优于本协议的约定；（2）保留开源软件中原有的许可声明和版权、专利、商标情况等标识；（3）任何情況...
通用软件漏洞收集及奖励计划第四期
G Fastjson 阿里巴巴 G Xstream 开源软件 G Apache-Shiro Apache G YApi接口管理平台 开源软件 G Alibaba-Druid 阿里巴巴 G Apache-Axis2 Apache G phpMyAdmin 开源软件 G SonarQube Sonar H Gitee 深圳奥思网络科技有限公司 H Harbor 开源...
Lindorm for Cassandra应用实践
可调一致性（无需repair数据）服务模式 自建 集群托管或者Serverless可选 可靠性 无SLA保障，开源软件BUG需要自行修复。SLA保障，并具备主备双活、备份、异地容灾等能力。冷热分离 不支持 透明冷热分离降低成本 全文检索 不支持 兼容CQL...
Spark批式读写Iceberg
由于EMR集群的Iceberg软件包与开源依赖包存在一定差异，例如EMR Iceberg默认集成了DLF Catalog，所以建议您在本地使用provided方式引入开源Iceberg依赖进行代码编译，打包放到集群上运行时使用集群环境中的依赖。配置Catalog。使用Spark ...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
HBase Thrift Server
背景信息 Thrift是一个可伸缩，跨语言服务RPC框架，集成了强大的软件堆栈及代码生成引擎，使得各种语言做到无障碍，高效通信，目前支持C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Go、Cocoa、JavaScript、Node.js和...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
创建EMR Studio集群
数据开发存储 EMR Studio集群的数据都会存在OSS上，即使您的EMR Studio集群销毁了，您可以通过重新创建集群来恢复原有集群的状态（包括您的Notebook以及Airflow调度的作业），并且代码和配置都不会丢失。EMR Studio集群会在您所选OSS路径下...
支持的检测规则
代码补丁推荐 基于业界和学术界流行的缺陷检测手段，并分析和规避其局限性，云效通过自研算法，更精准高效的分析代码缺陷并推荐优化方案，该算法被国际软件工程大会（ICSE）收录。代码补丁推荐服务目前应用于合并请求的代码自动扫描场景，...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
快速使用EMR on ACK
kubectl apply-f spark-pi.yaml-namespace<集群对应的namespace>本文示例代码中的<集群对应的namespace>，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在 集群详情 页面查看。返回如下信息。sparkapplication....
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
产品优势
您基于开源框架编写的算法代码或模型代码，几乎无需进行修改。AI分布式训练通信优化库AIACC-ACSpeed AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）作为阿里云自研的AI训练加速器，专注于分布式训练场景的通信优化功能，在训练...
生命周期策略
背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，...
生命周期策略
背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，...
扩容集群
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
什么是多端低代码开发平台魔笔
什么是低代码开发平台 低代码开发平台（LCDP）英文全称为Low-Code Development Platform，它是一种软件开发方法，可以更快地以最少的手工编码交付应用程序。通过在图形界面中使用可视化建模来组装和配置应用程序，开发人员可以跳过所有基础...
通义千问开源系列 大语言模型
预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和...
什么是EMR Serverless Milvus
开源兼容性 100%兼容开源Milvus全托管服务，提供与原生软件交互性一致的产品使用体验，并默认提供开源可视化工具Attu。高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。实例可...
授权信息
开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持JSON格式，其通用结构如下：{"Version":"1","Statement":[{...
产品优势
优势 说明 开箱即用 100%兼容开源社区产品Nacos、ZooKeeper和Eureka，业务代码无需任何改造，修改集群注册中心地址后，可快速使用。注册配置中心全托管 提供全托管集群，您无需关注引擎的资源购买、监控、运维和容灾问题，只需专注于业务...
大语言模型
模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
- 产品推荐
- 这些文档可能帮助您