基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
MOSS开源对话语言模型
MOSS是一个支持中英双语和多种插件的开源对话语言模型，MOSS-MOON系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
百川开源大语言模型
概述 百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过大模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。当前在大模型服务平台提供模型定制能力的百川系列模型分别来自于ModelScope...
迁移方案
经典网络与VPC网络互通：目前阿里云存在经典网络和VPC两种网络类型。由于E-MapReduce集群是在VPC网络中，而很多用户的业务系统还存在于经典网络中，为了解决此问题，阿里云推出了ClassicLink方案，您可以参见此方案进行网络互访，详情请...
百川开源大语言模型
概述 百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过灵积模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。当前在灵积平台提供模型定制能力的百川系列模型分别来自于ModelScope社区...
登录集群
确保本地服务器与集群主节点网络连通。您可以在创建集群时打开 挂载公网 开关，或者在集群创建好之后在ECS控制台上为主节点挂载公网，为主节点ECS实例分配固定公网IP或EIP，详情请参见 绑定辅助弹性网卡。集群安全组已开放22端口。登录集群...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
JindoFS实战演示
但是在云上访问云下HDFS数据时可能存在网络延时、带宽限制、作业突发流量导致核心集群磁盘或网络被打满等问题，为解决这些问题，必须引入HDFS缓存加速。本视频为您介绍如何在Hadoop集群上部署缓存服务，以及如何通过JindoFS SDK快速访问...
通过CLI使用ECS实例
Status-|-|-|-|-i-bp14a7xie8erwsvo*|demo01|desc01|m-bp12qhgxbmp5eh02*|Running i-bp1aq39j2yul5y01*|demo02|desc02|m-bp12qhgxbmp5eh02*|Stopped 示例4：查询指定VPC内的ECS实例 假设VPC ID为 vpc-bp1vwnn14rqpyiczj*、交换机ID为 vsw-...
快速开始
LVLM），可以以图像、文本、检测框作为输入，并以文本和检测框作为输出，支持中文多模态对话及多图对话，并具有更好的性能，是首个支持中文开放域的通用定位模型和首个开源448分辨率的大规模视觉语言模型。通义千问VL模型主要有以下特点：...
JindoFS块存储模式
能够最大限度保证执行作业时的数据本地化，减少网络传输的压力，进一步提升读取性能。配置集群 所有JindoFS相关配置都在Bigboot组件中，配置如下图所示。图 1.修改配置项 图 2.新增配置项 说明 红框中为必填的配置项。JindoFS支持多命名...
查询集群基本信息
bp1ftve3lzvpm16i37y1</DiskId><Size>80</Size><Type>system</Type></DiskInfo></DiskInfos><EmrExpiredTime>null</EmrExpiredTime><ExpiredTime>2099-12-31T15:59Z</ExpiredTime><InnerIp>192.168.*.*</InnerIp><InstanceId>i-bp1...
产品优势
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
Celeborn
Shuffle Read过程中存在大量的网络小包导致的Connection reset问题。Shuffle Read过程中存在大量小数据量的IO请求和随机读，对磁盘和CPU造成高负载。对于M*N次的连接数，在M和N数千的规模下，作业基本无法完成。NodeManager和Spark Shuffle...
Presto概述
基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向一个外部数据源，可以通过Connector访问该数据源。一次查询可以访问一个或多个...
BiLLa开源推理能力增强模型
BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型.模型的主要特点：较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练过程增加较多的任务型数据,利用 ChatGPT 生成解析,强化模型理解任务求解逻辑;全量参数更新...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
BiLLa开源推理能力增强模型
BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型.模型的主要特点：较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练过程增加较多的任务型数据,利用 ChatGPT 生成解析,强化模型理解任务求解逻辑;全量参数更新...
API详情
BiLLa 说明 支持的领域/任务：aigc BiLLa模型在灵积平台上的模型名称为"billa-7b-sft-v1。BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型.模型的主要特点：较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练...
API详情
BiLLa 说明 支持的领域/任务：aigc BiLLa模型在大模型服务平台上的模型名称为"billa-7b-sft-v1。BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型.模型的主要特点：较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的...
EMR Serverless StarRocks商业化发布
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
通义系列大模型计费调整通知
本篇内容将介绍通义千问系列大模型推理调用、部署等规格新增计费和计费调整通知。尊敬的伙伴：您好！感谢您一直以来对通义千问大模型和阿里云百炼产品的支持，通义千问大模型部分规格将 2024年3月18日开始或调整计费。分类 商品/规格 调整...
Lindorm for Cassandra应用实践
Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
EMR数据开发停止更新公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
快速使用
BiLLa 说明 支持的领域/任务：aigc BiLLa模型在灵积平台上的模型名称为"billa-7b-sft-v1。BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型.模型的主要特点：较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练...
StarRocks概述
高效更新 StarRocks支持明细模型、聚合模型、主键模型和更新模型，其中主键模型可以按照主键进行Upsert或Delete操作，通过存储和索引的优化可以在并发更新的同时实现高效的查询优化，更好的服务实时数仓的场景。智能物化视图 StarRocks支持...
快速使用
BiLLa 说明 支持的领域/任务：aigc BiLLa模型在大模型服务平台上的模型名称为"billa-7b-sft-v1。BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型.模型的主要特点：较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
快速使用EMR on ACK
集群类型 Spark 通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark...
快速开始
Dolly 说明 支持的领域/任务：aigc Dolly模型是由Databricks出品的大规模语言模型，它在灵积平台上的模型名称为"dolly-12b-v2。该模型是在pythia-12b的基础上，使用databricks-dolly-15k数据集微调得到的。数据集包括头脑风暴、分类、生成...
免费体验Lindorm宽表性能&价格力
Lindorm宽表引擎支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase（Apache HBase）的3~7倍，P99时延为开源HBase（Apache HBase）的1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升10倍，支持冷热分离，压缩率比开源...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
什么是EMR on ECS
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。产品...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
ScalingActivityResult
名称 类型 描述 示例值 object InstanceId string 实例 ID。i-bp1cudc25w2bfwl5*
- 产品推荐
- 这些文档可能帮助您