Knative概述
基于Knative部署函数服务 KServe 部署KServe 基于KServe快速部署一个推理服务 Knative最佳实践 在Knative中使用ECI 基于流量请求数实现服务自动扩缩容 在Knative中使用HPA 通过阿里云Prometheus监控查看Knative大盘 通过云效实现Knative...
迁移场景
本文介绍从x86平台应用软件迁移到倚天云服务器的场景说明。软件迁移主要包含以下两种...当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请参见 开源软件迁移。
使用独立的Trino集群
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
功能特性
性能优化及最佳实践 功能 开源社区 标准版 企业版 旗舰版 启用Multi-Buffer实现TLS加速 支持基于UI控制台的选择性服务发现配置 基于访问日志分析自动推荐的Sidecar资源的配置优化 软硬结合性能优化，NFD自动探测硬件特征，自适应支持诸如...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
什么是EMR Serverless Spark
它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless Spark，企业可以更专注于数据分析和价值提炼，提高工作效率。产品特性 构建企业级全托管的数据...
管理时间同步服务
时间同步服务简介 时间同步服务用于与NTP服务器同步时间以确保ECS实例时间准确，它是基于网络时间协议（Network Time Protocol，简称NTP）实现的。阿里云ECS实例会默认运行Chrony或者NTP服务进行时间同步。关于时间同步服务的更多信息请...
BELLE开源中文对话大模型
BELLE-LLaMA模型是由BELLE出品的大规模语言模型，它在大模型服务平台上的模型名称为"belle-llama-13b-2m-v1。BELLE（BE Large Language Model Engine），一款基于BLOOM和LLAMA针对中文优化、模型调优且仅使用由ChatGPT生成的数据，为中文...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
什么是EMR on ECS
您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，...
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
最佳实践概览
轻量应用服务器提供了部分最佳实践，包括搭建环境、搭建网站、数据传输、迁移服务器以及高可用架构等。您可以根据实际需求，参考相应文档完成服务器的搭建。搭建环境 阿里云轻量应用服务器提供了多种镜像，您可以通过应用镜像快速部署应用...
HBASE-HDFS
HBASE-HDFS服务本质上是基于HDFS的，其主要作用是存放HBase的WAL文件，确保HBase日志的持久化与高可靠性。HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据...
开源MQTT托管设备认证
设备端接入物联网平台的示例代码及相关参数配置说明，请参见 开源MQTT托管设备接入示例。设备联网认证。设备上电联网后，携带设备认证信息向物联网平台发起认证请求。设备激活上线。物联网平台校验设备认证信息通过后，与设备建立连接，...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
产品优势
蚂蚁区块链 蚂蚁区块链 BaaS 平台具备以下优势：高性能 金融科技区块链基于它并行共识的技术，轻松满足金融领域的高频场景应用。高可靠性 业务可靠受理，峰值业务缓冲，基于 PBFT 的共识技术提供高可用的拜占庭容错能力，支持共识状态自动...
开源自建对比
Serverless 应用引擎 SAE（Serverless App Engine）是面向应用的Serverless PaaS平台，提供成本更优、效率更高的一站式应用托管方案，容器新手也可以体验Serverless、K8s和微服务。您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建...
开源支持
本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过编辑代码灵活地操作MaxCompute。MaxCompute提供的SDK如下：Java SDK Java SDK使用说明...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
快速开始
ChatGLM 说明 支持的领域/任务：aigc 目前在大模型服务平台上对外提供的ChatGLM模型服务主要包含ChatGLM2和ChatGLM3模型，均是由智谱AI出品的大规模语言模型。ChatGLM2是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
三方开源大语言模型
当前在大模型服务平台百炼部署的服务分别来自于ModelScope社区模型：llama3-8b-instruct，模型版本:master llama3-70b-instruct，模型版本:master LLaMa3系列模型，模型最大输入为6500，最大输出为1500，仅支持message格式。llama3-70b-...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
EAS使用案例汇总
AIGC 案例名称 描述 5分钟使用EAS一键部署AI视频生成应用 介绍如何通过EAS一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用，快速实现文本生成视频的AI生成解决方案，帮助您完成社交平台短视频内容生成、动画制作等...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
基于Kubeflow或Seldon的在线服务
DataScience集群的KubeFlow服务内置了SeldonCore组件，可以为模型提供在线服务，基于Kubernetes，您无需关心在线服务的运维工作。您可以根据提供的dsdemo代码，将Tensorflow，Pytorch和Python等模型部署到Seldon中。前提条件 已创建...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E...
创建集群
已开通对象存储OSS，详情请参见 开通OSS服务。操作步骤 登录 EMR on ACK控制台。在EMR on ACK页面，单击 创建集群。在 EMR on ACK 页面，完成集群相关配置。参数 描述 地域 创建的集群会在对应的地域内，一旦创建就不能修改。集群类型 支持...
访问模式
重要 TCP监听所使用的虚拟服务器组，其端口应为ClickHouse通过TCP连接到服务器的端口，默认为9000。您可以在EMR控制台ClickHouse服务的 配置 页面，在搜索区域搜索 tcp_port 参数，参数值即为TCP端口。HTTP监听所使用的虚拟服务器组，其...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
开源项目
本文介绍阿里云容器服务Kubernetes版主要使用的开源项目。项目分类 项目名称 项目简介 项目地址 参考文档 核心组件 Kubernetes Cloud Controller Manager for Alibaba Cloud 为Kubernetes应用创建负载均衡，管理节点路由条目。Cloud-...
AI推理服务概述
您应及时关注对应第三方开源社区或商业公司的官网、代码托管平台的版本更新动态并仔细阅读及遵守相应的开源协议，自行承担因第三方组件导致的应用侧程序开发、维护、故障与安全等潜在风险。云原生AI套件支持的AI推理服务类型及描述如下。AI...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
OSS/OSS-HDFS概述
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。更多信息，请参见 什么...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
AuditLog使用说明
2020-07-09 18:29:24.689 allowed=true ugi=hadoop(auth:SIMPLE)ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs:/test-block/test/test.snappy.parquet dst=null perm=:rwxrwxr-x 使用AuditLog 进入SmartData服务。...
- 产品推荐
- 这些文档可能帮助您