什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
应用视图
应用视图页面是通过采集主机进程与网络数据，来展示主机部署应用的拓扑架构。您可以通过筛选进程类型，查看进程的拓扑图和详细信息。本文介绍如何在应用视图中查看进程。操作步骤 登录 AHAS控制台，在左侧导航栏选择 故障演练>架构感知。在...
网关接入物联网平台
对比网关上本地的拓扑表，如果有某个子设备在网关本地的拓扑表中、而不在云端获取的拓扑表中，表示用户已经通过物联网平台提供的接口删除了这个子设备，网关需要将将该子设备从网关本地拓扑表中移除，并将该子设备从网关的接入网络删除。...
功能特性
可观测链路 OpenTelemetry 版 该产品针对 PHP、C++、Go、Node.js 等多语言应用，提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力，并基于 OpenTelemetry 开源标准，兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报...
功能特性
可观测链路 OpenTelemetry 版 该产品针对 PHP、C++、Go、Node.js 等多语言应用，提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力，并基于 OpenTelemetry 开源标准，兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报...
通义千问开源系列 大语言模型
预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和...
监控任务性能
数据传输服务DTS（Data Transmission Service）提供了任务性能的监控功能，能够展现链路拓扑结构以及相关性能数据。您可以在控制台通过DTS实例获取到任务的链路状态信息和多种性能指标，为您管理任务提供参考依据。操作步骤 登录 数据传输...
节点池服务拓扑管理
背景信息 在边缘计算场景下，边缘节点通常具备很强的区域性、地域性或者其他逻辑上的分组特性（比如具有相同的CPU架构、运营商或云提供商），不同分组的节点间往往存在网络不互通、资源不共享、资源异构、应用独立等明显的隔离属性。...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
拓扑感知调度
在 容器服务 Kubernetes 版 中，可以结合Gang调度能力以及拓扑感知调度能力，实现Pod在多个拓扑域中重试，直到找到一个能够满足整个作业拓扑域的功能。更进一步，可以结合 容器服务 Kubernetes 版 的节点池以及ECS的部署集能力，将Pod调度...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
使用阿里云账号登录ASM网格拓扑
ASM自1.16.4.5版本起，网格拓扑支持与阿里云RAM访问控制进行对接。您可以使用主账号或阿里云RAM用户直接登录ASM网格拓扑。本文介绍如何使用阿里云账号登录ASM网格拓扑。前提条件 已创建ASM实例，且版本为1.16.4.5及以上。具体操作，请参见 ...
使用阿里云账号登录ASM网格拓扑
ASM自1.16.4.5版本起，网格拓扑支持与阿里云RAM访问控制进行对接。您可以使用主账号或阿里云RAM用户直接登录ASM网格拓扑。本文介绍如何使用阿里云账号登录ASM网格拓扑。前提条件 已创建ASM实例，且版本为1.16.4.5及以上。具体操作，请参见 ...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
HDFS的部署拓扑
本文分别为您介绍非高可用集群和高可用集群的HDFS组件的部署拓扑信息。非高可用集群 节点 组件 描述 master-1-1（部分版本为 emr-header-1）NameNode NameNode对外提供读写服务。SecondaryNameNode SecondaryNameNode合并NameNode的edits...
什么是EMR Serverless Spark
高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。开放架构与生态集成 EMR Serverless Spark与阿里云OSS-HDFS/OSS，数据湖构建DLF，以及DataWorks无缝对接，为客户提供了最大程度...
Zeppelin常见问题
Zeppelin执行时无法正常启动Interpreter 影响版本：EMR-5.6版本。报错现象：报错信息如下。org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式：您可以参照以下命令...
开启托管模式的网格拓扑
当您需要观测多个集群的流量拓扑，可以使用托管模式的网格拓扑功能。托管模式将网格拓扑服务以弹性容器实例（ECI）的方式部署，提高服务可靠性和易用性。整个网格实例只需要部署一个网格拓扑服务，减少配置的工作量。前提条件 已创建...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
Alink协议
表 1.Alink协议说明 功能 数据格式说明 设备接入 设备身份注册 管理拓扑关系 子设备上下线 消息通信 设备属性、事件、服务 设备期望属性值 设备管理 子设备禁用、启用、删除 设备标签 设备网络状态 设备分发 设备影子 设备任务 文件上传 ...
JournalNode EditsLog异常导致NameNode启动失败
解决方案 登录对应的JournalNode节点，观察JournalNode的启动状态和日志，参见 HDFS的部署拓扑 和 HDFS服务日志。如果JournalNode的日志无明显异常，可检查机器安全组设置，测试NameNode节点到JournalNode节点的网络联通性。如果...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
管理集群
网络管理 Service管理 Ingress管理 服务发现DNS 组件管理 管理组件 应用管理 工作负载 应用调度 配置管理 安全管理 安全 可观测性 日志管理 监控管理 调度 任务调度：任务调度概述 使用Gang scheduling 使用Capacity Scheduling 共享GPU...
开启网格拓扑提高可观测性
当您需要可视化监控服务间的交互时，可以开启网格拓扑功能。通过网格拓扑图，您可以实时监测服务的健康状态，分析服务间的延迟和通信问题，了解流量在服务间的分布和流转，以便您快速发现和解决问题，确保服务的可靠性和高性能水平。功能...
开启网格拓扑提高可观测性
当您需要可视化监控服务间的交互时，可以开启网格拓扑功能。通过网格拓扑图，您可以实时监测服务的健康状态，分析服务间的延迟和通信问题，了解流量在服务间的分布和流转，以便您快速发现和解决问题，确保服务的可靠性和高性能水平。功能...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
Flink（VVR）作业配置
VVR提供企业版StateBackend，性能是开源版本的3~5倍。在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、...
NodeAttributes
名称 类型 描述 示例值 object VpcId string 专有网络 ID。vpc-bp1tgey2p0ytxmdo5*ZoneId string 可用区 ID。cn-beijing-h SecurityGroupId string 安全组 ID。EMR 只支持普通安全组，不支持企业安全组。sg-hp3abbae8lb6lmb1*RamRole ...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
什么是可观测链路 OpenTelemetry 版
可观测链路 OpenTelemetry 版 为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提高微服务时代下的开发诊断效率。产品架构 可...
什么是可观测链路 OpenTelemetry 版
可观测链路 OpenTelemetry 版 为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提高微服务时代下的开发诊断效率。产品架构 可...
应用拓扑
应用拓扑 页面展现了全局范围内运行的应用，在指定时间段内的性能数据和拓扑结构。应用拓扑示例图 示例图说明：1 小时：表示指定时间之前 1 小时。时间间隔有 5 分钟到 24 小时的多个选项。2020-09-03：表示指定的日期。14:59：表示指定的...
登录集群
确保本地服务器与集群主节点网络连通。您可以在创建集群时打开 挂载公网 开关，或者在集群创建好之后在ECS控制台上为主节点挂载公网，为主节点ECS实例分配固定公网IP或EIP，详情请参见 绑定辅助弹性网卡。集群安全组已开放22端口。登录集群...
Presto概述
注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino概述。基本特性 Presto使用Java语言进行开发，具备易用、高性能和强...
迁移方案
经典网络与VPC网络互通：目前阿里云存在经典网络和VPC两种网络类型。由于E-MapReduce集群是在VPC网络中，而很多用户的业务系统还存在于经典网络中，为了解决此问题，阿里云推出了ClassicLink方案，您可以参见此方案进行网络互访，详情请...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
分片网关
在拓扑任务中，您可以添加分片网关并设定相应的分片维度。如此，拓扑任务在执行过程中，即可根据执行上下文获取的分片配置，动态生成需要执行的分片。本文将快速引导您如何在拓扑任务中使用分片网关。操作步骤 创建拓扑子任务。创建两个或...
- 产品推荐
- 这些文档可能帮助您