开源项目
本文介绍阿里云容器服务Kubernetes版主要使用的开源项目。项目分类 项目名称 项目简介 项目地址 参考文档 核心组件 Kubernetes Cloud Controller Manager for Alibaba Cloud 为Kubernetes应用创建负载均衡，管理节点路由条目。Cloud-...
使用SASL登录认证Kafka服务
使用SSH方式登录Kafka集群，详情请参见 登录集群。执行以下命令，创建用于登录的用户名和密码。kafka-configs.sh-bootstrap-server core-1-1:9092-alter-add-config 'SCRAM-SHA-256=[password=client-secret],SCRAM-SHA-512=[password=...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
阿里云OSS-HDFS（JindoFS服务）快照使用说明
本文主要介绍如何使用OSS-HDFS服务中的快照功能。背景信息 阿里云OSS-HDFS服务（JindoFS服务）是OSS新推出的存储空间类型，兼容HDFS接口，支持目录以及目录层级，通过JindoSDK 4.x可以兼容访问OSS-HDFS服务。OSS-HDFS服务的快照功能在使用...
快速开始
ChatGLM 说明 支持的领域/任务：aigc 目前在大模型服务平台上对外提供的ChatGLM模型服务主要包含ChatGLM2和ChatGLM3模型，均是由智谱AI出品的大规模语言模型。ChatGLM2是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型...
快速开始
当前在灵积平台部署服务时使用的ModelScope社区模型id：ZhipuAI/chatglm2-6b，模型版本：v1.0.2。ChatGLM3是ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性...
快速使用
当前在灵积平台部署服务时使用的ModelScope社区模型id：AI-ModelScope/BiLLa-7B-SFT，模型版本：v1.0.5。更多信息可以参考ModelScope上 BiLLa的开源repo。快速开始 前提条件 已开通服务并获得API-KEY：开通DashScope并创建API-KEY。已安装...
快速使用
当前在灵积平台部署服务时使用的ModelScope社区模型id：AI-ModelScope/BELLE-LLaMA-13B-2M，模型版本：v1.0.1。更多信息可以参考ModelScope上 BELLE-LLaMA的开源repo。快速开始 前提条件 已开通服务并获得API-KEY：开通DashScope并创建API-...
使用前须知
阿里云开源大数据平台E-Mapreduce（EMR）联合日志服务推出日志功能，用于将EMR日志投递到日志服务进行查询分析。本文介绍EMR日志相关的资产、费用、使用限制等信息。资产详情 自定义的Project和专属Logstore 您可以自定义一个Project，系统...
快速开始
更多信息可以参考 Dolly的开源repo。快速开始 前提条件 已开通服务并获得API-KEY：开通DashScope并创建API-KEY。已安装最新版SDK：安装DashScope SDK。示例代码 以下示例展示了调用Dolly API对一个用户指令进行响应的代码。说明 需要使用您...
阿里云OSS-HDFS（JindoFS服务）回收站使用说明
使用OSS-HDFS服务的回收站功能时，客户端在执行删除操作时会先将待删除文件移动至特定回收站目录，然后由服务端按照预定策略自动清理该回收站目录下的数据。删除文件说明 当您从OSS-HDFS服务删除文件时，文件不是被立即删除，会先被挪到/...
开源Flink写入OSS-HDFS服务
开源Flink不支持流式写入OSS-HDFS服务，也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务，需要结合JindoSDK。说明 如果您不希望通过Flink流式写入OSS-HDFS服务前部署JindoSDK，您可以...
Celeborn
本文为您介绍如何使用Celeborn服务。背景信息 目前Shuffle方案的缺点如下：Shuffle Write在大数据量场景下会溢出，导致写放大。Shuffle Read过程中存在大量的网络小包导致的Connection reset问题。Shuffle Read过程中存在大量小数据量的IO...
使用Remote Read和Remote Write地址以实现开源与云上...
本文以开源 Prometheus 将监控数据写入阿里云 可观测监控 Prometheus 版 服务为例介绍如何使用Remote Read地址和Remote Write地址。使用限制 Remote Write和Remote Read接口暂不支持HTTP/2。前提条件 已接入 Prometheus，具体操作，请参见...
实践教程
EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 基于DataFlow集群的Flink服务使用CTAS语句同步MySQL数据至StarRocks 基于实时计算Flink使用CTAS语句同步MySQL数据至StarRocks 使用Flink...
如何解决MSE Nacos开源控制台无法使用问题
说明 不建议使用开源控制台，请使用MSE控制台，MSE控制台功能丰富且更安全。解决方案 确认是否已经打开鉴权功能。具体操作，请参见 Nacos Client访问鉴权。若已开启鉴权功能，请使用MSE控制台对Nacos进行操作。若未开启鉴权功能，请确认...
在Hue WebUI使用HBase服务
使用限制 集群需要添加HBase服务。注意事项 EMR-3.35.0及后续版本或EMR-4.9.0及后续版本的Hadoop集群，需要您在Hue配置页签，删除 app_blacklist 参数值中的 hbase。进入HBase Browser 进入详情页面。登录 阿里云E-MapReduce控制台。在顶部...
访问HBase
本文介绍如何配置HBase集群以及HBase存储服务使用流程。前提条件 已创建集群，并添加HBase服务，详情请参见 创建集群。HBase配置 您可以在创建HBase集群的 软件配置 页面，利用 高级设置 的 软件自定义配置 功能，结合使用场景，修改HBase...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
通过开源Sentinel SDK接入
操作步骤 使用开源组件Sentinel将应用接入AHAS应用防护以及连接控制台的具体操作，请参见 新手指南。若您已接入Sentinel控制台，您可以将Pom包中的 sentinel-transport-simple-http 模块替换为 ahas-sentinel-client 模块，接入AHAS应用...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce...服务使用问题，详情请参见 常见问题。
同步EMR Kafka数据至OSS-HDFS
本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS（JindoFS服务）。背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好...
应用市场
但对于在使用过程中因开源软件本身产生的缺陷而导致业务受损的情况，ACK不提供赔偿或者补偿等商务服务。您需要主动升级集群中已安装的软件，及时修复由开源软件引起的缺陷和问题。相关文档 使用Helm简化应用部署 基于Helm的发布管理
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
EMR Workflow商业化公告
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
新功能发布记录
2024-03-14 管理尽力交付 2023年 2023年10月 功能名称 功能概述 发布时间 相关文档 EMR正式支持倚天云服务器 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性...
微服务引擎的线上流量治理
使用微服务引擎的线上流量治理，可以快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等。通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告...
EMR旧版数据开发迁移公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
EMR数据开发停止更新公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
EMR数据开发（旧版）停止全面支持公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
开通Workflow服务
使用RAM用户（子账号）时，则必须授予 AliyunEMRWorkflowAdmin 权限策略，详情请参见 为RAM用户授权。授权完成后，您便可以使用RAM用户继续开通Workflow服务。开通流程 您可以通过此方式在Workflow支持的地域开通Workflow服务。步骤一：...
HBASE-HDFS
HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS概述。在以下情况下，将自动生成HBase-HDFS服务：当您选择了OSS-HDFS和HBase服务，并勾选...
通义千问开源系列 大语言模型
通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和qwen-72b-chat几个版本。开发者可以通过以下链接，了解如何通过大模型...
什么是EMR Serverless Milvus
开源兼容性 100%兼容开源Milvus全托管服务，提供与原生软件交互性一致的产品使用体验，并默认提供开源可视化工具Attu。高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。实例可...
使用Cruise Control
使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，启动Cruise Control服务。cd$KAFKA_ROOT/cruise-control-current/./emr-cruise-control-start.sh 查看Cruise Control日志。您可以通过以下命令，查看该目录下的日志文件。通过...
阿里云账号角色授权
首次使用E-MapReduce服务时，您需要使用阿里云账号为E-MapReduce服务授权名为AliyunEMRDefaultRole、AliyunECSInstanceForEMRRole或AliyunEmrEcsDefaultRole的服务角色。授权成功后，您可以在RAM控制台上查看角色，并为角色挂载策略。角色...
Iceberg数据源
自定义元数据服务 如果使用自定义元数据服务，则需要您在StarRocks中开发一个Custom Catalog类（Custom Catalog类名不能与StarRocks中已存在的类名重复），并实现相关接口，以保证StarRocks能够访问自定义元数据服务。Custom Catalog类需要...
访问模式
并且在创建SLB服务时，如果 实例类型 选择的是 私网，则在选择专有网络时，必须选择与EMR ClickHouse集群相同的VPC。通过原生JDBC访问ClickHouse集群 获取主机的IP地址。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和...
- 产品推荐
- 这些文档可能帮助您