在EMR集群运行TPC-DS Benchmark
修复开源工具配置问题。部分参数在Hive 2和Hive 3等开源版本中不支持，继续使用TPC-DS会导致作业报错，所以需要参考以下命令替换参数。sed-i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=...
使用定制版 confd 以无侵入方式使用 ACM 配置
confd 是一款开源轻量配置管理工具，通过将存储于 etcd、Dynamodb、Redis、Vault、Zookeeper 等后端存储系统的数据与配置模板结合起来使用，可实现保持配置处于最新状态的目的。confd 支持的后端存储系统不包括 ACM，因此本文以支持 ACM 的...
使用OpenAPI
Terraform 支持 Terraform是一种开源工具，用于安全高效地预览，配置和管理云基础架构和资源。EMR支持的资源类型为 alicloud_emrv2_cluster。若以上方案均无法满足您的业务需要，可自行封装请求调用OpenAPI（不推荐），更多信息请参见 ...
实时模式配置概述
配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
新功能发布记录
新增 利用RAM角色实现跨账号访问ACM 2018-10-13 功能名称 功能描述 功能类型 相关文档 兼容开源版Nacos配置管理的接口 ACM全面兼容开源版Nacos配置管理的接口，使用Nacos客户端可以直接连接ACM服务，支持Spring、Spring Boot、Spring Cloud...
开源RabbitMQ迁移上云
创建Shovel任务，将Source配置为开源RabbitMQ集群的服务地址和队列名称，Destination配置为 云消息队列 RabbitMQ 版 的EndPoint和队列名称。EndPoint的查看方式，请参见 查看实例详情 修改开源RabbitMQ队列消费者的接入点、用户名、密码，...
什么是EMR Serverless Milvus
兼容开源Milvus生态 全面兼容开源Milvus系统，提供了Attu等丰富的开源管理工具，更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验，基于阿里云...
利用配置中心规范构建 PaaS 服务配置
Spring Cloud Config：Spring Cloud 官方配置中心工具，主要用于 Java Spring 领域。ZooKeeper：虽然具备部分配置中心能力，但是由于定位于分布式协调信息管理，因此只适合在应用规模不大的情况下用作配置中心。鉴于其使用广泛，此处也将其...
OpenLDAP
OpenLDAP是一种开源软件，您可以使用OpenLDAP提供的命令行工具ldapadd、ldapdelete、ldapmodify等来管理用户，使用ldif文件进行用户管理。这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
免费体验Lindorm宽表性能&价格力
构建资源和环境配置对等的云原生多模数据库 Lindorm和开源社区版HBase，基于相同的性能测试工具和测试方法，一键开启测试任务，直观展示对比结果，带您所见即所得地感受Lindorm和开源社区版HBase在 吞吐性能 和 P99时延 两方面的对比。...
测试结果分析
前提条件 基于以下环境配置，性能测试工具和测试方法分析本文的测试结果。环境配置的详情请参见 测试环境。性能测试工具的使用请参见 性能测试工具。测试方法请参见 测试方法。吞吐量对比测试结果 相同规格下，20亿行数据量的吞吐量对比...
迁移上云操作
ACL：若开源自建集群开启了ACL认证，则选择该参数，并配置Admin账号信息，以确保 云消息队列 RocketMQ 版 迁移工具具备查询路由、消费者状态等权限。ACL 用户名 开源自建集群的Admin账号。仅开源自建集群开启了ACL认证时需要配置。admin ...
微信小程序接入
配置小程序 AppID 在 manifest.json 中配置您的小程序 appid，项目初期没有时可不填，或者也可以在小程序开发者工具设置。本地开发运行 配置完成后点击菜单栏中的 运行->运行到小程序模拟器->微信开发者工具，就会对代码进行打包，并自动...
产品优势
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
使用ACM简化Spring Cloud微服务环境配置管理
ACM与Spring Cloud Config的简单对比 对比项 Spring Cloud Config 阿里云ACM Spring Cloud无缝集成 支持 支持 源码分发方式 开源 即将开源 收费模式 免费 免费 大规模（超10万配置）生产验证 无公开的大规模生产验证案例 阿里巴巴数据中心...
Hadoop DistCp介绍
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
产品优势
自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群管理工具部署到EMR环境，详情请参见 管理引导操作 和 集群脚本。自主运维：您可以登录Master节点，查看集群日志和部署环境，优化和部署配置，详情请参见...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
Hadoop集群迁移至DataLake集群
（可选）软件自定义配置 如果您导出了旧平台集群中的服务配置，或计划在创建集群流程中预置配置，则可以在新平台集群创建流程中开启软件自定义配置，并将编辑好的配置粘贴输入框中，详细使用方法请参见 配置自定义软件。硬件配置 在 查看...
开源自建对比
监控诊断 根据开源体系自行探索和开发，自行集成诊断工具和维护服务端，并搭建报警渠道。根据开源体系自行探索和开发，自行集成诊断工具和维护服务端，并搭建报警渠道。提供系统级别监控、应用级别和调用链监控。提供应用诊断功能。支持...
使用场景
通过在前端 JavaScript 埋入 ACM 的配置内容（如三方库版本号，静态资源 URL 等），在运营活动发布时，运营人员可以通过运营工具修改 ACM 配置规则，直接让前端 JavaScript 的展示生效。ACM 为应用的业务场景推送带来以下好处：通过配置将...
功能特性
创建Gateway集群 配置Gateway集群 为了方便部署Gateway环境，E-MapReduce提供了名为EMR-CLI的工具，它基于阿里云ECS来创建实例并部署Gateway环境。使用EMR-CLI自定义部署Gateway环境 EMR on ACK 功能集 功能 功能描述 参考文档 集群管理 ...
版本特性
修复开源控制台发布中文配置出现乱码的问题。修复Golang SDK初次拉取失败，不再重试或重试状态异常，导致服务提供者数量不对的问题。修复Eureka协议频繁打印日志的问题。修复nacos-nodejs-sdk发布中文出现乱码的问题。MSE Nacos更好地支持...
测试环境
测试使用的工具为自研的benchmark工具，如需了解该工具的详细设计，可通过Lindorm钉钉值班或者提工单联系我们。环境配置 网络类型为VPC网络，保证客户端与服务端处于同一个服务可用区。所有测试均在华东2（上海）地域的可用区G完成。开源自...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Superset（仅对存量用户开放）
Superset是一款轻量级BI工具。您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-...
什么是应用配置管理ACM？
凭借配置变更、配置推送、历史版本管理、灰度发布、配置变更审计等配置管理工具，ACM能帮助您集中管理所有应用环境中的配置，降低分布式系统中管理配置的成本，并降低因错误的配置变更造成可用性下降甚至发生故障的风险。迁移到MSE Nacos ...
Kafka Manager
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
SmartData 3.1.x版本简介
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
在函数中配置官方公共层
说明 版本（只展示核心库的版本号）使用前必读 Python39-Pandas1x Python 3.9 Custom Custom.Debian10 一个基于NumPy的开源的数据分析和处理工具 pandas=1.4.3 numpy=1.23.2 README.md Python39-SciPy1x Python 3.9 Custom 一款开源的科学...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
JindoFS块存储模式
配置集群 所有JindoFS相关配置都在Bigboot组件中，配置如下图所示。图 1.修改配置项 图 2.新增配置项 说明 红框中为必填的配置项。JindoFS支持多命名空间，本文命名空间以test为例。参数 参数说明 示例 jfs.namespaces 表示当前JindoFS支持...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
EMR元数据迁移公告
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
配置变更风险管理
本节介绍了通过配置管理降低配置变更风险的实践方法。迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，更好...ACM 的 API 和控制台均有提供配置信息加密工具，帮助您将信息加密之后再存储到 ACM 里。
- 产品推荐
- 这些文档可能帮助您