数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
使用OpenAPI
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
产品优势
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
什么是EMR Serverless StarRocks
EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
新功能发布记录
2024-03-14 管理尽力交付 2023年 2023年10月 功能名称 功能概述 发布时间 相关文档 EMR正式支持倚天云服务器 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性...
Lindorm for Cassandra应用实践
Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
开源支持
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
不同性能压测工具对比
本文选取了目前主流的几种性能压测工具，包括阿里云PTS、Apache JMeter、ApacheBench（ab）、wrk，为您从多方面分析这些压测工具的优缺点。阿里云PTS 性能测试PTS（Performance Testing Service）是阿里云一款商业化的性能测试工具。支持按...
Superset（仅对存量用户开放）
Superset是一款轻量级BI工具。您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-...
免费体验Lindorm宽表性能&价格力
可以看到，随着压测任务的进行，Lindorm实例和开源自建HBase实例的 吞吐量 和 P99时延 发生了变化：吞吐量对比：Lindorm实例的吞吐性能是开源HBase实例的10倍以上。这说明相同条件下，Lindorm实例的承压能力明显强于开源HBase实例。毛刺率...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
在EMR集群运行TPC-DS Benchmark
修复开源工具配置问题。部分参数在Hive 2和Hive 3等开源版本中不支持，继续使用TPC-DS会导致作业报错，所以需要参考以下命令替换参数。sed-i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=...
开源版和商业版介绍
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
StarRocks概述
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
开源自建对比
基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本 需要。需要。不需要。SAE 免运维。硬件成本 按峰值固定保有包年IaaS，...
选型配置说明
Flink、Kafka、YARN OLAP 数据分析场景，其中核心组件ClickHouse是一个面向联机分析处理（OLAP）的开源的面向列式存储的DBMS，与Hadoop和Spark相比，ClickHouse更轻量级。ClickHouse支持线性扩展，简单方便，具有高可靠性和高容错。...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
OSS/OSS-HDFS概述
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。更多信息，请参见 什么...
连接Kyuubi
使用Beeline连接Kyuubi 您可以用Hive Beeline或者Kyuubi Beeline工具（EMR集群上的工具名称为 kyuubi-beeline）连接Kyuubi Server。以下示例使用Kyuubi Beeline工具连接Kyuubi。方式一：使用Zookeeper连接Kyuubi服务（推荐）kyuubi-beeline...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
如何解决MSE Nacos开源控制台无法使用问题
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
EMR-3.34.x版本说明
改进Spark Beeline工具的易用性。Hive 优化了部分默认配置。性能优化：增强CBO。支持一键开启或关闭LDAP功能。升级Calcite版本至1.12.0。增加参数 hive.security.authorization.sqlstd.confwhitelist.append。Presto 支持一键开启或关闭...
登录集群
格式为 emr-user@[主节点公网IP地址]，例如 emr-user@10.10.*.*。单击 Open。本地使用Windows操作系统（通过命令配置信息）打开CMD，输入以下命令登录集群。ssh-i私钥文件在本地机上的存储路径>emr-user@<主节点公网IP地址>SSH密码方式 ...
- 产品推荐
- 这些文档可能帮助您