产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
OSS/OSS-HDFS概述
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。更多信息，请参见 OSS-HDFS服务概述。JindoData是阿里云开源大数据团队自研的数据湖存储加速套件...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
生命周期策略
从应用稳定性、资源弹性、处理性能、访问安全性以及API兼容性等多个方面来看，老产品将面临越来越多的挑战，逐步被新产品所取代。通过对产品进行生命周期管理，有节奏地引入新产品和新发行版本，能够更好地帮助您跟上技术发展的步伐，提升...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
生命周期策略
从应用稳定性、资源弹性、处理性能、访问安全性以及API兼容性等多个方面来看，老产品将面临越来越多的挑战，逐步被新产品所取代。通过对产品进行生命周期管理，有节奏地引入新产品和新发行版本，能够更好地帮助您跟上技术发展的步伐，提升...
查看Flink作业日志和访问Flink Web UI
您也可以通过API等方式连接Kubernetes集群，详情请参见 使用Kubernetes API。执行以下命令，转发Flink作业JobManager的服务到本地进行访问。kubectl port-forward-n<yourClusterId>svc/basic-emr-example-rest 18088:8081 说明 示例代码中...
提交Flink作业
方式二：通过kubectl工具提交作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过kubectl工具连接集群。您也可以通过API等方式连接Kubernetes集群，详情请参见 使用Kubernetes API。新建 basic-emr-example.yaml ...
EMR旧版数据开发迁移公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
不同性能压测工具对比
本文选取了目前主流的几种性能压测工具，包括阿里云PTS、Apache JMeter、ApacheBench（ab）、wrk，为您从多方面分析这些压测工具的优缺点。阿里云PTS 性能测试PTS（Performance Testing Service）是阿里云一款商业化的性能测试工具。支持按...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
登录集群
通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或...
新功能发布记录
支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。2023-04-24 什么是EMR Notebook 2023年3月 功能名称 功能概述 发布时间 相关文档 新增Flink Table Store组件 Flink Table Store是一个流批统一的湖存储格式，支持高吞吐的...
EMR数据开发停止更新公告
它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR Workflow更多信息，请参见 什么是EMR Workflow。停止更新时间 2022年2月21日21点 影响 您在停更...
StarRocks概述
本文为您介绍什么是StarRocks，以及StarRocks的特性和应用场景。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用...
API 网关
API 网关（API Gateway）提供高性能、高可用的 API 托管服务，帮助用户对外开放其部署在 ECS、容器服务等阿里云产品上的应用，提供完整的 API 发布、管理、维护生命周期管理。用户只需进行简单的操作，即可快速、低成本、低风险地开放数据...
迁移方案
对接自建平台 如果您自建了一套大数据平台，则DataFlow集群也可以轻松集成进您现有的平台中：资源管理与运维 DataFlow集群基于YARN进行资源调度与管理，因此只需要按照集成YARN集群到已有平台的通常操作进行即可。您可以根据需要配置YARN...
API概览
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入...
快速使用EMR on ACK
准备工作 创建EMR on ACK集群前，需要在 容器服务管理控制台，进行以下操作：创建Kubernetes集群，详情请参见 创建Kubernetes专有版集群 或 创建Kubernetes托管版集群。添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 授予...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
API说明
API类型 API详情 账号相关 Admin API 仪表盘相关 Dashboard API 仪表盘权限相关 Dashboard Permissions API 仪表盘版本相关 Dashboard Versions API 告警相关 Alerting API(unstable)告警配置相关 Alerting Provisioning API 注释相关 ...
API说明
API类型 API详情 账号相关 Admin API 仪表盘相关 Dashboard API 仪表盘权限相关 Dashboard Permissions API 仪表盘版本相关 Dashboard Versions API 告警相关 Alerting API(unstable)告警配置相关 Alerting Provisioning API 注释相关 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
绑定/解绑 API
绑定 API 在 授权管理 页面，找到目标应用，单击其名称进入该授权应用详情页。在打开的 绑定的 API 标签页中，单击 API 列表右上方的 绑定 API。在弹出的 绑定 API 窗口中，勾选需要绑定的 API。单击页面底部的 确认，即可完成绑定。解绑 ...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
管理 API 分组
API 列表：列出了该 API 分组下所有的 API 以及 API 的概览信息，比如 API 名称，前端协议类型、OperationType/接口名称、请求路径、方法、状态、后端服务类型等。在此列表，您还可以对各个 API 进行下线、发布、删除等操作。在列表右上方...
API网关监控
本文主要介绍管理员如何在API网关查看API的调用情况。概述 API网关的监控支持查看 region（地域）、分组、以及API 的监控图表，监控图表的指标主要包含请求数、流量、延时、HttpStatusCode。1.region监控 1.1 登录 API网关控制台。1.2 点击...
管理日志
日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请参见 快速入门。使用限制 本文操作仅适用于数据湖（DataLake）...
Hive元数据说明
数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
ClickHouse概述
EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础上优化了ClickHouse的读写性能，提升了ClickHouse与EMR其他组件快速集成的能力。特性 特性 描述 列式...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
缩容集群
当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。使用限制 支持对EMR集群的Task节点缩容，集群还需满足以下条件：EMR集群...API方式，详情请参见 DecreaseNodes-缩容。
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
数据服务
加工后的数据供应用读取：通过数据工具对数据进行加工汇总后，业务应用希望读取这部分加工后的数据进行业务处理，则可通过API的方式快速输出。当需要变更读取的逻辑时，只需要调整API背后的数据逻辑，而不需要重新发布应用。目前API网关...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
什么是EMR Workflow
提供与Apache DolphinScheduler兼容的接口和使用体验，支持开源DolphinScheduler和EMR旧版数据开发作业的一键迁移。产品功能 EMR Workflow具有如下功能：支持多种任务类型。例如 SHELL、SPARK、HIVECLI 等多种类型的任务调度。可视化的任务...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
- 产品推荐
- 这些文档可能帮助您