使用限制
本文介绍在使用EMR Serverless StarRocks服务时的相关限制。付费类型：支持包年包月和按量付费方式。实例名、数据库名、表名、逻辑视图名、列名、分区名、用户名、角色名：只能由数字(0-9)、字母(a-z或A-Z)，以及下划线(_)组成。用户名...
产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
通过函数计算节点发送邮件
本文为您介绍如何在DataWorks中通过函数计算节点调用函数计算服务，并实现发送邮件功能。背景介绍 DataWorks当前已经支持通过函数计算节点调用函数计算服务，在函数计算服务中可以自定义各种功能，最终可通过DataWorks进行调用。前提条件 ...
查看服务监控和节点状态
在 指标监控 页面的 Dashboard 下拉框中，选择FE服务和BE服务查看监控数据。查看节点状态 进入StarRocks的状态页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，单击目标集群操作列的 集群...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
访问权限控制
阿里云E-MapReduce（简称EMR）的ClickHouse集群中，主要提供了四种服务配置项以配置ClickHouse集群，包括客户端配置、服务端配置、用户权限配置和拓展配置。本文为您介绍ClickHouse服务的用户权限配置。背景信息 用户访问权限配置在 server...
Hive巡检项及服务关键指标说明
GetTable、CreateTable Time等相关元数据操作的时间消耗，如果时间存在放大趋势或者存在异常，需要检查Metastore内存或后端数据库性能是否已经到瓶颈，根据内存GC情况或后端数据库执行Query时间长短判断进行HiveMetaStore的内存调整或升级...
选型配置说明
ClickHouse、StarRocks、Zookeeper DataServing 数据服务场景，提供更灵活、可靠、高效的数据服务集群。提供HBase服务，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
Spark Native引擎使用说明（Beta）
本文为您介绍Spark Native引擎在使用过程中的限制，以及如何在Spark3服务中开启Native引擎。背景信息 Spark Native引擎存在部分使用上的限制，在遇到限制场景时，Spark Native引擎会在对应的Spark Stage进行回退（fallback，表示回退到原生...
阿里云OSS/OSS-HDFS服务透明缓存加速
兼容原生OSS/OSS-HDFS存储方式，文件以对象的形式存储在OSS/OSS-HDFS上，每个文件根据实际访问情况会在本地进行缓存，提升访问OSS/OSS-HDFS的效率，同时兼容了原有OSS/OSS-HDFS文件形式，数据访问上能够与其他OSS/OSS-HDFS客户端完全兼容，...
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
服务支持
本文档汇总了E-MapReduce的产品...产品公告 EMR Workflow公测说明 EMR旧版数据开发迁移公告 发布记录 新功能发布记录 常见问题 EMR on ECS常见问题 服务等级协议 E-MapReduce服务等级协议（SLA）E-MapReduce Serverless服务等级协议（SLA）
集群容灾能力
本文介绍E-MapReduce集群数据容灾和服务容灾能力。数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，...
阿里云产品服务协议
阿里云产品的服务协议，请参见 阿里云产品服务协议。
附录：DataWorks访问DLF的服务关联角色
应用场景 DataWorks访问DLF的服务关联角色（AliyunServiceRoleForDataWorksAccessDLF）的应用场景如下：授权DataWorks访问DLF资源（catalog、数据库、表、字段）。允许DataWorks对用户DLF里的资源进行授权操作。允许DataWorks对用户DLF里的...
产品服务协议
详情请参见：产品服务协议。
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
DataWorks数据集成服务关联角色
本文为您介绍如何获取DataWorks数据集成相关的RAM角色列表、删除服务关联角色，以及子账号如何创建服务关联角色所需要的权限。应用场景 当您通过RAM角色授权模式创建DataWorks数据源时，请选择相关的自定义RAM角色来访问数据源，例如OSS。...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
丰富服务组件健康检查项
丰富YARN、HDFS、Hive、Kafka和Zookeepe健康检查 适用客户 全网用户 新增功能/规格 丰富YARN、HDFS、Hive、Kafka和Zookeeper的健康检查项，以提升组件健康状态的准确度。产品文档 查看服务和组件健康状态
查询服务的快捷链接
ServiceName String 否 SPARK 服务名称：SPARK RANGER GANGLIA HDFS YARN 返回数据 名称 类型 示例值 描述 QuickLinkList Array of QuickLink 快捷链接列表。QuickLink Port String 8443 服务端口。Protocol String https 链接协议。...
快速体验
生成数据API 通过DataWorks的 数据服务 功能，将数据表快速生成API，并发布至网关统一管理，供第三方服务使用。数据展示：Quick BI 通过Quick BI搭建面向不同业务需求的可视化大屏，可视化展示数据结果，便于进行业务数据分析。操作演示...
重启服务
修改配置项后，需要重启对应的服务使配置生效。本文为您介绍如何重启服务。前提条件 已在E-MapReduce上创建on ACK的集群，创建详情请参见 快速入门。操作步骤 进入服务详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群...
DataWorks服务等级协议（SLA）
DataWorks服务等级协议（SLA）的详情，请参见 阿里云数据工场服务等级协议。
新增服务
E-MapReduce支持在集群成功创建后，新增未安装的服务。本文为您介绍如何在E-MapReduce控制台上新增服务。前提条件 已创建集群，且集群状态为运行中。创建集群的具体操作，请参见 创建集群。使用限制 集群状态为运行中。集群内所有节点状态...
回滚配置
E-MapReduce支持在控制台对各服务参数新增、修改、删除配置项等操作进行配置回滚。本文为您介绍如何通过E-MapReduce控制台回滚各服务的参数配置。前提条件 已对服务配置进行实际的操作变更。操作步骤 进入集群服务页面。登录 E-MapReduce...
E-MapReduce本地盘实例大规模数据集测试
大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...
开通Workflow服务
首次在指定地域使用Workflow时，您必须在该地域开通Workflow服务。本文为您介绍如何开通Workflow。前提条件 已通过阿里云账号（主账号）完成默认角色授权，详情请参见 EMR Workflow角色授权。权限说明 您可以使用阿里云账号（主账号）或RAM...
添加服务
调用 AddClusterService 接口，为指定的集群添加当前集群的主版本支持的某项服务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
查看集群服务信息
在集群服务页面，您可以查看集群中已安装服务（例如，HDFS和YARN等）的运行状态，组件列表及配置项信息。前提条件 已创建集群，详情请参见 创建集群。操作步骤 进入集群服务页面。登录 E-MapReduce控制台。在左侧导航栏，单击 EMR on ECS。...
功能简介
数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码、可视化构建全场景专家模型，重塑大数据服务创新模式。将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，...
集群存储根路径没有权限，导致集群服务启动失败的问题
本文介绍集群运行时，由于配置的集群存储根路径（对应Hadoop-Common服务中 fs.DefaultFS 配置项）缺乏访问权限，导致集群的部分服务启动失败的原因和解决方案。问题详情 在E-MapReduce控制台，集群的Hadoop-Common服务 状态 页面的 健康...
阿里云产品服务协议
阿里云产品的服务协议，请参见 阿里云产品服务协议。
- 产品推荐
- 这些文档可能帮助您