EMR数据开发停止更新公告
EMR Workflow更多信息，请参见 什么是EMR Workflow。停止更新时间 2022年2月21日21点 影响 您在停更时间点前创建的数据开发项目不会受到影响，可正常使用EMR数据开发模块，包括运行作业和工作流调度。如果您后续需要更丰富的数据开发功能，...
SQOOP
延时执行时间 否 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 否 该开关默认关闭。打开 超时告警 开关，勾选 超时告警、超时失败，当任务超过 超时时长 后，会发送告警邮件并且任务执行失败。提交...
ClickHouse概述
EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础上优化了ClickHouse的读写性能，提升了ClickHouse与EMR其他组件快速集成的能力。特性 特性 描述 列式...
HTTP
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，勾选 超时告警、超时失败，当任务超过 超时时长 后，会发送告警邮件并且任务执行失败。请求地址 ...
Cluster Linking
export CONFLUENT_HOME=<CP installation directory>export CONFLUENT_CONFIG=$CONFLUENT_HOME/etc/kafka export PATH=${CONFLUENT_HOME}/bin:$PATH#Source集群的Bootstrap Server地址。export SOURCE_ADDRESS=...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
Kafka Rebalancer工具介绍
如果运维时间过长，您可以直接使用kafka-reassign-partitions.sh工具对运维任务进行拆分以便分时段进行运维。需要借助kafka-reassign-partitions.sh工具对运维的过程进行监控，因此需要注意手工保存reassignment的JSON文件，该文件将用作...
IMPALASHELL
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，勾选 超时告警、超时失败，当任务超过 超时时长 后，会发送告警邮件并且任务执行失败。SQL来源 ...
开源版和商业版介绍
无法直接引入开源的 XML，需要换头。模块化开发 支持新的模块格式，不兼容 Sofa3 和 Sofa4 模块。支持新的模块格式，不兼容 Sofa3 和 Sofa4 模块。扩展点支持 支持 说明 从 2.6.0 版本开始支持。支持 说明 从 3.1.0 版本开始支持。SOFA MVC...
Cluster Linking
HOME}/bin:$PATH#Source集群的Bootstrap Server地址 export SOURCE_ADDRESS=<your source cluster access address>#Destination集群的Bootstrap Server地址 export DESTINATION_ADDRESS=配置Source集群访问文件${CONFLUENT_CONFIG}/source....
元数据管理常见问题
如果在HDFS上的数据库和表是手动创建的，在释放集群时候需要清理。解决方法：登录集群的Master节点，在$HIVE_CONF_DIR/hivemetastore-site.xml 中，找到对应数据库的访问地址和用户名密码信息。javax.jdo.option.ConnectionUserName/对应...
REMOTESHELL
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，可设定超时时长，并选择至少一个超时策略。选择 超时告警 策略，当任务运行时长超过设置的超时时...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
DataX
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，勾选 超时告警、超时失败，当任务超过 超时时长 后，会发送告警邮件并且任务执行失败。调度队列 ...
EMR Workflow商业化公告
更多信息，请参见 什么是EMR Workflow。控制台入口：立即前往。支持地域 EMR Workflow支持以下地域。中国地区 地域名称 地域ID 华北2（北京）cn-beijing 华东1（杭州）cn-hangzhou 华东2（上海）cn-shanghai 华南1（深圳）cn-shenzhen 西南...
概述
如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行数据开发，详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR ...
参数说明
本文介绍Hadoop代码中的参数。Hadoop代码中可使用如下参数配置。属性名 默认值 说明 fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID（可选）。fs.jfs.cache.oss-accessKeySecret 无 访问OSS所需的AccessKey Secret（可选）。...
TagResources-打标签
变更历史 变更时间 变更内容概要 操作 2023-10-23 API 内部配置变更，不影响调用 看变更集 变更项 变更内容 API 内部配置变更，不影响调用。2021-10-12 OpenAPI 错误码发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。...
EMR Serverless StarRocks商业化发布
更多信息，请参见 什么是EMR Serverless StarRocks。控制台入口：立即前往。免费试用：EMR Serverless StarRocks 5000CU*H免费试用。支持地域 支持华东1（杭州）、华北2（北京）、华南1（深圳）、华东2（上海）、华北1（青岛）和华北3...
Trino扩缩容
直接缩容会导致当前正在执行的任务失败甚至卡住，建议在没有查询任务正在运行的时候执行缩容操作。如果这种情况已发生，重试失败的查询即可。扩容后操作 扩容完成之后，新节点会自动加入集群。可以执行 select*from system.runtime.nodes ...
Custom Runtime的bootstrap文件没有可执行权限，出现...
Custom Runtime的 bootstrap 文件，一定要具备777或755权限，否则会出现以下错误：{"ErrorCode":"CAFilePermission","ErrorMessage":"The CA process cannot be started due to bootstrap file don't have execute permissions"} 您可以在...
SQL
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，可设定超时时长，并选择至少一个超时策略。选择 超时告警 策略，当任务运行时长超过设置的超时时...
消息引擎与开源Kafka客户端兼容性
本文档介绍消息引擎与开源Kafka客户端兼容性信息，帮助您选择合适的Kafka客户端版本以实现高效且稳定的数据读写操作。兼容 Kafka客户端 版本 消息引擎支持Kafka客户端0.11版本及以上版本的生产或消费接口，您可以根据实际的业务场景选择...
Custom Runtime的bootstrap文件没有可执行权限，出现...
Custom Runtime的 bootstrap 文件，一定要具备777或755权限，否则会出现以下错误：{"ErrorCode":"CAFilePermission","ErrorMessage":"The CA process cannot be started due to bootstrap file don't have execute permissions"} 您可以在...
SHELL
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，可设定超时时长，并选择至少一个超时策略。选择 超时告警 策略，当任务运行时长超过设置的超时时...
HIVECLI
延时执行时间 延时执行时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。超时告警 该开关默认关闭。打开 超时告警 开关，勾选 超时告警、超时失败，当任务超过 超时时长 后，会发送告警邮件并且任务执行失败。提交到Yarn...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
EMR旧版数据开发迁移公告
EMR Workflow更多信息，请参见 什么是EMR Workflow。如果您想将数据开发模块迁移至DataWorks，请参见 EMR数据开发停止更新公告。迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache ...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
EMR元数据迁移公告
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
错误处理
实例启动失败（Failed to start function instance）报错示例 The function cannot be started.Failed to start function instance.Error:the file/code/bootstrap is not exist 报错排查 函数实例启动失败，一般是启动命令异常或者启动...
Spark Native引擎使用说明（Beta）
请注意，EMR on ECS形态已下线Spark Native引擎。目前，仅在EMR Serverless Spark形态提供Fusion Engine（Spark Native Engine）。更多信息，请参见 什么是EMR Serverless Spark。
错误处理
实例启动失败（Failed to start function instance）报错示例 The function cannot be started.Failed to start function instance.Error:the file/code/bootstrap is not exist 报错排查 函数实例启动失败，一般是启动命令异常或者启动...
概述
ZooKeeper是一个分布式、高可用性的协调服务。...基本原理 一个ZooKeeper集群需要由奇数个（2N+1）节点构成，通过内部选举协议选出一个Leader节点，其余为Follower节点。写入数据时，由Leader节点负责统一协调写请求，至少（N+1）个节点投票...
快速入门
bin/kafka-console-producer.sh-bootstrap-server地址>-topic logVehicle说明 您需要下载示例数据 testcar.txt，并将其上传至开源Kafka脚本工具的根目录下。您可以使用./bin/kafka-console-consumer.sh-bootstrap-server地址>-topic ...
通过开源Kafka命令行工具访问消息引擎
Lindorm消息引擎完全兼容开源Kafka API，您可以通过开源Kafka命令行工具，实现基础的Topic或Group的信息查看与运维管理。本文介绍如何通过开源Kafka命令行工具访问消息引擎。前提条件 已安装Java环境，要求JDK为1.8及以上版本。已将客户端...
通过开源Kafka脚本工具连接Lindorm流引擎
Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka脚本工具连接Lindorm流引擎，本文介绍如何通过开源Kafka脚本工具连接Lindorm流引擎。前提条件 已安装Java环境，要求安装JDK 1.7及以上版本。已将脚本部署实例IP地址添加至Lindorm实例...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
- 产品推荐
- 这些文档可能帮助您