产品优势
通过多副本横向扩展均衡分解采集任务，实现动态扩缩，解决开源水平扩展问题。高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动...
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
开源版和商业版介绍
适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力，还对接服务注册中心，支持消息、分布式事务等能力。适合有上云需求、对外（公有云、外部专有云）输出需求的场景。商业版参考文档。各个版本对中间件的支持以及更加详细的...
Hive服务异常排查及处理
解决方案：排查是否有应用层（例如flink作业等）持续调用hive cli，可以关闭持续调用hive cli的应用作业来解决问题。如果没有发现异常应用，可以调整内存及 hive.server2.thrift.max.worker.threads 参数。关于调整内存的具体操作，请参见 ...
如何排查EMR Kafka服务异常
查看最新写入的日志信息，看是否有异常信息输出 tail-f$LOG_DIR_ROOT/kafka/server.log 解决问题，恢复异常服务。定位异常原因后，您可以参考相应的文档解决问题。详情请参见 Kafka常见问题。常见服务异常的处理方法 常见服务异常的处理...
SparkSQL自适应执行
解决问题 SparkSQL自适应执行解决以下问题：Shuffle partition个数 目前SparkSQL中reduce阶段的task个数取决于固定参数 spark.sql.shuffle.partition（默认值200），一个作业一旦设置了该参数，运行过程中的所有阶段的reduce个数都是同一个...
如何解决MSE Nacos开源控制台无法使用问题
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
如何解决MSE Nacos开源控制台鉴权不生效问题
本文介绍如何解决MSE Nacos开源控制台鉴权不生效问题。问题现象 在Nacos的开源控制台中创建了新用户，并为该用户设置了某个命名空间权限，但没有生效（仍然可以访问其他命名空间）。已修改用户密码，且已删除用户，但是程序仍然可以使用旧...
技术支持的范围和方式
自研组件如下：SmartData Bigboot ESS DLF-Auth 协助支持的服务 协助排查EMR产品开源组件的问题，针对开源组件的缺陷或需求，将按照产品规划迭代排期解决。开源组件如下：Hadoop，包括HDFS、YARN和MapReduce。数据集成组件，例如，Flume和...
微服务引擎的线上流量治理
本文介绍微服务引擎的线上流量治理的场景描述、解决问题、架构图及操作参考链接。场景描述 随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中大量企业采用了开源的组件构建微服务，例如Spring Cloud体系或Apache Dubbo等。...
内核发布记录
解决了存算分离模式下compaction scheduler可能遇到的死锁问题。2.5 说明 Serverless StarRocks 2.5版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息，请参见 StarRocks version 2.5。小版本 发布时间 说明 2....
SDK概述
解决Spark Streaming+MNS某些场景下抛空指针问题。解决python sdk的部分BUG。Spark Streaming+Loghub支持自定义时间位置的功能。解决Hadoop无法支持原生Snappy文件问题。目前E-MapReduce支持处理LogService以Snappy格式归档到OSS的文件。...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic command:Replication factor:1 larger than available ...
常见问题
本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路 当发现索引失败时，一般遵循如下排错思路：对于批量索引 如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
Hive作业异常排查及处理
解决方法：可以通过对Hive task进行thread dump定位问题，根据thread dump发现的性能热点针对性优化自定义UDF。引擎兼容问题 Hive和Spark时区不一致导致结果不一致 异常现象：Hive的from_unix_time时区固定为UTC，而Spark使用的是本地时区...
手动执行脚本
在解决异常问题后，您可以单独指定失败的节点再次运行。当集群扩容后，您也可以指定扩容的节点单独运行集群脚本。操作步骤 进入脚本操作页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，...
EMR数据开发（旧版）停止全面支持公告
2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等服务。2024年12月30日0点起，EMR数据开发（旧版）功能将按地域逐步下线。如果您还在使用数据开发（旧版）功能，请尽快将作业及工作...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
什么是图计算服务
Graph Compute 与其他开源图计算相比的优势 问题一：查询性能为什么能比开源好很多 图计算服务内核引擎iGraph在分区并发查询的基础上，通过自研的协程异步框架并发召回，将同步串行磁盘访问改造为异步并行，极大的提高了查询性能；...
Iceberg概述
核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代已经发展成为云上构建数据湖服务的表格式标准。关于Apache Iceberg的更多介绍，请参见 Apache Iceberg官网。目前Iceberg提供以下核心能力：基于HDFS或者对象...
常见问题
计费常见问题 集群管理常见问题 组件常见问题：HDFS常见问题 YARN常见问题 Hudi常见问题 Hive常见问题 HBase常见问题 Kudu常见问题 Spark常见问题 Flink常见问题 StarRocks常见问题 Impala常见问题 ClickHouse常见问题 Zookeeper常见问题 ...
Zeppelin常见问题
org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式：您可以参照以下命令解决该问题。rm-f/usr/lib/zeppelin-current/interpreter/zeppelin-interpreter-shaded-0.10...
如何监控开源Apache Kafka？
本文为您介绍监控开源Apache Kafka的解决方案。如果您需要监控开源Apache Kafka，请参见以下解决方案：Monitoring Kafka Monitoring Kafka performance metrics
访问Web UI
解决方法：访问Web UI，需要ACK集群具备公网Ingress Controller以提供公网可达的域名，并转发请求到相应Service。如果创建ACK集群时没有勾选Ingress组件，则可以按照以下步骤为已有的ACK集群开启公网Ingress服务。进入集群详情页面。登录 ...
产品优势
适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可以节省高达50%以上的费用。支持创建抢占式...
常见问题
当您使用阿里云E-MapReduce（简称EMR）on ACK 时，可以根据本文查找对应的问题场景和解决方案。为什么当ShuffleServiceMaster组件中容器组数量为1时，无法启动？为了保证高可用和正常运行，建议至少将该组件的容器组数量配置为3个。这是...
产品优势
提供超大规格 深度优化内核，解决开源版本千级分区性能瓶颈，支持万级分区性能不受损。支持秒级扩容。支持最高2 GB流量写入。高可用性 阿里云消息产品的研发与性能优化团队，进一步优化了开源产品的痛点，为您提供更优质的服务。数据持久化...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Superset（仅对存量用户开放）
常见问题 问题现象：EMR-4.6和EMR-3.33之前版本的集群，使用admin用户第一次登录Superset的Web UI时，报错invalid login。解决方法：使用SSH方式登录到集群主节点，详情请参见 登录集群。重要 请使用root用户进行以下操作。执行以下命令，...
EMR-3.23.x版本说明
Spark 更新spark thriftserver，解决class loader问题。重构spark事务相关代码，提升稳定性。解决升builtin hive至2.3版本后orc格式读写问题。支持merge into语法。支持scan和stream语法。Structured Streaming Kafka sink支持EOS。delta...
访问OSS出现CopyNotExcecuted问题
本文介绍JindoSDK访问OSS时，出现CopyNotExcecuted问题的原因和解决方法。问题详情 java.io.IOException:ErrorCode:25201,ErrorMsg:OSS Op Error.[ErrorMessage]:Error in xxxxxxxxxx/.hive-staging_hive_xxxxxxxxxxx/_tmp.-ext-10002/...
访问OSS出现AccessDenied问题
本文为您介绍JindoSDK访问OSS出现AccessDenied问题的原因和解决方法。问题详情 Failed test connectivity,operation:getFileStatus,errMsg:[RequestId]:635B6DDE9A1F093434AC6A7C[HostId]:oss-cn-beijing-internal.aliyuncs.com ...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
常见问题
spark.sql.hive.outputCommitterClass=org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter spark.sql.sources.outputCommitterClass=org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter 排查工具 ...，然后再解决问题...
Hadoop DistCp介绍
具体报错：org.apache.hadoop.tools.CopyListing$AclsNotSupportedException:ACLs not supported for file system:hdfs:/xx.xx.xx.xx:8020 建议按照以下方式排查解决：检查旧集群是否有ACL规则要同步。如果有ACL规则要同步，DistCp参数后要...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
Delta Lake概述
Delta基于元数据管理引入了ACID，解决了因数据导入失败而产生脏数据和数据导入时的读写隔离问题。元数据存储了数据的字段信息，Delta提供了数据导入时数据校验功能，保证数据质量。事务功能使得批式读写和流式读写能够互相隔离。说明 ACID...
- 产品推荐
- 这些文档可能帮助您