什么是专属钉钉解决方案
专属钉钉解决方案是以标准版本钉钉的统一通讯和工作协同两大能力为底座，打造专属安全、专属设计、专属开放的数字化新工作平台的解决方案。本方案为有数据安全管控诉求，有界面和菜单定制需求，希望将分散复杂的系统高效地集成到钉钉的客户...
开源版和商业版介绍
适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力，还对接服务注册中心，支持消息、分布式事务等能力。适合有上云需求、对外（公有云、外部专有云）输出需求的场景。商业版参考文档。各个版本对中间件的支持以及更加详细的...
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
AIOps 解决方案专家服务内容说明
编号 验收里程碑 验收内容 验收完成标志 1 AIOps解决方案设计与验证完成 项目准备、调研评估、设计阶段所有交付物 甲方在线确认《验收报告》2 AIOps解决方案实施完成 实施阶段所有交付物 甲方在线确认《验收报告》9.完成标志 客户验收完成...
什么是云原生数据湖分析
DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。DLA提供与Hadoop体系兼容的过渡方案。为什么同时支持Serverless Presto与Serverless Spark？DLA Serverless Presto是在开源...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
可观测性体系概述
解决方案 方案介绍 适用场景 参考文档 架构可视化感知方案 Kubernetes集群中的业务是运行在节点组成的资源池上，使得定位Pod的调用链路以及拓扑关系非常复杂。如何以可视化的方式监控Kubernetes中的负载状态，以及更好地可视化集群中流量的...
Hive作业异常排查及处理
解决方法：临时解决方案是关闭配置。hive.optimize.dynamic.partition.hashjoin=false MapJoinOperator报错NullPointerException（已知缺陷）报错日志：原因分析：开启了hive.auto.convert.join.noconditionaltask会导致报错。解决方法：...
如何监控开源Apache Kafka？
本文为您介绍监控开源Apache Kafka的解决方案。如果您需要监控开源Apache Kafka，请参见以下解决方案：Monitoring Kafka Monitoring Kafka performance metrics
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
OSS/OSS-HDFS概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
什么是图计算服务
大数据生态，深度对接 对接完整的阿里云大数据及AI产品生态，提供基于MaxCompute+Flink+Graph Compute 的场景化图计算解决方案。图计算服务Graph Compute特点 高性能 查询延时低、数据导入快（千亿数据查询延时2ms以内，数据载入最高达500w...
EMR旧版数据开发迁移公告
说明 如果在作业运行过程中遇到问题，您可以随时联系阿里云EMR团队，他们会提供专业的定位分析和解决方案。阿里云EMR团队+客户 1~4周 四、完成迁移 停止EMR旧版数据开发的工作流调度，全面切换到EMR Workflow。阿里云EMR团队+客户 1~3天 ...
EMR数据开发（旧版）停止全面支持公告
说明 如果在作业运行过程中遇到问题，您可以随时联系阿里云EMR团队，他们会提供专业的定位分析和解决方案。阿里云EMR团队+客户 1~4周 四、完成迁移 停止EMR数据开发（旧版）的工作流调度，全面切换到EMR Workflow。阿里云EMR团队+客户 1~3...
导入解决方案
将某个工作组中下载的解决方案导入到其他工作组或项目，可实现数据治理工作环境的初始化、跨平台的资产发布及迁移，支持通过本地上传和OSS添加的方式导入解决方案。本文介绍如何导入解决方案。前提条件 已在系统设置模块中创建需要导入解决...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
应用场景
典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景，包括GMV、订单、物流、客户分析、推荐系统、用户画像场景。支持离线导入和实时导入两种方式来处理数据。原有解决方案：通过多种OLAP引擎满足不同的场景。...
概述
SOFABoot、中间件服务、Spring Boot 以及 SpringCloud 的关系，示意如下：Spring Boot 是一个非常优秀的开源框架，可以快速、敏捷地开发新一代基于 Spring 框架的应用程序，它并不是用来替代 Spring 的解决方案，而是和 Spring 框架紧密...
JournalNode出现异常
本文介绍JournalNode出现异常的原因和解决方案。具体报错 JournalNode日志出现：org.apache.hadoop.hdfs.server.namenode.FSImage:Caught exception after scanning through 0 ops from/current/edits_inprogress_0000000000000191004 ...
JindoDistCp常见问题
Exception raised while copying data file,verify checksum failed 解决方案 如果OSS中的文件不是通过JindoDistCp从HDFS迁移到OSS的，则需要通过参数-disableChecksum 跳过Checksum检查。代码示例如下。hadoop jar jindo-distcp-${version...
DataNode出现Xceiver数量限制异常
本文介绍DataNode出现Xceiver数量限制异常的解决方案。具体报错 java.io.IOException:Xceiver count xxxx exceeds the limit of concurrent xcievers:xxxx 问题原因 dfs.datanode.max.transfer.threads 参数用来设置DataNode处理读写数据流...
常见问题
当您使用阿里云E-MapReduce（简称EMR）时，可以根据本文查找对应的问题场景和解决方案。计费常见问题 集群管理常见问题 组件常见问题：HDFS常见问题 YARN常见问题 Hudi常见问题 Hive常见问题 HBase常见问题 Kudu常见问题 Spark常见问题 ...
普通用户操作
专属钉钉解决方案中，普通用户的操作和标准版钉钉一致。操作步骤 下载钉钉。激活并加入企业。邀请同事加入企业。使用沟通、DING、考勤、流程审批、日志、智能工资条、钉盘等功能，请参见 钉钉员工手册。icmsDocProps={'productMethod':'...
集群存储根路径没有权限，导致集群服务启动失败的问题
本文介绍集群运行时，由于配置的集群存储根路径（对应Hadoop-Common服务中 fs.DefaultFS 配置项）缺乏访问权限，导致集群的部分服务启动失败的原因和解决方案。问题详情 在E-MapReduce控制台，集群的Hadoop-Common服务 状态 页面的 健康...
开源自建对比
微服务场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE 微服务管理 基于开源自建，探索集成解决方案。基于开源自建，探索集成解决方案。无缝迁移。全套微服务能力，兜底稳定性。监控诊断 根据开源体系自行探索和...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
iOS 冲突处理
开源库名 mPaaS 库名 冲突解决方案 AlipaySDK AlipaySDK 必须使用 mPaaS 版本（解决了与 mPaaS RPC、UTDID 等模块的冲突）同时需要集成 mPaaS_RPC 组件。OpenSSL APOpenSSL 必须使用 mPaaS 版本（对原有国密算法进行优化）。更多详细信息，...
JournalNode EditsLog异常导致NameNode启动失败
本文介绍JournalNode EditsLog异常导致NameNode启动失败的原因和解决方案。具体报错 NameNode日志出现：FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:recoverUnfinalizedSegments failed for required journal...
常见问题
当您使用阿里云E-MapReduce（简称EMR）on ACK 时，可以根据本文查找对应的问题场景和解决方案。为什么当ShuffleServiceMaster组件中容器组数量为1时，无法启动？为了保证高可用和正常运行，建议至少将该组件的容器组数量配置为3个。这是...
概述
系统结构 MaxCompute Spark是阿里云通过Spark on MaxCompute的解决方案，让原生Spark能够在MaxCompute中运行。左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持...
Transaction Table2.0概述
因此当前比较典型的解决方案是Lambda架构，全量批处理使用MaxCompute链路，时效性要求比较高的增量处理使用实时系统链路，但该架构也存在大家所熟知的一些固有缺陷，比如多套处理和存储引擎引发的数据不一致问题，多份数据冗余存储和计算...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...
方案特性
专属钉钉解决方案具备专属安全、专属设计、专属开放的特性。专属安全 移动办公在提升企业工作效率的同时，也会提高在工作中沟通的信息和业务数据资产外泄的风险，专属钉钉解决方案提供终端操作行为管控策略配置，提供禁止消息转发、文件...
HMaster服务异常提示Cannot seek after EOF
本文介绍HBase出现HMaster服务异常的解决方案。具体报错 HBase 2.3.4版本的HMaster一直重启失败，错误日志如下所示。java.io.EOFException:Cannot seek after EOF at org.apache.hadoop.hdfs.DFSInputStream.seek(DFSInputStream.java:1447...
AliPG优势
相比开源版本PostgreSQL，AliPG具有如下特点：更快速度 图像识别、向量相似搜索场景，相比通用解决方案提升上万倍性能。详情请参见 高效向量检索（PASE）。实时营销、用户画像，相比通用解决方案提升上千倍性能。详情请参见 实时精准营销...
EMR集群不支持跨区域访问OSS问题
本文介绍EMR集群不支持跨区域访问OSS问题的原因及解决方案。访问OSS出现 Fail to wait EPOLLOUT 报错详情：[emr-user@core-1-1~]$hadoopfs-lsoss:/jindo-oss-runjob-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/ 2022-11-2817:12:19,926...
Iceberg概述
适用场景 Iceberg作为通用数据湖解决方案中最核心的组件之一，主要适用于以下场景。场景 描述 实时数据导入和查询 数据实时从上游流入Iceberg数据湖，查询侧即可查询该数据。例如，在日志场景中，启动 Iceberg 或 Spark 流作业，实时地将...
如何解决MSE Nacos开源控制台无法使用问题
解决方案 确认是否已经打开鉴权功能。具体操作，请参见 Nacos Client访问鉴权。若已开启鉴权功能，请使用MSE控制台对Nacos进行操作。若未开启鉴权功能，请确认登录框中输入的用户名密码是否正确，可以检测大小写开关或关闭输入法后重试。...
- 产品推荐
- 这些文档可能帮助您