通过智能洞察排查异常情况
针对此类问题，ARMS应用监控提供主动诊断功能，帮助您快速准确地定位应用中各类异常，提供异常分析报告，进而解决应用响应时间过长等问题。步骤一：安装ARMS探针 为应用安装ARMS探针后，才能对应用进行全方位监控。请根据实际需求选择一种...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
日志分析
将应用的日志采集到日志服务SLS，并在ARMS应用配置中配置相应的Project和Logstore后，您即可在ARMS中通过日志服务进行日志分析。当应用出现业务异常问题时，您可以通过分析业务日志，精准定位业务异常。重要 ARMS应用监控面向已开通新版...
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
自定义配置
说明 语言 列显示 图标的应用为接入应用监控的应用，显示-图标的应用为接入 可观测链路 OpenTelemetry 版 的应用。在上方导航栏选择 应用配置>自定义配置。设置自定义配置参数，设置完成后，单击 保存。采样设置 在 采样设置 区域，可以为...
什么是应用监控
多维调用链分析 通过ARMS应用监控提供的调用链分析工具，您可以自由组合筛选条件与聚合维度对调用链进行实时分析，轻松应对查看耗时大于指定时间的慢调用时序分布，查看错误请求在不同机器上的分布，查看VIP客户的流量变化等典型的线上问题...
什么是用户体验监控
以用户体验为切入点，完整再现用户操作过程，从页面打开速度（测速）、请求服务调用（API）和故障分析（JS错误、网络错误等）稳定性（JS错误、崩溃、ANR 等）方面监测前端应用性能表现情况，并支持日志数据查询，帮助您快速跟踪定位故障...
弹性伸缩概述
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 添加弹性伸缩规则 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性伸缩（仅Hadoop集群类型）查看...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
调用链分析
通过 调用链分析 页面对应用的调用链信息进行分析后，您可以查看链路中部分监控指标的时序曲线，以及调用链列表、应用拓扑和全链路聚合信息。功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控>应用列表。在 应用列表 页面顶部选择目标...
配置镜像目标架构
如果您希望在一个集群里同时存在 linux/amd64、linux/arm64 的Worker，存在以下两种使用场景：场景 建议 优缺点分析 不同的应用运行在不同的架构上 推荐。优点：可控性高，可避免不同架构的节点性能不一致带来的性能问题。缺点：需为ARM...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
简介
数据迁移 OSS之间数据迁移 第三方数据源迁移到OSS 从Amazon S3上的应用无缝切换至OSS 使用ossimport迁移数据 数据备份和容灾 备份存储空间 数据库备份到OSS 数据直传OSS Web端直传实践 移动端直传实践 数据处理与分析 通过MaxCompute查询和...
产品对比
本文对比分析了几款主流的应用配置类产品。迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，更好的安全和稳定性）。您需要在ACM控制台导出配置，然后在MSE控制台导入之前导出的配置即可完成迁移。...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
创建Hive数据源
Hive分析数据底层的实现是MapReduce、Tez等。Hive的执行程序运行在Yarn上。如果您使用的是Hive，在对接Dataphin进行数据开发或将Dataphin的数据写入至Hive的场景中，您需要先完成Hive数据源的创建。更多Hive信息，请参见 Hive官网。使用...
X-Pack高级特性
Hadoop 插件扩展 数据存储 灵活性 数据类型 全文本搜索 文档数据库 时序/分析 地理空间 SECURITY 数据静态加密支持 字段级安全性 管理 集群式索引 数据快照和还原 汇总索引 搜索和分析 全文本搜索 倒排索引 跨集群搜索 相关性评分 查询DSL ...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
客户案例
客户需求 基于Hadoop开源生态打造，软硬件维护成本高昂，稳定性问题不断，严重影响业务经营分析。线上业务爆发，需求积压严重，期望有整体解决方案，能够快速灵活支持业务发展所需的技术扩展。价值体现 通过MMA工具，15天完成400TB+历史...
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见：E-MapReduce产品概述。支持的...
作业配置指南
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 Spark应用配置参数说明。Spark任务示例 本文以读取OSS...
DataWorks V3.0
E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据...
搭建Spark应用
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
通过JDBC方式连接Trino
创建了包含Trino服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Trino提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，在...
使用ECI运行Spark作业
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
异常分析
本文说明如何查看异常分析，从而了解应用的异常情况。前提条件 接入应用监控 功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控>应用列表。在 应用列表 页面顶部选择目标地域，然后单击目标应用名称。说明 语言 列显示 图标的应用为接...
日志分析
当应用出现业务异常问题时，您可以分析业务日志，精准定位业务异常。应用限制 EDAS标准版不支持日志分析，专业版和铂金版支持日志分析。步骤一：关联业务日志 登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表，在顶部菜单栏选择...
线程分析
应用限制 EDAS标准版不支持线程分析功能，专业版和铂金版支持线程分析功能。功能入口 登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表，在顶部菜单栏选择地域并在页面上方选择微服务空间，在 集群类型 下拉列表中选择 K8s集群，...
基因分析应用
本文介绍基因分析平台中的应用定义，如何在工作空间中创建、编辑和运行应用。基因数据分析工作，需要用户使用不同的生物信息学工具软件，进行一系列复杂的计算过程，才能得到最终的分析结果。以遗传病的数据分析举例，需要进行数据质控、...
操作说明
应用监控 eBPF 版 手动接入应用至应用监控 eBPF 版 通用Kubernetes环境接入应用监控 eBPF 版 应用列表 应用概览 应用拓扑 提供服务 依赖服务 调用链分析 实例监控 其他更多操作请参见 什么是阿里云应用监控 eBPF 版。应用安全 接入应用安全...
线程分析
进行线程分析 线程分析 页面的左侧列表展示了应用的全部线程，您可以根据 CPU耗时 统计快速发现异常线程。选中某一异常线程后，再根据右侧的 CPU耗时 和 线程数 曲线图分析CPU耗时与线程数变化，例如分析每分钟的线程总数是否过多。您还...
线程分析
进行线程分析 线程分析 页面的左侧列表展示了应用的全部线程，您可以根据 CPU耗时 统计快速发现异常线程。选中某一异常线程后，再根据右侧的 CPU耗时 和 线程数 曲线图分析CPU耗时与线程数变化，例如分析每分钟的线程总数是否过多。您还...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
调用链分析参数说明
此处仅介绍了ARMS应用监控调用链分析功能中常见的参数，更多信息，请参见 OpenTelemetry的Tracing数据模型。参数 说明 attributes 用于索引的属性。duration 耗时，单位为纳秒。event 事件，包含时间戳、名称、属性等非索引字段。hostname ...
- 产品推荐
- 这些文档可能帮助您