表指标
可通过下拉框选择表，右方选择时间可查看具体时间段内详细指标...指标项 含义 处理后的文档大小 处理后的文档大小 数据处理端到端耗时 数据处理端到端所耗费的时间 实时内存使用量 实时内存使用量 实时内存使用率 实时内存使用占总内存的比率
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
2024年
MaxCompute近实时增全量一体化架构介绍 2024-04-24 新增基于MaxFrame实现大语言模型数据处理 新说明 相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础，而MaxFrame分布式计算能力可以帮助您更加高效、...
MaxCompute近实时增全量一体化架构介绍
数据库整库 实时同步写入 当前数据库系统与大数据处理引擎都有各自擅长的数据处理场景，面对一些复杂的业务需求，往往需要同时运用OLTP（联机事务处理）、OLAP（联机分析处理）及离线分析引擎来对数据进行全面且深入的分析与处理，因此数据...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
实例指标
end2EndLatency_default API推送数据的延迟指标 dumpSegmentLatency 批次切换时数据节点dump实时数据segment的耗时 processedDocSize 已经处理完成的文档的大小 rtIndexMemoryUseRatio 数据节点中实时内存使用率 若有收获，就点个赞吧
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
一键诊断
AnalyticDB for MySQL 推出 一键诊断 功能，可针对指定时间段的集群运行状况发起诊断，结合监控数据、日志数据以及库表状态等信息进行联合分析，从集群的资源水位、负载变化、查询SQL、算子、存储等多方面评估集群的健康状况，帮助您提高...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
集群自定义监控报表
集群数据库 sql_insert_rt Insert 语句平均处理耗时 集群数据库 sql_other_rt DDL、DCL、DTL 等其他语句平均处理耗时 集群数据库 sql_replace_rt Replace 语句平均处理耗时 集群数据库 sql_select_rt Select 语句平均处理耗时 集群数据库 ...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
监控报警概述
实时监控提供终端用户登录云电脑的实时数据（例如用户在线数量、在线时长的前十用户、平均登录时间和云电脑网络延迟分布情况）以及相关故障预警信息，以便快速准确定位，迅速处理故障，避免因资源、网络问题或者外部操作原因造成不必要的...
应用场景
数据库加速 以大型互联网公司为例，每天处理的数据量级都在PB，每天更新的网页以亿计，每24小时更新的日志超过PB，因此需要大型的集群处理大规模的数据。在处理大规模数据时，数据仓库的性能直接影响数据本身的处理能力。f3实例得益于FPGA...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
TCP协议客户端大版本发布
消息轨迹 缺少非普通消息的轨迹数据和消费堆积场景的相关数据。增加了消息消费环节的轨迹数据，可根据异常、失败及耗时等条件查询消息轨迹。增加了定时、事务等消息场景的数据。OpenTelemetry标准，可关联到整个调用链路。新增轨迹参数如下...
普通表快速转换为RANGE分区表
而原生MySQL普通表转分区表功能则需要校验并重写数据，耗时较长，且随数据量的增加耗时会变长。表大小 原生MySQL普通表转分区表 PolarDB 普通表快速转RANGE分区表 1 GB（6001215 rows）52.24秒 0.10秒 10 GB（59986052 rows）8分钟45.82秒 ...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
租户自定义监控报表
sql_all_rt SQL 语句平均处理耗时。sql_delete_rt Delete 语句平均处理耗时。sql_insert_rt Insert 语句平均处理耗时。sql_other_rt DDL、DCL、DTL 等其他语句平均处理耗时。sql_replace_rt Replace 语句平均处理耗时。sql_select_rt ...
实例指标
Searcher_phase1 指标项 含义 inQpsPhase1 数据节点在Qps阶段1 searcherProcessLatencyPhase1 数据节点查询一阶段处理延迟 sessionLatencyPhase1 数据节点查询一阶段处理 Session耗时 beforeSearchLatency 数据节点查询init耗时 ...
事务监控详情
在事务详情页面，您可查看租户事务处理相关的监控数据信息。查看事务监控数据 事务页签中默认展示了近 1 小时的事务处理数量，事务平均执行时间，事务日志等相关信息。可查看如下监控数据信息：说明 可通过监控图标名称后的问号？查看不同...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
数据传输服务概述
受服务构架限制，MaxCompute Tunnel服务在以下几种场景中会出现偶发的请求延迟问题（单次上传、下载10MB数据耗时从秒级增长到分钟级）。共享Tunnel服务资源用满（CPU/网络带宽）持续时间：几分钟~几小时。受服务架构限制无法避免，有强保障...
常见问题
连接云电脑后看到的数据盘容量低于对应桌面模板选择的数据盘大小，怎么处理？上传文件到云电脑中，有大小限制吗？使用云电脑时，怎么上传和下载文件?是否支持修改云电脑的系统时间？应用市场中的应用是否可以按照包年包月或按量付费的方式...
离线异步任务场景
提交后立即返回 在触发调用后立即得到返回，从而不因长耗时处理阻塞业务主逻辑的执行。实时感知任务状态 离线GPU任务需要查看执行中的状态以及中途主动取消执行的能力。并行处理 离线GPU任务需要处理大量数据，对GPU资源供给要求高，并行...
服务支持
Windows/macOS客户端 暂未支持云电脑数据备份和恢复。请在支付宝或微信小程序内操作。支付宝/微信小程序 无影云电脑每天会自动备份该云电脑内所有磁盘（包括系统盘、数据盘）的数据，该数据备份称为快照。您可以在快照管理界面查看自动生成...
Spark概述
使用场景 离线ETL 离线ETL主要应用于数据仓库，对大规模的数据进行抽取（Extract）、转换（Transform）和加载（Load），其特点是数据量大，耗时较长，通常设置为定时任务执行。在线数据分析（OLAP）在线数据分析主要应用于BI（Business ...
数据导入常见问题
建议根据当前请求导入的数据量，计算出大致的导入耗时，并根据导入超时时间来适当地调大客户端的请求超时时间，从而避免客户端多次提交该请求。报错“ETL_QUALITY_UNSATISFIED;msg:quality not good enough to cancel”，该如何处理？运行 ...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
自定义区域下钻层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
基础折线图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
基础折线图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
- 产品推荐
- 这些文档可能帮助您