查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
性能测试
写入时空数据耗时少。存储成本低于开源GeoMesa（HBase）和云数据库MongoDB分片集群，能够降低20%~50%的存储成本。在大部分查询场景中查询性能较高，性能高于开源GeoMesa（HBase）或者云数据库MongoDB分片集群的2~3倍。Lindorm Ganos引擎在...
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
性能诊断
Top耗时链路 数据查询和数据处理过程中，耗时最长的一段链路及其对应的时长，例如：规格建议 在您编辑仪表板的过程中，若出现了可能会影响到报表性能的操作（比如：添加了过多的 图表、Tab组件 等），性能诊断 将会给出提示，并且入口处会...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
创建倍速转码任务
比如：原视频越长、文件体积越大、帧率/码率/分辨率越高，处理耗时越长。越复杂的编码协议、越高的压缩率，处理耗时越长。通常：AV1>H.265>H.264。越复杂的处理，处理耗时越长。通常：音视频增强>视频转码>音频转码>转封装。提交任务数超过...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
全局二级索引（GSI）
PolarDB MySQL版 支持在分区表上创建全局二级索引（Global ...由以上的测试结果可以看出：在查询条件不包含分区键的场景中，执行 SELECT、UPDATE 和 DELETE 命令时，使用全局二级索引的执行耗时较短，且数据量越大执行耗时差异越明显。
可观测性能力介绍
当某个Key含有较多数据成员或者占用较大内存时，可以将其称为大Key（Big keys），若未能及时处理大Key会导致执行命令的耗时增加，严重时甚至引发内存溢出（Out Of Memory）。您可以通过 云数据库Redis版 的 实时Top Key统计 功能，帮助定位...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
查询管理与分析
在 运行中大查询 页面，您可以直观监测到大查询操作的各项关键性能指标，包括扫描的数据总量、已处理行数以及CPU和内存的耗时情况。慢查询 在左侧导航栏，选择 诊断与分析>慢查询。在 慢查询 页面，单击待查看的 查询ID，进入该查询的详情...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
日志监控
关键词 标签示例 说明 avg 慢查询耗时avg 数据节点慢查询平均耗时。max 慢查询耗时max 数据节点慢查询最大耗时。分布 慢查询耗时分布 秒间隔时间内，慢查询数量分布。例如：0 ms≤search_time_ms（慢查询耗时），此区间分布了11020条慢查询...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
可观测性能力
当某个Key含有较多数据成员或者占用较大内存时，可以将其称为大Key（Big keys），若未能及时处理大Key会导致执行命令的耗时增加，严重时甚至引发内存溢出（Out Of Memory）。您可以通过 实时Top Key统计 功能，帮助定位热Key与大Key，实时...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
实时请求trace
请求处理耗时 处理目标请求消耗的时间。单位为毫秒（ms）。默认值为1000。请求返回大小 目标请求返回的响应数据的大小。单位为字节（bytes）。默认值为0。表名 指定追踪的表。Encoded region name 数据表分片编码后的分片名。Method 用户...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
集群数据库监控详情
该监控数据为以下几类请求数之和：Insert Replace Update Delete 服务端每个事务平均处理时间 transaction_rt 事务平均处理耗时，单位：μs。会话数 all_session 租户数据库的当前会话数。请求等待队列耗时 request_queue_time SQL 在等待...
Echarts 大规模散点图
本文介绍Echarts 大规模散点图的图表样式和配置面板的功能。图表样式 配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产...
Echarts 大规模散点图
本文介绍Echarts 大规模散点图的图表样式和配置面板的功能。图表样式 样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
常见问题
查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息，如果比其他的Task处理的数据量大很多，则说明出现了倾斜问题。如何预估Hive作业并发量的上限值？Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
Query Profile介绍
NetworkTime 数据包传输时间（不包括接收后处理时间）。WaitTime 由于发送端队列满而导致的等待时间。NetworkBandwidth 网络带宽。Source 指标 说明 SenderWaitLockTime 等锁时间。BytesReceived 接收的数据大小。DecompressChunkTime 解压...
日志位点监控
复制槽类型与 PolarDB 集群中的节点类型相对应，replica节点与主节点共用一份数据，主节点与replica节点的同步如果断开，对主节点的影响较大，需要及时处理。standby节点与主节点类似传统PostgreSQL的主备，各自有独立的数据。复制槽类型...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
- 产品推荐
- 这些文档可能帮助您