数据库高级特性管理
更新数据库统计信息 由于数据库中的数据量和分布会随着时间的推移而发生变化，您可以定期更新统计信息，以保证查询优化器的准确性和性能。使用场景 当数据库进行大版本升级时，新版本可能会引入新的数据类型、存储引擎或查询优化器等，这...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享并授权，才能实现实例间的数据共享。本文介绍 AnalyticDB PostgreSQL版Serverless模式 数据共享相关SQL操作。注意事项 源库和目标库所属的实例在同一地域下，且已加入数据共享。如何将实例加入...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
数据存储
数据模型的选择建议如下：Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合报表类统计分析场景。该模型对 count(*)查询不友好，同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询...
API概览
DescribeBackupStorage 查询实例的备份使用量 查询MongoDB云盘版副本集或分片集群的备份使用量。DescribeBackupTasks 查询实例进行中的备份任务 查询MongoDB云盘版副本集或分片集进行中的备份任务。DescribeInstanceRecoverTime 查询副本集...
排序优化
查询时间受到数据量、计算资源、网络状况等多个因素影响，请以实际为准。ORDER BY加速 排序加速前（未排序）排序加速后 GROUP BY加速 排序加速前（未排序）排序加速后 JOIN加速 排序加速前（未排序）排序加速后 说明 JOIN排序加速需要关闭...
查询Delta表数据
在E-MapReduce中通过Spark创建的Delta表将自动同步到Hive元数据，您可以像使用其他表一样查询Delta表。您还可以通过使用Hive创建外表的方式来查询Delta表。本文为您介绍如何通过Spark创建表和Hive创建外表的方式，在Hive、Presto和Trino中...
会话管理
在会话管理页面 ODC 提供了可视化界面使用户可以清晰直观的查询当前数据库支持的会话变量。查询会话 示例：在 SQL 开发窗口中，查询数据源 obmysql4.2.0 下数据库 odc_test 的所有会话信息。信息项 示例值 所属数据源 obmysql4.2.0 数据库...
RDS MySQL/MariaDB版实例CPU使用率较高
慢SQL导致查询成本高（查询访问表数据行数多）：特征：实例的QPS不高，查询执行效率低、执行时需要扫描大量表数据、优化余地大。表现：存在慢查询，QPS和CPU使用率曲线变化不吻合。原因分析：由于查询执行效率低，为获得预期的结果需要访问...
东软案例
多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本高等问题，东软急需新型运维大数据存储引擎支撑，来对运维系统存储引擎升级...
PolarDB处理TPC-H查询的挑战和机遇
如果您从事查询优化和执行的工作，即使是使用OLTP（在线交易）型的数据库系统，也会和TPC-H打上交道。TPC-H是用来评估在线分析处理的基准程序，主要模拟了一个供应商和采购商之间的交易行为，其中包含针对8张表的22条分析型查询。说明 该...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
应用场景
图数据库GDB针对高度互联数据的存储和查询场景进行设计，并在内核层面进行了大量优化，非常适合营收增长、金融风控、商品推荐、社交推荐、循环担保检测、异常指标监控和违规团伙挖掘等场景。营收增长 图数据库GDB提供智能搜索推荐一体化...
数仓性能优化
此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多的表。拆表：适用于个别字段产出极慢的情况，您可以将字段拆分为单独的表。合表：随着数仓的发展，针对业务重叠或重复的表，您可以进行任务和数据...
数仓性能优化
此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多的表。拆表：适用于个别字段产出极慢的情况，您可以将字段拆分为单独的表。合表：随着数仓的发展，针对业务重叠或重复的表，您可以进行任务和数据...
基本概念
您可以在创建集群时购买EIU，也可以在高吞吐写入或大数据量扫描时购买或扩容EIU。EIU的性能指标，请参见 弹性IO资源（EIU）扩容。ACU ACU，全称为AnalyticDB Compute Unit，是 AnalyticDB for MySQL 湖仓版（3.0）计算资源和存储资源的最小...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
版本发布记录
接入DataWorks任务调度 接入DataWorks任务调度，使得用户能够可视化轻松定制数据湖分析的数据处理流程，实现云上大数据WorkFlow。接入函数计算 接入函数计算，使得用户能够基于这两款Serverless化云产品，构建云原生Serverless工作流。接入...
公共规范
将出现大量空值和零值的统计汇总表，依据其空值和零值分布状况可以做适当的水平和垂直切分，以减少存储和下游的扫描数据量。空值处理原则 汇总类指标的空值：空值处理，填充为零，当前MaxCompute基于列存储的压缩技术不会由于填充大量空值...
查看监控信息
A：查询的返回结果数据量大，导致结果集缓存耗时长，而诊断与优化页面的总耗时=排队耗时+执行计划耗时+执行耗时，不包括结果集缓存耗时。建议您在SQL审计页面查看对应的耗时SQL。相关文档及API 相关文档 调优集群性能 相关API 数仓版API ...
如何减少查询数据点提高查询效率
时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期写入。起始时间和结束时间最好对齐小时自然边界，避免...
关键概念
为了优化查询性能，可以重新调整数据的schema结构，使原来的field（butterflies 和 honeybees）变为tag，tag（location 和 scientist）变为field：name:census time location scientist butterflies honeybees 2015-08-18T00:00:00Z 1 ...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据查询
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
HTAP中的行列混存查询优化
在数据的存储、访问以及部分简单或固定pattern的查询下表现出色，为了达到这一点，MySQL的查询优化器做了大量与其执行模型相关的优化。例如，在查询优化阶段执行并消除子查询、基于索引消除order by子句等，这类优化在MySQL的查询优化与...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 重要 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 注意 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
查询监控图和SQL列表介绍
返回到客户端的数据量不宜过大，数据量过大会导致查询占用前端队列资源，影响其他查询的提交和执行。用户可以根据返回数据大小进行排序，找到返回数据量较大的查询。用户名 客户端建立连接时使用的用户名。在 诊断与优化 页面，单击 连接...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务...说明 由于查询区块链数据的方式多样化，您需要根据数据类型填写对应的查询参数方式。单击 查看数据返回结果，查看数据返回结果。
避免下盘
算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认发生了算子下盘：上图是一个发生了算子落盘的查询计划例子，执行计划中Workfile这一...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
成本优化概述
由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化：在使用MaxCompute之前，建议您详细了解付费策略以及预估自己需要使用的资源，选择适合您的付费方式。详情请参见 选择付费...
创建并管理数据源
任务在数据开发（DataStudio）与在生产调度执行时产生的数据量不一致。上述问题您可对比开发环境与生产环境的运行日志排查解决。若数据源开发环境与生产环境配置不同，请确保任务运行时使用的资源组可分别与开发环境、生产环境的数据源连通...
- 产品推荐
- 这些文档可能帮助您