topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
分区表常见问题
使用分区表数据量没有下限，空表也可建分区表，但数据量太少没必要分区，一般普通表大于500 MB可以选择使用分区表。当单分区数据量超过64 TB（与单个普通表一致），最大分区数超过8192时不适合使用分区表。建议单表数据量超过1 TB或者1亿行...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
什么是云数据库HBase
云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
表设计规范
分区数量和数据量建议 建议单个分区中的数据量不要太大。应尽量避免分区数据倾斜，避免单个表不同分区的数据量差异超过100万。分区设计时应合理规划分区个数，较细粒度的分区在跨分区扫描时会影响SQL的执行性能。单个分区中数据量较大的...
Spark作业异常排查及处理
512 Error:Java heap space 报错原因：Spark作业Task处理的数据量较大，但Executor JVM申请的内存量不足，从而出现java.lang.OutOfMemoryError报错。解决方案：在EMR控制台中Spark服务的配置页面，针对不同的场景调大 spark.executor....
计费概述
计费方式 计费类别 说明 适用场景 相关文档 按计算资源付费 数据湖分析CU版根据购买的CU规格进行计费，费用跟运行查询扫描的数据量没有关系。计费模式如下。包年包月。按量付费。适用于查询频率高、查询数据量较大的场景，同时也能够给您...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
Broker Load
单次导入数据量最多可支持百GB级别。创建导入 该方式 用于通过Broker导入，读取远端存储（如HDFS、S3）上的数据导入到 云数据库 SelectDB 版 的表中。语法 LOAD LABEL load_label(data_desc1[,data_desc2,.])WITH broker_type[broker_...
恢复MySQL逻辑备份
说明 支持恢复单表或单库，减少恢复的数据量，缩短恢复时间RTO（Recovery Time Objective）。在 预检查 对话框中显示 预检查通过 后，单击 立即启动。您可以在左侧的 恢复任务 页签中，查看数据库恢复进度。说明 恢复时间取决于备份计划...
恢复MySQL物理备份
本文介绍如何通过数据库备份DBS恢复物理备份的MySQL数据库。前提条件 已完成数据库备份，具体操作，请参见 MySQL物理备份。准备一台服务器用于接收物理备份文件，并在服务器上安装备份网关，更多信息，请参见 添加备份网关。操作步骤 登录 ...
恢复Oracle物理备份
数据库备份DBS 支持3种Oracle的恢复方式，包括异机恢复、原机异位置恢复、原机原位置恢复。本文介绍如何恢复物理备份的Oracle数据库。支持的恢复方式 恢复方式 说明 配置说明 异机恢复 将数据库恢复至原服务器以外的机器上。选择待恢复的...
入库审批
数据填报提交表单入库时，为了避免脏数据的录入、保障数据的准确性，可以通过入库审批功能对数据进行校验以及审批后完成录入。使用限制 仅专业版支持入库审批。1.审批前置条件 1.1 系统审批开启 1.1.1 操作入口 开启审批流，并勾选对应的 ...
查询监控图和SQL列表介绍
返回到客户端的数据量不宜过大，数据量过大会导致查询占用前端队列资源，影响其他查询的提交和执行。用户可以根据返回数据大小进行排序，找到返回数据量较大的查询。用户名 客户端建立连接时使用的用户名。在 诊断与优化 页面，单击 连接...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
生成测试数据
模拟生成数据量 指定需要生成的数据量。默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本框中输入 1\~1000000 间的任意正整数。批处理大小 指定每生成多少条数据进行一次提交（COMMIT 命令）操作。默认每生成 200 条...
查看历史任务
数据集成任务会在每个调度时间点生成一个数据迁移任务，通过DTS控制台您可以查看所有已经运行完成的数据迁移任务，了解该任务的执行情况。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据...
数仓版扩缩容
集群从大规格缩容到小规格时，数据迁移时长通常需要数小时甚至数十小时，数据量大时请谨慎缩容。扩缩容即将结束时，可能会发生连接闪断，建议您在业务低峰期扩缩容，或确保您的应用有自动重连机制。变更云盘等级时，您还需注意以下内容：...
导入
成功导入数据量 与 总数据量 不一致时，可能原因如下：该任务中存在运行失败的对象。该任务中包含DataWorks中已存在的同名对象。请根据实际情况进行排查处理。后续步骤 导入任务创建完成后，您可进入相应任务的编辑页面进行后续的开发使用...
查看集群日报与分析
表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该页面为您展示了Hive存储资源的...
监控
本文汇总了 AnalyticDB for MySQL 中监控的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 ...查询结束后，如果返回结果数据量大，会在前端节点缓存返回结果，产生结果集缓存耗时。SQL耗时如下图所示：
数据导入性能优化
在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法...
数据导入性能优化
在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法...
监控报警
监控报警方案 MaxCompute支持通过如下方式实现监控报警功能：通过 阿里云监控服务 配置 监控指标，对包年包月资源、实时作业消费、Tunnel上传下载数据量及作业运行时长 进行监控：通过监控大盘，实时观察监控图表，了解各监控指标的实时...
管理导入任务
jobDetails 导入任务的详细信息，包括任务数量、文件数量和大小、数据量、行数等。errorMessage 导入任务的失败原因。当导入任务的状态为PENDING，LOADING或FINISHED时，该参数值为NULL。当导入任务的状态为CANCELLED时，该参数值包括type...
SQL Pattern
如果最大峰值内存远大于平均峰值内存，说明当前Pattern的SQL可能存在扫描数据量增加或者执行计划改变的问题，可以单击 查看详情，在 查询详情 页面，查看SQL列表进一步定位原因。平均扫描量 在查询时间范围内，Pattern相关SQL的平均扫描量...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
数据导入方式介绍
导入数据量大，且需长时间操作时，建议配置连接池，详情请参见 Druid连接池配置。应用导入支持批量导入和并发导入，以获得更高的导入性能。关于流式数据导入，请参见 Flink数据导入。关于非定制化本地数据导入，请参见 通过LOAD DATA导入至...
Presto FAQ
例如把数据量大的放在左边，数据量小的放在右边。对数据进行分区。分拆计算，把一个大SQL拆成多个小SQL。文件格式是ORC，为什么看扫描量是扫描了整个文件，而不是只扫描SQL里面指定的列？分析型的查询往往只会获取一个表里面少数几列的数据...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
集群数据库监控详情
在集群数据库详情页面，您可以查看租户的数据库监控相关信息。查看集群数据库监控数据 进入 OceanBase 管理控制台。在左侧导航栏中，单击 实例列表。在实例列表中找到目标实例，单击实例名称，进入 实例工作台。在工作台页面的左侧导航栏中...
湖仓版（3.0）计费项
的监控报警页面查看冷数据量和热数据量，详情请参见 查看监控信息。弹性资源 ACU弹性资源 竞价实例资源 按量付费 说明 仅支持使用ACU时包抵扣 ACU弹性资源。详情请参见 ACU时包。集群中未被分配的计算预留资源可以用于抵扣 竞价实例资源。...
- 产品推荐
- 这些文档可能帮助您