调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
应用场景
数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。在增量数据迁移期间，源数据库中正在进行的数据变更会实时同步到目标数据库。迁移完成后，您可以验证迁移到目标数据库的数据和结构是否与您的应用程序完全兼容。当验证...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
常见问题
查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息，如果比其他的Task处理的数据量大很多，则说明出现了倾斜问题。如何预估Hive作业并发量的上限值？Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...
数据标准
因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准化中起到重要作用。数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成...
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
Broker Load
本次导入并发数=Math.min(源文件大小/最小处理量，最大并发数，当前BE节点个数)本次导入单个BE的处理量=源文件大小/本次导入的并发数 通常一个导入作业支持的最大数据量为 max_bytes_per_broker_scanner*BE节点数。如果需要导入更大数据量...
NLB计费规则
小时 1 GB 在一个计费周期内，系统会统计总的TCP请求和响应的数据处理量，然后使用总的数据处理量除以LCU系数，得出该计费周期内的处理数据量的LCU个数。计算公式如下：LCU个数=总处理数据量÷LCU系数 UDP流量 指标名称 描述 计量时间 LCU...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
DataCheckConfigure参数说明
fullDataCheck Boolean 是否进行全量数据校验，取值为 true 或 false。fullCheckModel Integer 全量数据校验任务的模式：1：按抽样比例进行校验。2：按行进行校验。fullCheckFixData Boolean 是否补齐数据，取值为 true 或 false，默认值为...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
混合存储型（已停售）
混合存储型架构图 Tair 混合存储型（简称混合存储型）是阿里云自主研发的兼容Redis协议的混合存储产品，使用磁盘存储全量数据，将热数据保存到内存中供应用快速读写。在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
何时选择LIST DEFAULT HASH分区
例如，对于多租户的业务系统，每个租户产生的用户数据量不均衡，您可以把大数据量的租户按照LIST规则分区，然后中小数据量的租户按照HASH规则分成多个分区，如下：租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...
冷数据归档
随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着时间的不断推移，数据呈现出很明显的冷温热分层。其相应的概念如下：...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
快照备份
RDS SQL Server支持快照备份功能，相对于常规的物理备份方式，快照备份可大幅缩短数据库的恢复时间，同时支持更大的备份数据量。功能介绍 RDS SQL Server提供了快照备份和物理备份两种备份方式。物理备份恢复速率受限于20 MB/s，最大仅支持...
MySQL 5.6测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 5.7测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 8.0测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
Transaction Table2.0概述
如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟级增量数据和全量数据做合并处理和存储，产生冗余的计算和存储成本，也有场景需要将各种复杂的一些链路和处理逻辑转化成T+1的批次处理，极大增加链路复杂...
性能调优
由于统计信息功能是在集群内核版本为3.1.6及以上版本的 AnalyticDB MySQL 数仓版（3.0）集群才默认开启的，所以当集群内核版本从3.1.6以下版本升级到3.1.6及以上版本时，会触发一次全量数据的统计信息收集，导致集群内核版本完成升级后的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
按量付费全球加速实例计费
小时 1 GB 在一个计费周期内，系统会统计总的TCP请求和响应的数据处理量，然后使用总的数据处理量除以CU系数，得出该计费周期内的处理数据量的CU个数。计算公式如下：CU个数=总处理数据量÷CU系数 UDP流量 新建连接数 每秒处理的新建UDP...
查看与减少数据备份
查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入 备份任务配置 页面。在 付费信息 区域，查看全量备份数据量和增量备份...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
典型慢查询
如果没有指定Join条件，AnalyticDB MySQL 会对左右两表执行笛卡尔积运算，产生的数据量行数是左右两表数据行数的乘积，该类操作会导致消耗较大的CPU资源。消耗磁盘I/O的慢查询 查询的扫描行数（Scanned Rows）和扫描量（Amount of Scanned ...
新零售：特步
对访问量和数据量较大的业务中心，例如订单中心，PolarDB-X 采用了水平拆分的方式，结合弹性升降配和平滑扩容使数据库具备了100 TB数据存储的能力、10万TPS、百万QPS的支撑能力，可以支撑特步扩展业务至当前业务量的5~10倍。从数据的实时性...
自动备份MongoDB数据
如果需要备份的数据量较大，物理备份可能需要花费较长时间，请您耐心等待。费用说明 云数据库MongoDB提供了免费备份额度。如果备份存储容量（包括全量备份和日志备份）未超过免费额度，备份不收费。超过后，每小时的备份费用=（备份存储...
数据服务系统配置
指定redis实例：将缓存数据存储到指定的Redis，适用于大量API开启缓存，缓存数据量较大的场景。如需添加Redis实例，请参见 创建Redis数据源。重要 请勿删除作为API缓存数据的Redis实例，否则缓存数据存储将失败且API开启的缓存将失效。单击...
模型说明
计算资源要求较低，适合训练数据量较大的情况。性能对比（仅供参考，不同数据集可能差异较大）模型 数据量 训练参数（默认参数）训练耗时（gpu）预测耗时（cpu）准确率 分类-高性能版-CNN 2.7w epoch=30 1小时 100ms 93%分类-高精度版-Bert...
数据变更最佳实践
建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入延迟相对会高一些。写入报错时，需要做重试确保数据被写入，重试导致的数据重复...
扫描量版本与CU版本的差异
CU版本 适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。当您使用CU版本时，您可以设置需要的CU个数的MIN（长期保有资源）和MAX（弹性资源）的值，MIN部分可以按量或者包年包月付费，超出MIN的...
常见问题
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见...可能原因：全量拉取数据过大导致的。如何处理：加大并发。减小 BatcSsize。Reader端parameter参数中，增加 cursorTimeoutInMs 配置，可以尝试设置大些，例如3600000s。
- 产品推荐
- 这些文档可能帮助您