Broker Load
本次导入并发数=Math.min(源文件大小/最小处理量，最大并发数，当前BE节点个数)本次导入单个BE的处理量=源文件大小/本次导入的并发数 通常一个导入作业支持的最大数据量为 max_bytes_per_broker_scanner*BE节点数。如果需要导入更大数据量...
NLB计费规则
在08:10:00~08:50:00时间段（一个计费周期）该 NLB 实例的最大新建连接数、最大并发连接数和处理数据量的示例数据如下表所示。指标名称 TCP UDP 新建连接数（秒）该小时内最大新建TCP连接数为4,000个。LCU换算值：4,000÷800=5.0 该小时内...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
常见问题
查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息，如果比其他的Task处理的数据量大很多，则说明出现了倾斜问题。如何预估Hive作业并发量的上限值？Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...
DataCheckConfigure参数说明
fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。dataCheckNoticePhone String 全量或增量数据校验任务告警联系人的手机号。当校验任务触发告警时，将以短信的...
一键诊断
建表与表访问检测 表访问检测 表访问检测会自动检测指定时间段内被访问的表，包括最大数据读取量、平均数据读取量、最大数据读取耗时、平均数据读取耗时和表访问次数5个指标，并按照当前检测指标降序排列。数据分布倾斜表详情 AnalyticDB ...
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
按量付费全球加速实例计费
在08:10:00~08:50:00时间段（一个计费周期），该 全球加速 实例的最大新建连接数、最大并发连接数和处理数据量的示例数据如下表所示。指标名称 TCP CU个数 新建连接数（秒）该小时内最大新建TCP连接数为4000个。该小时内CU个数=4000÷800=5...
批量更新、删除或插入数据
批量操作可以减少数据库与应用程序的交互次数，提高数据处理的吞吐量。本文将通过示例介绍如何批量插入、更新和删除数据。批量插入数据 您可以通过如下四种方法进行批量插入数据。以下示例中使用的测试表tbl1的建表语句如下：CREATE TABLE ...
分区表常见问题
是的，分区表把数据切分成小的分片独立管理，从而使得拥有大数据量的表仍然拥有高性能和高可用。分区表的更多介绍请参见 分区表概述。业务上估算单张表的数据量为2 TB，选择使用 PolarDB MySQL版 还是PolarDB-X？PolarDB MySQL版 单表最大...
备份SQL Server数据
备库备份不支持增量备份，因此会导致备份策略中的增量备份被切换为全量备份，从而导致备份数据量的增加。为了避免备份数据量过大，建议修改备份策略，例如将一天一备份的策略改成两天一备份的策略。集群系列实例切换到优先备库备份方式后，...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
混合存储型（已停售）
选型指南-规格 创建混合存储型实例时，您需要选择合适的内存配置与磁盘配置：内存决定能存储的热数据量，磁盘决定能存储的数据总量。云原生内存数据库Tair 将根据您选择的配置调配合适的CPU资源创建实例。例如，选择 64G内存256G磁盘主从版...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
PolarDB HTAP实时数据分析技术解密
在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据时的执行效率。首先，列存的紧凑排列方式可提升CPU访问内存效率，减少L1/L2 Cache miss导致的执行停顿。其次，在列式存储上...
列存索引如何实现高效数据过滤
在MPP场景，Runtime filter也能发挥作用，可以有效减少shuffle的数据量。位图索引 位图索引在行存中也有使用，例如Oracle就提供位图索引的功能，比较适合于列的基数较少的场景。具体来说，就是为每个列值存储所在行的位置信息，每个位置...
Logview诊断实践
先在本地模拟1个Instance处理的数据量测试UDF的运行时间，优化UDF的实现。默认UDF运行时限是30分钟，也就是30分钟内UDF必须要返回数据，或者用 context.progress()来报告心跳。如果UDF预计运行时间本身就大于30分钟，可以通过参数设置UDF...
备份费用
备份计划规格性能：规格越高，备份数据量的单价越低，且备份恢复的性能越好。更多信息，请参见 备份恢复性能说明。备份计划规格：支持升级，不支持降配。更多信息，请参见 升级备份计划。免费备份数据量额度：备份数据量免费额度计量周期以...
如何选择备份计划规格
备份计划规格性能：规格越高，备份数据量的单价越低，且备份恢复的性能越好。更多信息，请参见 备份恢复性能说明。备份计划规格：支持升级，不支持降配。更多信息，请参见 升级备份计划。免费备份数据量额度：备份数据量免费额度计量周期以...
通过文件管理优化性能
def randomConnRecord(r:Random)=ConnRecord(src_ip=randomIPv4(r),src_port=randomPort(r),dst_ip=randomIPv4(r),dst_port=randomPort(r))/生成10000个partition，每个partition中包含10000条连接数据 val df=spark.range(0,numFiles,1,...
RDS SQL Server I/O高问题
I/O吞吐限制 本地盘实例 本地SSD盘实例的架构是多个实例共享同一物理机的本地SSD盘，只限制了单个实例的最大IOPS，没有限制单个实例的I/O吞吐量，因此实际上单个实例的最大I/O吞吐量可以达到1 GB/Sec以上，但同时也存在I/O吞吐资源争抢问题...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
窗口函数
窗口框架，用于指定一个滑动窗口的数据给窗口函数处理给定的行数据。如果这个框架没有指定，它默认的方式是 RANGE UNBOUNDED PRECEDING，与RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW相同。这个框架包含当前分区中所有从开始到...
查看资源用量大盘
项目数据处理单元用量统计 项目数据处理单元用量统计的排行榜分别从 数据处理单元当前用量TOP10项目 和 最近1个月数据处理单元使用增量TOP10项目 两个视角，为您展示每个项目下的数据处理单元使用量及最近1个月消耗增量排行情况；...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
计费概述
计费方式 计费类别 说明 适用场景 相关文档 按计算资源付费 数据湖分析CU版根据购买的CU规格进行计费，费用跟运行查询扫描的数据量没有关系。计费模式如下。包年包月。按量付费。适用于查询频率高、查询数据量较大的场景，同时也能够给您...
存储空间分析
空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据量=表记录+普通索引+主键索引+其他。热数据量 ...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
通过数据闪回按时间点恢复数据
数据闪回功能拥有更精细化的数据恢复能力，能最大程度地降低误操作带来的数据损失，保护您的数据安全。数据闪回功能概述 为保护您在云上的业务数据，云原生内存数据库Tair 除支持通过RDB快照执行数据备份和恢复以外，提供了数据闪回功能，...
通过数据闪回按时间点恢复数据
数据闪回功能拥有更精细化的数据恢复能力，能最大程度地降低误操作带来的数据损失，保护您的数据安全。数据闪回功能概述 为保护您在云上的业务数据，Tair（Redis企业版）除支持通过RDB快照执行数据备份和恢复以外，提供了数据闪回功能，...
使用Redis搭建电商秒杀系统
一个好的秒杀系统，可以提高平台系统的稳定性和公平性，获得更好的用户体验，提升平台的口碑，从而提升秒杀活动的最大价值。本文讨论云数据库Redis版缓存设计高并发的秒杀系统。秒杀的特征 秒杀活动对稀缺或者特价的商品进行定时定量售卖，...
监控报警
您可以设置最大数据量（MB），达到或超过这个阈值会触发报警。Tunnel当前并发数（Slot）_项目级别 以项目为单位，选定的项目当前使用的并发数（Slot），达到或超过这个阈值会触发报警。Tunnel当前并发数（Slot）_租户级别 以租户为单位，...
新建数据处理任务
相关任务 任务 说明 查看任务详情 在 倾斜数据处理 页面，单击目标任务 操作 列的 详情，即可查看任务的基本信息、处理的数据、数据坐标位置、结果数据、参数设置和任务执行状态。删除任务 在 倾斜数据处理 页面，单击目标任务 操作 列的 ...
查看同步链路状态和性能
功能 说明 全量同步链路拓扑 全量同步链路主要展示源库到DTS、DTS到目标库两部分的读写情况和网络信息，相关参数解释如下：源库到DTS的链路 BPS：DTS每秒从源库读取数据量，单位为MB/s。RPS：DTS每秒从源库读取的行数。网络延迟：DTS与源库...
备份集查询功能概览
数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询所涉及的数据量收费，成本低。同时，DBS还提供查询多个备份集的功能，您可以更好地分析历史备份...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
监控任务性能
功能 说明 全量同步链路拓扑 全量同步链路主要展示源库到DTS、DTS到目标库两部分的读写情况和网络信息，相关参数解释如下：源库到DTS的链路 BPS：DTS每秒从源库读取数据量，单位为MB/s。RPS：DTS每秒从源库读取的行数。网络延迟：DTS与源库...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算...包括查询时间段内的数据导出的总量、每天导出的数据量和数据导出总量的前五名。
- 产品推荐
- 这些文档可能帮助您