技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
何时选择LIST DEFAULT HASH分区
例如，对于多租户的业务系统，每个租户产生的用户数据量不均衡，您可以把大数据量的租户按照LIST规则分区，然后中小数据量的租户按照HASH规则分成多个分区，如下：租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
OSS Foreign Table功能概览
与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table，具体信息如下：功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持 支持 OSS数据分析（大数据量场景）大数据量...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
监测数据质量
背景信息 越来越多的数据需要进行二次数据分析与开发，但这些数据往往来源各异、结构多样、数据量大且相互依赖，在这样的情况下，保障数据正确、符合预期，提高数据质量显得尤为重要。例如，将获取到的数据投入二次数据分析前，先检验数据...
聚合支付方案
分析型需求 随着数据量的增大，数据查询涉及的量级呈指数级上升，针对商户等大数据量场景的分析查询，单体MySQL已无法满足需求。解决方案 阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行...
MySQL 5.6测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 5.7测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 8.0测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
典型慢查询
如果Join后产生的数据量较大，过滤操作就会消耗较大的CPU资源。Join时没有指定Join条件。如果没有指定Join条件，AnalyticDB MySQL 会对左右两表执行笛卡尔积运算，产生的数据量行数是左右两表数据行数的乘积，该类操作会导致消耗较大的CPU...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
GetDoctorHiveTable-获取Hive表分析结果
TextInputFormat FormatSize long 格式数据量。506930200 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.23 FormatDayGrowthSize long 格式数据量日增量。1232124 FormatSizeDayGrowthRatio float 格式数据量日...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
ListDoctorHiveDatabases-批量获取 Hive 库信息
TextInputFormat FormatSize long 格式数据量。1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5...
聚合支付：Ping+
业务痛点及诉求 Ping+支付业务数据量大，并发高，已有RDS MySQL实例无法满足性能及扩展需求。交易、订单表数据量巨大，单表数据量10亿级，需要拆库拆表以缓解数据库压力。历史存量数据存在RDS MySQL之上，希望迁移后的分布式数据库语法兼容...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
常见问题
但是当需要匹配的数据量较大或本身存储的字符串内容较长时，查询性能可能会随着数据量的增大而降低。分词查询：数据查询时，搜索引擎会先对原始字符串进行分词，再对分词字段执行关键词匹配操作，例如在通用搜索引擎产品中进行关键词检索。...
导入概述
Spark Load适用于初次迁移大数据量（可达到TB级别）到StarRocks的场景，且源数据在Spark可访问的存储系统（例如HDFS）中，详细信息请参见 Spark Load。异步导入 Stream Load 是一种同步执行的导入方式。您可以通过HTTP协议发送请求将本地...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
监控
本文汇总了 AnalyticDB for MySQL 中监控的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 ...查询结束后，如果返回结果数据量大，会在前端节点缓存返回结果，产生结果集缓存耗时。SQL耗时如下图所示：
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
离线同步并发和限流之间的关系
小数据量的数据表建议配置小并发，小并发需要的执行资源比较少，有利于任务快速抢占碎片资源得到运行。由于数据量比较小执行耗时可以控制在合理的范围内。同一个数据源上同步任务，建议错峰运行，一方面可以均衡资源组的使用水位，另外也...
备份SQL Server数据
快照备份 快照备份在指定的备份周期中循环执行全量快照备份，相对于常规的物理备份方式，快照备份具有备份速度快、可支持的最大备份数据量大等优点。说明 快照备份是在云盘上对数据的快照进行定期备份，利用快照的特性可以快速地还原数据到...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL数据归档OSS功能后，用户可通过执行下面的DDL语句...
内置检测模型说明
数据安全中心DSC（Data Security Center）通过内置的行为异常自学习模型和流转异常自学习模型，能够高效地分析审计日志，以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时，会自动触发告警。支持的数据库 RDS...
MongoDB 4.0
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
恢复SQL Server数据
为了获得更准确的备份和恢复性能，请参考最近一次全量备份的数据量和备份时间。在目标实例恢复全量备份 必须 200 GB/小时 无 在源实例进行增量事务日志备份 必须 200 GB/小时 进行增量日志备份前后，可能存在2分钟的额外损耗（例如备份准备...
无锁结构变更概览
背景信息 在数据量大的情况下进行结构变更，需要考虑锁表的风险，锁表将导致业务无法正常写入。MySQL原生能力：MySQL 5.5及之前的版本，DDL提供了Table-Copy和In-Place两种执行算法：Table-Copy：通过拷贝临时表完成变更，变更期间表被锁定...
从Amazon RDS MySQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission ...您可以根据实际情况，选择是否对全量迁移任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 ...
- 产品推荐
- 这些文档可能帮助您