ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
混合存储型（已停售）
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100GB的数据，但高峰...
生成测试数据
模拟生成数据量 指定需要生成的数据量。默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本框中输入 1\~1000000 间的任意正整数。批处理大小 指定每生成多少条数据进行一次提交（COMMIT 命令）操作。默认每生成 200 条...
从RDS MariaDB迁移至RDS MySQL
说明 RDS MySQL实例的存储空间须大于RDS MariaDB实例中数据库已占用的存储空间。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如...
什么是备份数据量
备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的实际数据大小。与备份数据量不同，存储数据量取决于备份数据量、...
从RDS MariaDB迁移至RDS MySQL
说明 RDS MySQL实例的存储空间须大于RDS MariaDB实例中数据库已占用的存储空间。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
备份恢复性能说明
规格与压缩格式 压缩后的数据量 耗时 恢复速度（相对于原始数据量）small（4线程）gzip 21.1 GB 320s 126 MB/s large（8线程）gzip 21.1 GB 161s 250 MB/s xlarge（16线程）gzip 21.1 GB 86s 468 MB/s small（4线程）lz4 31.1 GB 408s 99 ...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
功能简介
同时，随着数据量剧增，在海量数据中快速发现高质量的洞察报告，需要花费大量时间进行数据分析，从而才有可能提取有效知识。为了将业务人员从重复、无效的分析工作释放出来，并通过智能化的能力帮助业务管理者、运营、业务分析师等人员高效...
备份大小
与数据大小的关系 备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份...
技术原理
分析型查询指的是涉及数据量较大、计算比较复杂的查询，例如对一定时间区间内的数据进行聚合。相比于业务中常见的简单查询，这类查询往往要执行数秒甚至数分钟，需要消耗较多的计算资源。为了加速复杂分析型查询，PolarDB-X将计算任务切分...
内存型
Tair 内存型（简称内存型）适合并发量大、读写热点多，对性能要求超过 Redis社区版 实例的场景。相比 Redis社区版，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 立即购买云原生版实例（推荐），具体操作请参见 创建...
新功能发布记录
当存储即将出现溢出时，集群的存储空间可自动进行扩容，保障线上业务的稳定性，主要适用于业务数据量比较大，或者业务量波动较大且频繁的场景。设置存储自动扩容 访问地址优化 支持多机房部署方案添加两个访问地址。当访问地址为 2 个时，...
使用MaxCompute控制台（离线）
阿里云对象存储OSS：仅支持上传CSV格式的文件数据，数据量最大支持5 GB，且该数据所在的Bucket必须与当前MaxCompute项目位于同一地域。不支持将数据上传到具有自定义Schema的表中（包括已有表和新建表），自定义Schema相关信息请参见 ...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
数据质量教程概述
准确性 准确性是指数据记录中信息和数据是否准确、不存在错误或异常。例如，在本教程中，如果UV、PV数值小于0，则明显是错误数据。一致性 对于不同的业务流程和节点，同一份数据必须保持一致性。例如表 province 字段中如果有 浙江、ZJ 两...
数据质量教程概述
准确性 准确性是指数据记录中信息和数据是否准确、不存在错误或异常。例如，在本教程中，如果UV、PV数值小于0，则明显是错误数据。一致性 对于不同的业务流程和节点，同一份数据必须保持一致性。例如表 province 字段中如果有 浙江、ZJ 两...
常见问题
但是当需要匹配的数据量较大或本身存储的字符串内容较长时，查询性能可能会随着数据量的增大而降低。分词查询：数据查询时，搜索引擎会先对原始字符串进行分词，再对分词字段执行关键词匹配操作，例如在通用搜索引擎产品中进行关键词检索。...
计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
配置ClickHouse输出组件
批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程中每一次写入数据的行数，默认为65536。如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步...
数据归档OSS
云盘版本的RDS SQL Server实例数据文件通常存储在ESSD云盘中，在数据量较大时，会面临较高的存储成本。为了帮助用户实现降本增效，RDS SQL Server提供了数据库级别的数据归档至对象存储OSS的功能。该功能允许用户在控制台数据库管理页面或...
Oracle永久增量备份
备份目标信息 备份目标存储类型 备份目标存储类型，支持的选项：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
聚合支付：Ping+
业务痛点及诉求 Ping+支付业务数据量大，并发高，已有RDS MySQL实例无法满足性能及扩展需求。交易、订单表数据量巨大，单表数据量10亿级，需要拆库拆表以缓解数据库压力。历史存量数据存在RDS MySQL之上，希望迁移后的分布式数据库语法兼容...
离线同步并发和限流之间的关系
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
管理备份
说明 控制台上展示的 备份大小 与当前集群的模式有关，其中：数仓版（3.0）弹性模式集群：控制台上展示的 备份大小 即为当前集群中目标备份集的实际数据量。数仓版（3.0）预留模式集群：控制台上展示的 备份大小 会大于当前集群中目标备份...
概述
数据同步过程中，数据源中的数据存储在目标数据仓库OSS中，搭建数据仓库过程中不会对数据源端的业务系统产生任何压力。通过DLA控制台配置建仓任务，支持自定义设置定时数据投递。极致的计算能力，充分发挥DLA的计算能力，通过DLA的大内存、...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
查看与减少数据备份
备份数据量指当月备份数据的流量，为每次备份持续累计的结果。即使这个备份因为达到备份上限后被删除了，实际数据量也不会下降。如果增量备份数据量为0，可能原因为：从未开启过增量备份。已开启增量备份还未产生新的增量数据且历史增量...
MaxCompute近实时增全量一体化架构介绍
对于桶数量的建议如下：在非分区表的情况下，如果数据量小于1 G，建议将桶的数量设置为4~16 MB如果数据量大于1 G，建议每个桶承载的数据大小设在128 MB~256 MB之间。当数据量大于1 T时，建议每个桶的数据范围调整为500 MB~1 GB。在分区表的...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
GetDoctorHDFSCluster-获取HDFS分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
数据质量评估标准
准确性 准确性是指数据中记录的信息和数据是否准确、是否存在异常或者错误的信息。例如，成绩单中分数出现负数或订单中出现错误的买家信息等，这些都是准确性不好的数据。确保记录的准确性也是保证数据质量必不可少的一部分。一致性 一致性...
GetDoctorHiveTable-获取Hive表分析结果
TextInputFormat FormatSize long 格式数据量。506930200 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.23 FormatDayGrowthSize long 格式数据量日增量。1232124 FormatSizeDayGrowthRatio float 格式数据量日...
- 产品推荐
- 这些文档可能帮助您