数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
何时选择LIST DEFAULT HASH分区
例如，对于多租户的业务系统，每个租户产生的用户数据量不均衡，您可以把大数据量的租户按照LIST规则分区，然后中小数据量的租户按照HASH规则分成多个分区，如下：租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
MySQL 5.6测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 5.7测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 8.0测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
ListDoctorHiveDatabases-批量获取 Hive 库信息
TextInputFormat FormatSize long 格式数据量。1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5...
DataCheckConfigure参数说明
fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。dataCheckNoticePhone String 全量或增量数据校验任务告警联系人的手机号。当校验任务触发告警时，将以短信的...
常见问题
查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息，如果比其他的Task处理的数据量大很多，则说明出现了倾斜问题。如何预估Hive作业并发量的上限值？Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...
备份SQL Server数据
备库备份不支持增量备份，因此会导致备份策略中的增量备份被切换为全量备份，从而导致备份数据量的增加。为了避免备份数据量过大，建议修改备份策略，例如将一天一备份的策略改成两天一备份的策略。集群系列实例切换到优先备库备份方式后，...
OSS Foreign Table功能概览
与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table，具体信息如下：功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持 支持 OSS数据分析（大数据量场景）大数据量...
查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
购买方式2：按量付费
由于存储空间是根据数据量和存储时长收费的，若您需要的数据量较大（如1000 GB或以上），我们推荐配合存储包一起使用，能够享受一定的折扣优惠，且购买的存储包容量越大，折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
购买方式2：按量付费
由于存储空间是根据数据量和存储时长收费的，若您需要的数据量较大（如1000 GB或以上），我们推荐配合存储包一起使用，能够享受一定的折扣优惠，且购买的存储包容量越大，折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
扫描量版本与CU版本的差异
CU版本 适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。当您使用CU版本时，您可以设置需要的CU个数的MIN（长期保有资源）和MAX（弹性资源）的值，MIN部分可以按量或者包年包月付费，超出MIN的...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
典型慢查询
如果没有指定Join条件，AnalyticDB MySQL 会对左右两表执行笛卡尔积运算，产生的数据量行数是左右两表数据行数的乘积，该类操作会导致消耗较大的CPU资源。消耗磁盘I/O的慢查询 查询的扫描行数（Scanned Rows）和扫描量（Amount of Scanned ...
数据服务系统配置
指定redis实例：将缓存数据存储到指定的Redis，适用于大量API开启缓存，缓存数据量较大的场景。如需添加Redis实例，请参见 创建Redis数据源。重要 请勿删除作为API缓存数据的Redis实例，否则缓存数据存储将失败且API开启的缓存将失效。单击...
批量更新、删除或插入数据
批量操作可以减少数据库与应用程序的交互次数，提高数据处理的吞吐量。本文将通过示例介绍如何批量插入、更新和删除数据。批量插入数据 您可以通过如下四种方法进行批量插入数据。以下示例中使用的测试表tbl1的建表语句如下：CREATE TABLE ...
RDS MySQL或自建MySQL逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
管理健康报告
通过适度增大批量处理的规模，可以在提高整体数据处理吞吐量的同时，有效减少对象存储中的小文件数量。虽然Compaction能够整合数据文件、提升系统性能，但其运行过程中会占用一定的系统资源。因此，在资源较为紧张的情况下，建议适当调整...
恢复全量数据
影响速度的主要因素如下：全量备份数据大小：数据量越大恢复速度越慢。增量备份数据大小：数据量越大恢复速度越慢。是否存在大事务：Binlog中存在大事务会拖慢恢复速度。是否存在热点更新：Binlog中存在热点更新会拖慢恢复速度。是否存在外...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
生成测试数据
模拟数据设置信息 显示创建模拟数据任务时您选择的 目标表、模拟生成数据量、批处理大小、插入模拟数据前清空表、数据冲突处理方式、实际插入记录、冲突记录、忽略插入、清除记录 和 规则设置展示 等信息。在任务信息面板右下角，单击 再次...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
存储空间分析
空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据量=表记录+普通索引+主键索引+其他。热数据量 ...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
算子级别诊断结果
过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据量的比值（即...
如何处理Tair集群数据倾斜
Replica 2 节点中 key5 的QPS虽然不高，但该Key的大小为1 MB，属于典型的 数据量倾斜，会导致该Key所在的数据分片节点的内存使用率、带宽使用率升高，从而影响该分片上所有Key的处理。本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜...
- 产品推荐
- 这些文档可能帮助您