应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
数据存储冷热分离
cold_total_size 冷分区总数据量（单位：Byte），是 cold_data_size 和 cold_index_size 的总和。cold_data_size 冷分区的数据量（单位：Byte）。cold_index_size 冷分区数据的主键和索引大小（单位：Byte）。table_usage表说明：table_...
收钱吧订单查询&搜索
每日新增数据量至少75GB，当前总数据量百TB级别，同时由于移动支付的特殊性，数据需要永久保存，存储成本高昂。解决方案 云数据库Lindorm全文索引方案，通过LTS实现Lindorm宽表引擎与Lindorm搜索引擎之间的数据实时同步，使业务轻松应对高...
数据导入性能优化
在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法...
数据导入性能优化
在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法...
什么是数据库备份DBS
数据量：在数据库备份场景下，有4个概念，分别是数据库磁盘空间、数据文件空间、备份数据量、存储数据量。具体概念请参见 数据量。内置存储与用户OSS：DBS提供数据库的备份恢复能力，备份数据保存在云存储上，云存储支持内置存储、用户OSS...
数据变更最佳实践
建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入延迟相对会高一些。写入报错时，需要做重试确保数据被写入，重试导致的数据重复...
资产全景
在 全局 页面，右下角会展示各个业务板块的名称、数据量、占总数据量比，以及系统内的 总数据表数、总项目数。总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。仅统计生产项目...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
混合存储型（已停售）
场景分类 混合存储型实例 社区版实例 数据量与预算 数据量大，有降低成本需求。正在使用Pika、SSDB或者ARDB等。正在使用大容量的主备或者集群Redis。数据量小，或者预算充足且暂时无需降低存储成本。冷热数据分布 业务中冷热数据区分明显。...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
云监控控制台查看监控
每秒插入数据量 各节点每秒写入的大小。单位：MB。每秒插入行数 各节点每秒写入的行数。内存使用比例 集群各节点的内存使用量与最多可使用内存容量的比值。内存使用量 集群各节点的内存使用量。单位：MB。每秒查询次数 每秒处理的查询次数...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
表设计最佳实践
如果终端较多但数据量不大，例如，一个终端的数据量小于1 TB但采集次数较多，则可以不对终端进行分区，设置终端信息为普通列。说明 对日志表进行分区设计时，可以按照日志采集的时间进行分区。在写入数据前进行数据的采集和整合，整合好后...
常见问题
单个Shard（分片）的数据量通常控制在3千万到1亿条之间（一般在30 GB以内），实际数据量控制需要根据实际业务情况确定。分片数对查询或写入性能的影响，请参见 分片数量对查询和写入性能有什么影响？如果单表数据量超过10亿，或查询RT和...
风险识别管理（新版）
批量查询大量敏感数据 数据访问风险 中 单次查询数据量大于10000时命中该规则。批量导出大量敏感数据 数据导出风险 高 单次导出数据量大于10000时命中该规则。非工作时间导出大数据量敏感数据 数据导出风险 高 如下时间段导出数据量大于...
常见问题
为什么迁移前 DAS企业版 有存储的数据量，但完成迁移后目标企业版的冷/热数据量都变成了0 GB？数据迁移后，目标企业版存储数据量的统计可能存在延迟，但该数据延迟并不影响使用目标企业版提供的SQL洞察和审计功能。为什么迁移后存储在 DAS...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的...使用mysqldump导出数据和表结构仅用于开发测试或者数据量很小的情况，请勿用于大数据量的生产环境。相关文档 mysqldump的详细信息请参见 mysqldump。
查询账单
当 产品明细 为 DAS企业版 时，表示使用DAS企业版 V1和企业版 V0：在 计费项 为 SQL数据量 的消费明细中，查看SQL洞察和审计占用的存储空间及计费情况。在 计费项 为 版本 的消费明细中，查看DAS专业版的包年包月费用。当 产品明细 为 数据...
01新建模型目录
具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据层，存储以事实表为基础，以维度为单位的统计度量。DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的...
计费常见问题
但如果在使用MaxCompute过程中产生了外网下载和存储操作，系统会根据下载数据量及存储数据量进行收费。购买MaxCompute后未执行操作，是否会产生费用？购买MaxCompute后，如果您没有执行外网数据下载、数据存储（MaxCompute项目无数据）或...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
风险识别管理（旧版）
规则项>操作数据量 在 规则定义>条件设置 区域，阈值比较 下配置 数据量 范围。14 规则限制的访问时间范围，当访问操作与该时间范围匹配时命中规则。规则项>访问时间 间 规则定义>条件设置 区域，选择条件 选择 操作时间 时，所设置的 时间...
导入
成功导入数据量 与 总数据量 不一致时，可能原因如下：该任务中存在运行失败的对象。该任务中包含DataWorks中已存在的同名对象。请根据实际情况进行排查处理。后续步骤 导入任务创建完成后，您可进入相应任务的编辑页面进行后续的开发使用...
备份集查询功能概览
数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询所涉及的数据量收费，成本低。同时，DBS还提供查询多个备份集的功能，您可以更好地分析历史备份...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
使用MaxCompute控制台（离线）
阿里云对象存储OSS：仅支持上传CSV格式的文件数据，数据量最大支持5 GB，且该数据所在的Bucket必须与当前MaxCompute项目位于同一地域。不支持将数据上传到具有自定义Schema的表中（包括已有表和新建表），自定义Schema相关信息请参见 ...
数据膨胀诊断
设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;例如，您需要诊断...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
磁盘型
背景信息 传统Redis基于内存属于易失性存储介质，随着业务持续快速的发展，数据量飞速的增长，您可能会遇到如下挑战：沉淀的数据越来越多但访问量低，数据存储在内存中性价比低，需要低成本存储来满足业务更多数据迭代的需求。需要搭配其他...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
数据倾斜诊断
设置智能诊断参数 设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
新零售：杭州数云信息技术有限公司
数云客户业务是天猫CRM系统提供商，客户数据库的部署模式是多租户部署，即每个实例上会部署一个或多个数云的客户的数据，因此数云使用的数据库实例数据量都比较大，较大的实例存储容量一般在2 TB~3 TB左右，约有上百个实例来满足该业务需求...
- 产品推荐
- 这些文档可能帮助您