计费常见问题
但如果在使用MaxCompute过程中产生了外网下载和存储操作，系统会根据下载数据量及存储数据量进行收费。购买MaxCompute后未执行操作，是否会产生费用？购买MaxCompute后，如果您没有执行外网数据下载、数据存储（MaxCompute项目无数据）或...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
风险识别管理（旧版）
规则项>操作数据量 在 规则定义>条件设置 区域，阈值比较 下配置 数据量 范围。14 规则限制的访问时间范围，当访问操作与该时间范围匹配时命中规则。规则项>访问时间 间 规则定义>条件设置 区域，选择条件 选择 操作时间 时，所设置的 时间...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
01新建模型目录
具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据层，存储以事实表为基础，以维度为单位的统计度量。DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的...
导入
成功导入数据量 与 总数据量 不一致时，可能原因如下：该任务中存在运行失败的对象。该任务中包含DataWorks中已存在的同名对象。请根据实际情况进行排查处理。后续步骤 导入任务创建完成后，您可进入相应任务的编辑页面进行后续的开发使用...
备份集查询功能概览
数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询所涉及的数据量收费，成本低。同时，DBS还提供查询多个备份集的功能，您可以更好地分析历史备份...
验证数据压缩能力
说明 由于条件限制，本教程仅 20,000 行数据为例，如您时间充裕，可尝试插入 10,000,000 数据，数据量越大压缩效果越明显。概念介绍 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
如何优化数据全量抽取
当t_order表增长到十万级，随着页数增加，执行速度明显变慢，可能降到几十毫秒的量级，如果数据量增长到百万级，则耗时达到秒级，数据量继续增长，耗时最终会变得不可接受。问题分析 假设我们在user_id，gmt_create上创建了局部索引，由于...
生成测试数据
模拟生成数据量 指定需要生成的数据量。默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本框中输入 1\~1000000 间的任意正整数。批处理大小 指定每生成多少条数据进行一次提交（COMMIT 命令）操作。默认每生成 200 条...
使用MaxCompute控制台（离线）
阿里云对象存储OSS：仅支持上传CSV格式的文件数据，数据量最大支持5 GB，且该数据所在的Bucket必须与当前MaxCompute项目位于同一地域。不支持将数据上传到具有自定义Schema的表中（包括已有表和新建表），自定义Schema相关信息请参见 ...
磁盘型
背景信息 传统Redis基于内存属于易失性存储介质，随着业务持续快速的发展，数据量飞速的增长，您可能会遇到如下挑战：沉淀的数据越来越多但访问量低，数据存储在内存中性价比低，需要低成本存储来满足业务更多数据迭代的需求。需要搭配其他...
MongoDB实例空间使用率高问题
执行compact指令导致数据量过大 compact期间对实例的影响 由于compact执⾏的时间与集合的数据量相关，如果数据量过大，则会使compact的执行时间很长，所以为避免影响业务的读写，建议在业务低峰期执⾏compact。compact⽅法 首先在备库上...
磁盘型
背景信息 传统Redis基于内存属于易失性存储介质，随着业务持续快速的发展，数据量飞速的增长，您可能会遇到如下挑战：沉淀的数据越来越多但访问量低，数据存储在内存中性价比低，需要低成本存储来满足业务更多数据迭代的需求。需要搭配其他...
数据膨胀诊断
设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;例如，您需要诊断...
数据倾斜诊断
设置智能诊断参数 设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;...
功能概览
1.2 高吞吐 最高支持单主题(Topic)每日T级别的数据量写入，每个分片(Shard)支持最高每日百GB级别的写入量。1.3 低成本 随开随用，按量付费，每一分钱都花在刀刃上。1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute...
基本概念
您可以在创建集群时购买EIU，也可以在高吞吐写入或大数据量扫描时购买或扩容EIU。EIU的性能指标，请参见 弹性IO资源（EIU）扩容。ACU ACU，全称为AnalyticDB Compute Unit，是 AnalyticDB for MySQL 湖仓版（3.0）计算资源和存储资源的最小...
创建备份计划
说明 数据量较大时，建议您购买DBS提供的 备份实例存储包，用于抵扣后续备份计划的 存储费用，该费用仅在数据存储在 DBS内置存储 时收取。更多存储包的选购建议，请参见本文 常见问题。如需了解备份计划后续可能产生的费用问题等，请参见 ...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
恢复PolarDB分布式版数据库
说明 部分数据库支持单表或单库恢复粒度，减少恢复的数据量，缩短恢复时间RTO（Recovery Time Objective）。具体支持的恢复粒度，请参见 支持的数据库引擎与功能。在 预检查 对话框中显示 预检查通过 后，单击 立即启动。您可以在左侧的 ...
导入概述
StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源关系图如下。您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算...包括查询时间段内的数据导出的总量、每天导出的数据量和数据导出总量的前五名。
产品和业务限制
C8：16个 联系技术支持申请更多 一次性申请的ECU个数上限 C8：8个 无需 单个分析型数据库MySQL版每天最大申请扩容或缩容 12次 无例外 单个分析型数据库MySQL版连续24小时导入数据量限制 2 ecuCount diskSize 无例外 单个分析型数据库...
步骤一：搭建云上专有网络
专线（高速通道）：针对数据量较大且应用较复杂的场景，通常需要根据每日数据变化量做预先规划。VPC网段 云上VPC网络环境下需要两个核心网段：复制网络 网段：承接从线下复制到云上的数据，可以是任意网段。恢复网络 网段：用于运行容灾...
什么是云数据库HBase
云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的...
时序引擎应用开发简介
在数据写入时按照设置的规则将原始数据降低精度存储，降采样查询时，通过查询低精度数据来减少查询的数据量，从而降低查询延迟。使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者...
备份费用
A：备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份大小时，会计算...
表数据格式
此特性也有助于提升数据查询效率，如果过滤条件为Bucket数据列，也可有效地进行Bucket裁剪，减少查询的数据量。并且如果GroupBY或者Join的Key列和Bucket数据列相同，则可直接进行Local Join或者GroupBy操作，减少Shuffle，节省计算资源和...
数据传输作业：数据集成
说明 MaxCompute独享数据集成资源组任务的并发值无最佳值，您需要根据实例数据量与期望同步时间设置，如果期望缩减同步时间可以购买最大并发线程数大的规格，单任务建议需要的资源规格请参见 性能指标。在配置同步任务前您需要确保数据集成...
快速实现数据分类分级
识别任务所需时间和需扫描的数据量有关系，如果需扫描的数据量较大时，需要花费较多时间，请您耐心等待。扫描状态为完成后，才可查看分类分级结果。说明 除系统默认任务外，您可以根据业务所处的行业将对应的行业模板设置为主用模板进行...
查看备份计划
说明 如果您需要通过减少备份数据量来降低备份费用，具体操作，请参见 查看与减少数据备份。备份集下载信息 您可单击 备份集下载规则 重新修改备份集下载规则，具体操作，请参见 配置自动下载备份集。全量数据备份 完成全量数据备份后，...
数据质量评估标准
例如，某个稳定业务的数据量每天约为100万条记录，某天突然下降了1万条，则可能是出现了记录缺失；某科高考成绩表中，每个考卷分数都对应一个准考证号，当准考证号字段的空值数大于0时，则可能是出现了信息缺失。准确性 准确性是指数据中...
DataHub数据源
datahub侧对于一次request请求写入的数据条数限制是10000条，超出10000条数据会超出限制导致任务出错，请根据您单条数据平均数据量*10000条数据的数据总量来从侧方面进行单次写入datahub的数据条数控制。比如每条数据10 k，那么此参数的...
备份恢复性能说明
规格与压缩格式 压缩后的数据量 耗时 恢复速度（相对于原始数据量）small（4线程）gzip 21.1 GB 320s 126 MB/s large（8线程）gzip 21.1 GB 161s 250 MB/s xlarge（16线程）gzip 21.1 GB 86s 468 MB/s small（4线程）lz4 31.1 GB 408s 99 ...
计算费用（按量付费）
标准SQL作业（指使用按量付费标准版计算配额的SQL作业）SQL作业当日总费用=计算输入数据量×SQL复杂度×单价 单日计算量小于100 TB（包含）时，单价如下：公共云：0.3元/GB 金融云：0.57元/GB 说明 单日计算量大小=计算输入数据量×SQL复杂...
数据导入方式介绍
相对于通过外表导入数据的方法，DataWorks导入数据更为轻量化，适合数据量相对较小的数据导入场景。说明 不建议通过DataWorks导入大量数据。如果存在数百GB以上的数据导入，建议通过外表导入数据。详情请参见 通过外表导入数据。常见使用...
- 产品推荐
- 这些文档可能帮助您