管理健康报告
Tablet数据大小变异系数 是指同一个分区内的tablet数据大小变异系数，代表了一个表的数据的tablet分布均衡程度。计算方式为：同一个分区内tablet数据大小的标准差除以平均值。一般来说，变异系数越大，这个分区越有可能存在数据倾斜的情况...
备份恢复性能说明
测试环境 配置项 配置内容 数据库类型 RDS MySQL（通用型）数据库内存 2,400M 数据库CPU 8核 数据库IOPS 1,200 测试数据 测试数据 说明 数据示例 数据库大小 测试数据库的总大小，单位为GB。102 GB 总记录数 测试数据库中所有表的总记录...
MaxCompute数据离线同步至ClickHouse
批量插入字节大小建议值为16777216（16MB），批量插入条数建议按照您单条记录的大小调整为一个较大值，从而依靠批量插入字节大小触发批次写入。例如单条记录大小为1KB，批量插入字节大小设置为16777216（16MB），批量插入条数设置为20000...
RDS SQL Server空间不足问题
系统视图或命令 说明 sp_helpdb 查看所有数据库各自的总空间大小（数据文件与日志文件大小之和）。sp_spaceused 查看当前数据库的名称、已使用空间大小和未分配空间大小。DBCC SQLPERF(LOGSPACE)查看所有数据库的各自日志文件总空间大小...
使用扩展属性定制列存索引
列存索引数据的行组大小主要影响内存常驻部分数据的大小，在表较多或者使用分区表较多的场景下您可以适当进行调整。取值为整数。取值范围为6~18。未指定行组大小时，默认使用 loose_imci_default_pack_shift 参数的值。关于 loose_imci_...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
备份大小
与数据大小的关系 备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
常见问题
A：每小时费用=[一级备份总大小-（数据库存储用量x50%）]x每小时价格。以中国内地价格为例，PolarDB 数据库的一级备份总大小为700 GB，数据库存储用量为1000 GB，那么每小时费用为(700 GB-500 GB)x0.003元/GB=0.6元。Q：存储包是否支持抵扣...
常见问题
A：每小时费用=[一级备份总大小-（数据库存储用量x50%）]x每小时价格。以中国内地价格为例，PolarDB 数据库的一级备份总大小为700 GB，数据库存储用量为1000 GB，那么每小时费用为(700 GB-500 GB)x0.003元/GB=0.6元。Q：存储包是否支持抵扣...
数据导入Serverless实例
大量数据从HBase集群导入Serverless集群 由于Serverless实例的写入受到购买CU数的限制，如果大量的数据直接通过API写入Serverless实例可能会花费过多时间和消耗过多CU（根据购买CU量的多少，几十GB，几百GB，或者上TB的数据可以定义为大量...
备份与恢复常见问题
A：每小时费用=[一级备份总大小-(数据库存储用量x50%)]x每小时价格。以中国内地价格为例，PolarDB 数据库的一级备份总大小为700 GB，数据库存储用量为1000 GB，那么每小时费用为(700 GB-500 GB)x0.003元/GB=0.6元。Q：存储包是否支持抵扣...
使用DataWorks同步数据
批量插入字节大小 批量插入数据的最大字节数。批量条数 批量插入数据的条数。（可选）字段映射：您可以选择字段的映射关系，左侧的 源头表字段 和右侧的 目标表字段 为一一对应关系。说明 参数说明，具体请参见 字段映射。（可选）通道控制...
RDS for SQL Server如何回收表空间
MySQL表的空间是独立的一个文件，所以收缩MySQL的大表，可以收缩整体数据库的大小，但是SQL Server所有的表都是在数据库的文件里，只有收缩文件才可以缩小空间。因为MySQL表的空间是独立的一个文件，如果收缩MySQL的大表，会相应收缩整体...
RDS for SQL Server如何回收表空间
MySQL表的空间是独立的一个文件，所以收缩MySQL的大表，可以收缩整体数据库的大小，但是SQL Server所有的表都是在数据库的文件里，只有收缩文件才可以缩小空间。因为MySQL表的空间是独立的一个文件，如果收缩MySQL的大表，会相应收缩整体...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，是按照数据压缩前还是压缩后的大小计费？使用Tunnel Upload命令上传数据时，是否支持限速？使用Tunnel Upload命令上传数据时，速度太慢，如何解决？使用Tunnel Upload命令上传数据时，设置了经典网络的...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
数据归档
RDS MySQL归档表的数据大小不能低于6M。开启数据归档后，会影响实例的备份及部分功能项，详情如下：不支持功能项 说明 秒级备份 如需开启秒级备份，请关闭数据归档功能。请参见 关闭数据归档功能。如果实例需要开启数据归档功能，需提前...
存储类型
假设数据库文件的逻辑大小为100 GiB，则实际消耗云存储的存储空间的大小为100 GiB。由LindormDFS确保数据的可靠性以及可用性，无需关心副本数。本地SSD磁盘、本地HDD磁盘和额外挂载云盘均采用物理容量的口径进行用量计量。进行容量规划时需...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
消除数据重分布
根据参与最常见join的数据集的大小选择最大dimension表，而不仅仅是表的大小。如果涉及到一个表的查询普遍带有WHERE语句，只有它的一部分行参与join。对于其它dimension表，根据它们和别的表join的情况，采用它们的主键或外键作为分区键。...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
Echarts 颜色分段折线图
字号：单击+或-号，或手动输入数值，改变图例字体的大小。提示框：单击右侧的 眼睛 图标显示提示框。触发类型：自定义触发类型，可选，默认为 坐标轴。数据项：数据项图形触发，主要在散点图，饼图等无类目轴的图表中使用。坐标轴：坐标轴...
数据倾斜诊断
倾斜率计算公式如下：Avg=(S1+S2+.Sn)/n Max=Max(S1,S2,.Sn)倾斜率=(1-Avg/Max)/(1-1/n)*100%假设表的数据分布在n个计算节点上，Sn代表每个节点上面的数据大小。消除数据倾斜 导致数据倾斜的原因一般都是分布键选择不正确。例如，一张表的...
资源分析
说明 副本 指的是一份数据可以在不同的节点上存储，这些节点上存储的每份数据相同，数据副本是增加数据存储冗余来防止数据丢失。计算分：项目粒度的计算健康分。存储分：项目粒度的存储健康分。管理员：当前项目的管理员信息。待治理项：待...
资源分析
说明 副本 指的是一份数据可以在不同的节点上存储，这些节点上存储的每份数据相同，数据副本是增加数据存储冗余来防止数据丢失。当计算引擎为Impala时，数据表为Kudu表，Dataphin将无法为您获取存储量信息。计算分：项目粒度的计算健康分。...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
RDS术语
TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。更多信息，请参见 设置透明数据加密TDE。TPM Transactions Per Minute，表示数据库每分钟执行的事务数量。TPS Transactions Per Second，数据库每秒执行的事务...
RDS术语
TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。更多信息，请参见 设置透明数据加密TDE。TPM Transactions Per Minute，表示数据库每分钟执行的事务数量。TPS Transactions Per Second，数据库每秒执行的事务...
RDS术语
TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。更多信息，请参见 设置透明数据加密TDE。TPM Transactions Per Minute，表示数据库每分钟执行的事务数量。TPS Transactions Per Second，数据库每秒执行的事务...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
RDS术语
TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。更多信息，请参见 设置透明数据加密TDE。TPM Transactions Per Minute，表示数据库每分钟执行的事务数量。TPS Transactions Per Second，数据库每秒执行的事务...
RDS术语
TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。更多信息，请参见 设置透明数据加密TDE。TPM Transactions Per Minute，表示数据库每分钟执行的事务数量。TPS Transactions Per Second，数据库每秒执行的事务...
MaxCompute近实时增全量一体化架构介绍
在大数据开源生态领域，针对这些问题已经出现了一些典型的解决方案，其中最典型的是Spark、Flink、Trino等开源数据处理引擎，它们深度集成了Hudi、Delta Lake、Iceberg、Paimon等开源数据湖，并以开放统一的计算引擎和数据存储理念为基础，...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
- 产品推荐
- 这些文档可能帮助您