管理健康报告
平均写文件大小 总写入数据大小除以写入文件总数，用以表示每个文件的平均写入数据量。平均写文件耗时 文件写入总耗时除以文件总数，反映了每次文件写入操作的平均所需时间。Top导入热表分析 按表粒度对导入任务数量进行排序并选取Top 20的...
为什么数据写入、更新或删除后表大小无变化？
表格存储数据表基于LSM架构实现，数据会采取追加写入的方式写入内存，当数据满足一定条件后会转存形成一个小的数据文件。...因此数据写入、更新或删除后，短时间内表大小可能不会有变化，存储量统计存在一定延迟，一般在24小时内完成。
数据存储量
表格存储对实例的数据总量按小时计费。表格存储以固定的时间间隔统计数据总量，然后计算每小时数据总量...因此数据写入、更新或删除后，短时间内表大小可能不会有变化，存储量统计存在一定延迟。存储量统计周期与系统合并数据文件的周期一致。
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
时序模型限制
通过本文您可以了解时序模型的使用限制。限制项 描述 时序表名 时序表名必须...一次写入数据大小限制 一次写入数据大小上限为4 MB。String类型列值大小 String类型的列值大小上限为2 MB。Binary类型列值大小 Binary类型的列值大小上限为2 MB。
创建快照
背景信息 创建快照所需时间为分钟级别，并取决于文件系统实际写入数据的容量大小。文件系统的第一份快照为全量快照，耗时较久。再次创建快照，相对耗时较短，但依然取决于和上一份快照之间的数据变化量。变化越大，耗时越久。创建快照时，...
计费常见问题
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件存储 HDFS 版 服务如何停止计费？如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除...
上传数据
说明 GeoJSON数据文件大小不可超过100MB，且不支持多层嵌套数据结构。OSS上传 在 方法二：OSS上传 下方的输入框中，输入GeoJSON数据文件的OSS链接地址，并单击对话框右下方 上传 即可上传一个GeoJSON数据文件。说明 大型文件建议选择OSS...
上传数据
说明 GeoJSON数据文件大小不可超过100MB，且不支持多层嵌套数据结构。OSS上传 在 方法二：OSS上传 下方的输入框中，输入GeoJSON数据文件的OSS链接地址，并单击对话框右下方 上传 即可上传一个GeoJSON数据文件。说明 大型文件建议选择OSS...
通过导入实现列更新
在老版本中，想要更新某些行的一部分字段，只能通过 UPDATE 命令，但是 UPDATE 命令由于读写事务的锁粒度原因，并不适合高频的数据写入场景。因此SelectDB在Unique模型中引入了新版的列更新。当前Unique模型仅支持在Merge-on-Write实现上，...
快照原理
当用户在云盘内进行删除文件操作时，系统显示的容量会减少，但通常对于操作系统的文件系统来说，删除文件仅是标记文件为删除，并不会真正地物理删除该文件对应的数据，所以对于云盘来说，删除文件也是一个写入操作，并不会减少云盘真正的...
安全白皮书
TDE功能将在RDB数据文件写入磁盘之前进行加密，从磁盘读入内存时进行解密，确保该实例在所有需要生成RDB文件的场景中（备份及主备数据全量同步等），RDB文件均已被加密，从而提高数据的安全性。TDE功能具有不额外占用存储空间、无需更改...
安全白皮书
TDE功能将在RDB数据文件写入磁盘之前进行加密，从磁盘读入内存时进行解密，确保该实例在所有需生成RDB文件的场景中（备份及主备数据全量同步等），RDB文件均已被加密，从而提高数据的安全性。TDE功能具有不额外占用存储空间、无需更改客户...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作...如果在数据迁移过程中，有并发的写者写入，文件F的长度将超过L，但是数据迁移任务无法感知到最新写入的数据。因此，建议当您在做数据迁移时，请避免往迁移的文件中写入数据。
整库离线同步至OSS
说明 如果您希望将每日数据写入至OSS新的文件夹中，您可以使用变量${bdp.system.bizdate} 对文件路径进行命名。文件类型 定义写入目的端的文件格式，包括csv、text及parquet。说明 csv仅支持严格的csv格式。如果待写入数据包括列分隔符，则...
为什么文件系统容量和快照大小不一致
不同的文件系统在格式化时写入的文件大小不同：Windows系统格式化（分为快速和正常格式化）：快速格式化：只是为分区分配文件系统，并重写目录表。快速格式化占用的实际空间相对较少。正常格式化：不但完成快速格式化工作，还逐扇区扫描...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
重启后，如需打开AOF，可以执行 redis-cli CONFIG SET appendonly yes，执行后Redis会在指定目录创建新的AOF文件并将当前内存中的数据写入新文件。但该配置仅适用于当前运行中的Redis实例，如需永久打开，请将Redis配置文件（redis.conf）...
空间管理
文件最大限制 数据库文件大小限制，单位为MB。说明 值为0，表示不受限制。文件自动增长量 数据库文件自动增长的步长单位，通常是按百分比或者绝对值增长。TOP 20数据表：以表格形式展示空间占用TOP 20的数据库中表信息。详细参数说明如下。...
空间管理
文件最大限制 数据库文件大小限制，单位为MB。说明 取值为0时，表示不受限制。文件自动增长量 数据库文件自动增长的步长单位，通常是按百分比或者绝对值增长。TOP 20 数据表：以表格形式展示空间占用TOP 20的数据库中表信息。详细参数说明...
挂载访问FAQ
为什么写入文件系统的中文字符在客户端显示为乱码?使用Linux操作系统在NFS文件系统中执行ls命令时，为什么会返回523错误？挂载NFS文件系统时，返回mount.nfs:No such device该如何处理？如何解决服务器开机自启动挂载NFS文件系统失败？挂载...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
SmartData 3.1.x版本简介
文件透明压缩功能，支持对目录设置压缩策略，对目录下新写入的文件数据块进行压缩后存储到OSS后端存储上，对于一些高压缩比的数据，可以大幅节省存储空间以及读写数据量。支持写文件flush语义，调用flush接口后能够保证文件数据持久化到...
将OSS数据写入AnalyticDB for MySQL 3.0
您可以通过MySQL客户端、MySQL命令行工具连接DLA，或者直接在DMS for Data Lake Analytics中执行INSERT SELECT语句将OSS中的数据写入AnalyticDB for MySQL。注意事项 INSERT FROM SELECT通常为长时运行任务，建议通过异步执行方式。使用...
并发控制
写入：通过写入新数据文件来暂存所有更改。验证并提交：在提交更改之前，检查 建议的更改 是否与 自读取快照后并发提交的任何其他更改 冲突。如果没有冲突，则所有已转移的更改都将作为新版本的快照提交，并且成功写入操作。但是，如果存在...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
文件网关的缓存有什么作用
本地客户端通过文件网关向OSS上传文件时，数据会先写入文件网关的缓存。当文件完全写入缓存并关闭后，文件网关会将缓存中的文件上传至OSS。如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会...
数据组织优化
Compaction 当前痛点 Transactional Table 2.0支持update、delete格式的数据写入，如果存在大量此格式的数据写入，会造成中间状态的冗余记录太多，引发存储和计算成本增加，查询效率低下等问题。因此需要设计合理的compaction服务消除中间...
命令行界面
下载CLI 根据操作系统的不同，下载合适的二进制包，下载地址如下：macOS(amd64)Linux(amd64)Windows 解压下载的压缩包，进入到解压后的文件夹，可获得命令行工具 influx（Windows下为 influx.exe）。启动influx 在cmd终端启动 influx。成功...
全增量实时同步至Hologres
数据写入 支持写入分区表与非分区表，分为以下三阶段：库表结构初始化：从源端数据库拉取库表结构迁移至Hologres。全量历史数据同步（可选）：将源库中待迁移对象的存量数据，全部迁移到Hologres中。实时数据增量同步（可选）：持续将源库...
ClickHouse控制台查看监控
每秒写入大小 集群各节点每秒写入的数据量。单位：Byte。网络吞吐 网络带宽。单位：Byte。QPS 每秒处理的查询数目。每秒写入行数 集群各节点每秒写入的行数。TCP连接数 集群的TCP连接个数。TPS 每秒处理的事务数目。运行Query个数 正在运行...
使用PyJindo访问阿里云OSS-HDFS
size int 表示文件大小。perm int 表示文件的权限位。atime datetime 表示文件最后一次访问的时间。mtime datetime 表示文件最后一次修改的时间。FileStream类 成员函数 返回值类型 描述 readable()bool 表示该文件流是否可读。writable()...
数据写入、更新、点查场景压测最佳实践
数据写入场景：主要用于测试Hologres针对行存、列存、行列共存表进行数据写入的性能。数据更新场景：主要用于测试Hologres针对行存、列存、行列共存表，在有主键的情况下进行数据更新的性能，包含全局更新与局部更新两个场景。点查场景：...
使用Kafka（离线与实时）
TEXT 和 JSON 类型的Kafka数据写入MaxCompute时，MaxCompute表要求如下：字段名称 字段类型 是否为固定字段 topic STRING 是 partition BIGINT 是 offset BIGINT 是 key TEXT 类型Kafka数据写入时，字段类型必须为STRING。JSON 类型Kafka...
Flink数据导入
流程介绍 说明 本文示例以CSV格式的文件作为输入源介绍数据写入流程。步骤 说明 步骤一：数据准备 创建一个新的CSV文件并在文件中写入源数据，然后将新文件部署至Flink所有节点的/root 下。步骤二：数据写入 通过SQL语句在Flink中创建源表...
- 产品推荐
- 这些文档可能帮助您