挂载访问FAQ
为什么写入文件系统的中文字符在客户端显示为乱码?使用Linux操作系统在NFS文件系统中执行ls命令时，为什么会返回523错误？挂载NFS文件系统时，返回mount.nfs:No such device该如何处理？如何解决服务器开机自启动挂载NFS文件系统失败？挂载...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据不同步或访问无响应的解决方案。交叉挂载兼容性问题 Linux挂载...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
导入Amazon S3文件
设置后，导入任务会一直在后台运行，自动周期性地发现并读取新文件（后台保证不会将同一个S3文件中的数据重复写入到日志服务）。如果目标S3文件路径中不再产生新文件，请修改为 永不检查，即导入任务读取完所有符合条件的文件后，将自动...
导入OSS数据
采用OSS元数据索引后，可以在秒级内发现OSS Bucket中的新文件，实现近实时导入Bucket中新写入文件的数据。在使用OSS元数据索引前，需先在OSS侧开通OSS元数据索引管理功能。具体操作，请参见 数据索引。当选择 数据格式 为 CSV 或 跨行文本...
COPY
文件格式 在使用 text 格式时，读取或写入的是一个文本文件，其中每一行就是表中的一行。一行中的列被定界字符分隔。列值本身是由输出函数产生的或者是可被输入函数接受的属于每个属性数据类型的字符串。在为空值的列的位置使用指定的空值...
命令行界面
可以使用 influx 写入数据（手动地或者从文件中）、交互式地查询数据和以不同的格式查看查询结果。下载CLI 根据操作系统的不同，下载合适的二进制包，下载地址如下：macOS(amd64)Linux(amd64)Windows 解压下载的压缩包，进入到解压后的文件...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
使用扩展属性定制列存索引
3：Tradeoff，与kSkip4K相比较更进一步，当写入的数据量小于1 MB（IMCI IO单位大小）时等价于ForPerformance，写入的数据量大于或等于1 MB时，尽可能地将数据分割到不同的文件中。未指定write_policy时，默认使用全局参数 loose_imci_...
X-Engine简介
合并的过程实际上是把要合并的相邻两层或多层的数据读出来，按key排序，相同的key如果有多个版本，只保留新的版本（比当前正在执行的活跃事务中最小版本号新），丢掉旧版本数据，然后写入新的层，这个操作非常耗费资源。合并数据除了考虑...
导入数据并查询
针对带有分区的Parquet或CSV数据文件创建OSS外表 如果OSS数据源是包含分区的，会在OSS上形成一个分层目录，类似如下内容：parquet_partition_classic/├─p1=2020-01-01│├─p2=4│├─p3=SHANGHAI│├─000000_0│└─000000_1│└─p3=...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
导入与导出
如何解决导入MaxCompute数据时，出现“回滚此次写入，采用每次写入一行方式提交”报错？如何解决导入MaxCompute数据时，出现Query Exceeded Maximum Time Limit报错？如何解决导入MaxCompute数据时，出现cant submit job for job queue is ...
安全告警概述
进程异常行为 检测资产中是否存在超出正常执行流程的行为，包括但不限于以下子项：Linux系统计划任务配置文件写入 Linux计划任务文件异常篡改 Linux可疑命令执行 反弹Shell，更多信息，请参见 云安全中心反弹Shell多维检测技术详解。...
Spark的数据写入至Hologres
本文为您介绍如何通过Spark读取或写入数据至Hologres的操作方法。背景信息 Spark是用于大规模数据处理的统一分析引擎，Hologres已经与Spark（社区版以及EMR Spark版）高效打通，快速助力企业搭建数据仓库。Hologres提供的Spark Connector，...
列存索引配置参数说明
写入的数据量大于或等于1 MB时，尽可能地将数据分割到不同的文件中。ForCapacity：优先考虑存储空间，尽可能地将数据切分后跨越多个文件进行写入，以最大化减少内部碎片，每次写入最多产生1个4 KB的内部碎片。ForPerformance：优先考虑性能...
表删除，更新和合并
如果存在此子句条件，则仅当子句条件为true时，才对任何匹配的源-目标行对行执行更新或删除操作。如果有多个whenMatched子句，则按照指定的顺序（即，子句的顺序很重要）对它们进行求值。除最后一个外，所有whenMatched子句都必须有条件。...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
数据库
所有临时文件都会被统计，忽略创建这些临时文件（例如排序或哈希）的原因，并且忽略 log_temp_files 的设置。temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略...
数据库
所有临时文件都会被统计，忽略创建这些临时文件（例如排序或哈希）的原因，并且忽略 log_temp_files 的设置。temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略...
Tunnel SDK常见问题
使用新版BufferedWriter可以更简单地进行上传且可以避免小文件等问题，详情请参见 TunnelBufferedWriter。遇到读写超时或IOException时，如何解决？上传数据时，Writer每写入8 KB数据会触发一次网络动作，如果120秒内没有网络动作，服务端...
概述
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
表引擎
具体原因：执行删除状态操作时需要写入取消行，而取消行中需要包含与原始状态行主键一样的数据（Sign列除外）。在进行 count()、sum(col)等聚合计算时，可能会存在数据冗余的情况。为了获得正确结果，业务层需要改写SQL，将 count()、sum...
存储空间占用情况
由于数据块block本身无法修改，系统需要通过delta增量文件的方式写入或修改文件，通过该方式写入和修改文件会额外占用OSS存储空间。重要 通过delta增量文件的方式写入或修改文件的空洞占用情况作为OSS标准存储容量进行统计，不支持通过hdfs...
创建文件数据源
Quick BI支持将本地的Excel文件和CSV文件上传至数据库中，作为文件数据源，满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。使用限制 限制说明 适用文件类型 单个文件表头必须放第一行，Sheet1不...
性能说明FAQ
通过在文件系统写入空洞文件或使用Truncate命令生成一个文件来增加文件系统使用容量，从而提升文件系统的读写吞吐。同时，空洞文件和Truncate命令生成的文件在阿里云NAS上占用实际容量，按实际大小计费。更多信息，请参见 通用型NAS计费。...
NFS协议
本文主要介绍NAS支持的NFS协议版本、NFSv3和NFSv4协议的功能差异及NFS一致性。...关于解决文件创建或写入延迟的解决方案，请参见 如何解决在NFS文件系统中创建文件延迟问题？和 如何解决向NFS文件系统中写入数据延迟问题？
资源
a+：类似于 r+，但写入时只能写入文件末尾。同时，PyODPS中文件资源支持以二进制模式打开，例如一些压缩文件需要以这种模式打开。rb：指以二进制读模式打开文件。r+b：指以二进制读写模式打开。表资源 创建表资源 o.create_resource('test_...
Python SDK示例：资源
a+：类似于 r+，但写入时只能写入文件末尾。同时，PyODPS中文件资源支持以二进制模式打开，例如一些压缩文件需要以这种模式打开。rb：指以二进制读模式打开文件。r+b：指以二进制读写模式打开。表资源 创建表资源 o.create_resource('test_...
表实用程序命令
警告 我们不建议您将保留间隔设置为短于7天，因为并发的读取器或写入器仍然可以将旧快照和未提交的文件用于表。如果 vacuum清除活动文件，则并发阅读器可能会失败，或者更糟的是，当vacuum删除尚未提交的文件时，表可能会损坏。Delta Lake...
使用clickhouse-client导入数据
CSV 数据按行写入文件中。字符串类型使用英文双引号括起来，字符串本身的双引号用两个双引号进行转义，数值类型不使用双引号。默认列分隔符为,您也可以通过-format_csv_delimiter 指定其他列分隔符，例如列与列之间使用竖线分割，则命令...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
无 is_partition_field_write_in_file boolean 否 是否将分区字段写入文件中。false sink_columns array 否 写入文件的字段。从Transform中获取的所有列Source common-options object 否 公共参数。更多信息，请参见 common-options。无 ...
主键Primary Key
为了确保数据表中每一条记录的唯一性、数据的一致性和方便数据管理，您需要为表设置主关键字（Primary Key，简称主键或PK）。Hologres中主键与传统数据库主键特性一致，是表中记录的唯一标识，代表了表数据的唯一性。因此被设置为主键的...
OSS数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } OSS Reader脚本Demo：ORC或Parquet文件读取OSS 目前通过复用HDFS Reader的方式完成OSS读取ORC或Parquet格式的文件，在OSS Reader已有参数的基础上，增加了 Path、FileFormat 等...
写入或更新调优指南
当您Hologres的表数据写入或更新的性能无法达到业务预期时，可根据本文提供的写入瓶颈判断方法分析其具体原因（上游数据读取较慢，或达到了Hologres的资源瓶颈等），从而选择合适的调优手段，帮助业务实现更高的数据写入和更新性能。...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
同步增量数据到OSS
写入文件时第一行是否输出表头。默认不输出表头。如果需要在第一行输出表头，请选中 首行输出表头 复选框。在 字段映射 区域，系统自动进行字段映射，保持默认配置即可。来源字段中包括了表主键和增量变更信息，目标字段不支持配置。在 ...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
Windows系统挂载SMB协议文件系统
挂载成功后，您可以在ECS上访问NAS SMB协议文件系统，执行读取或写入操作。如果挂载失败，您可以通过脚本自动定位问题或根据常见错误码解决方案进行错误排查。具体操作，请参见 使用脚本自动排查 和 挂载访问FAQ。自动挂载文件系统 打开CMD...
- 产品推荐
- 这些文档可能帮助您