安全告警概述
进程异常行为 检测资产中是否存在超出正常执行流程的行为，包括但不限于以下子项：Linux系统计划任务配置文件写入 Linux计划任务文件异常篡改 Linux可疑命令执行 反弹Shell，更多信息，请参见 云安全中心反弹Shell多维检测技术详解。...
计费常见问题
当您在通用型NAS中写入文件数据产生实际存储容量，则开始计费；当您创建极速型NAS成功后，则根据您创建时配置的容量和时长计费。创建文件系统实例后，就开始计费吗？通用型NAS 创建通用型NAS文件系统，不会产生费用。当您在通用型NAS文件...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
0041-00000203
问题描述 请求触发镜像回源时，数据无法写入OSS。问题原因 Bucket处于被保护状态时，无法向该Bucket写入文件。问题示例 无 解决方案 确保回源文件写入的Bucket未处于保留策略的保护状态。相关文档 镜像回源 保留策略
文件网关支持哪些字符集
本文介绍文件网关支持的字符集。OSS的文件命名只支持UTF-8字符集，非UTF-8命名的文件无法上传到OSS中。因此，文件网关目前仅支持向OSS上传UTF-8命名的文件。...如发现已有非UTF-8命名文件写入文件网关，请提交工单进行处理。
文件网关支持的OSS Bucket类型说明
客户端写入文件到网关时，网关至少记录两个动作，写入文件以及设置文件修改时间。网关会尽量合并这两个动作，但仍可能针对某个文件向存储桶发起多个操作。设置修改时间会被转换成修改存储桶里的对象的元数据，通过调用拷贝对象API来实现，...
文件网关的缓存有什么作用
本地客户端通过文件网关向OSS上传文件时，数据会先写入文件网关的缓存。当文件完全写入缓存并关闭后，文件网关会将缓存中的文件上传至OSS。如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会...
Linux实例在修改文件时遇到“Read-only file system*...
可能原因 该问题可能是由以下原因导致：该实例的/etc/fstab 文件中将根文件系统/配置为只读挂载 ro，使系统或进程因无法正常写入文件，导致实例启动失败或系统服务无法正常运行。该实例的/etc/fstab 文件中的根文件系统/未配置挂载，导致...
管理健康报告
以下是用于评估小文件影响得分的具体算法：主键表：计算公式为 写入文件总数÷写入文件的平均大小。若平均文件大小较小，同时文件数量较多，则表明此类表的小文件问题潜在影响也越大。非主键表：计算公式改为 写入文件总数平均÷写入单个...
常见问题
Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量？如何限制单条查询语句消耗内存的大小？如何提升非JOIN语句的查询效率？Ranger开启Impala后，新扩容的Impala节点无法正常工作，该怎么办？...
写入文件提示DataXceiver Premature EOF from ...
本文介绍写入文件提示DataXceiver Premature EOF from inputStream异常的解决方案。具体报错 DataXceiver error processing WRITE_BLOCK operation src:/10.*.*.*:35692 dst:/10.*.*.*:50010 java.io.IOException:Premature EOF from ...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
计费常见问题
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件存储 HDFS 版 服务如何停止计费？如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除...
配置FTP输出组件
后缀格式 写入文件个数选择生成多个文件时，支持序列后缀或UUID随机后缀。重要 当加载策略选择为追加数据时，仅能生成UUID随机数后缀。高级配置 行分隔符 非必填项，填写行之间分隔符，支持多字符分隔符。如果您没有填写，则系统以换行符号...
配置FTP输出组件
后缀格式 写入文件个数选择生成多个文件时，支持序列后缀或UUID随机后缀。重要 当加载策略选择为追加数据时，仅能生成UUID随机数后缀。高级配置 行分隔符 非必填项，填写行之间分隔符，支持多字符分隔符。如果您没有填写，则系统以换行符号...
SDK示例
创建及写入文件*@param filePath*@param content*@throws IOException*/private void writeFile(final Path filePath,final String content)throws IOException { try(FSDataOutputStream out=fileSystem.create(filePath)){ out.write...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
logstash-input-oss插件使用说明
A：OSS还在写入文件时，触发了阿里云Logstash从OSS中获取数据，此时已经写入OSS中的数据会记录到MNS的队列中，并通过Logstash管道传输到阿里云Elasticsearch中。还未写入到OSS的这部分数据会继续写入到OSS中，等待下次事件触发后再进行写入...
自动优化
说明 详细内容可参考Databricks官网文章：自动优化 自动优化的工作原理 自动优化包含两个重要特性：优化Delta表的写入 在开源版Spark中，每个executor向partition中写入文件时，都会创建一个文件进行写入，最终会导致一个partition中包含...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
应用场景
OSS支持流式写入和文件写入两种方式。网页或者移动应用的静态和动态资源分离 利用海量互联网带宽，OSS可以实现海量数据的互联网并发下载。OSS提供原生的 传输加速 功能，支持上传加速、下载加速，提升跨国、跨洋数据上传、下载的体验。同时...
在本地控制台上使用文件网关
客户端写入文件到网关时，网关至少记录两个动作，写入文件以及设置文件修改时间。网关会尽量合并这两个动作，但仍可能针对某个文件向存储桶发起多个操作。设置修改时间会被转换成修改存储桶里的对象的元数据，通过调用拷贝对象API来实现，...
配置Hive输出组件
使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输出组件。更多信息，...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
0026-00000201
问题原因 您发起了PutObject或CopyObject等涉及到文件写入操作的请求，但是您试图写入的文件名已经存在同名文件，导致写入失败。问题示例 比如您发起了如下请求：PUT/object-exist.txt ...
0026-00000002
问题原因 您发起了PutObject或CopyObject等涉及到文件写入操作的请求，但是您试图写入的文件名已经存在同名文件，导致写入失败。问题示例 比如您发起了如下请求：PUT/object-exist.txt ...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
无 is_partition_field_write_in_file boolean 否 是否将分区字段写入文件中。false sink_columns array 否 写入文件的字段。从Transform中获取的所有列Source common-options object 否 公共参数。更多信息，请参见 common-options。无 ...
边缘文件服务接口说明
2.1文件增加 接口定义 path Content-Type POST/home/paas/file/add form-data 入参 字段 类型 是否必传 备注 filePath Text 是 文件写入路径 file File 是 文件流 expire Long 可选 文件最短保存时间，单位是秒，默认是2小时。可设置的范围...
快速入门
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件系统用于计费的计费存储量是如何计算的？按每小时计费存储量的最大值（峰值）计费。计费存储量=MAX[核算存储量,实际存储量]实际存储量是指文件系统中所有文件...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
Jindo DistCp场景化使用指导
场景九：如果需要写入文件至OSS上并压缩（LZO和GZ格式等）时，该使用哪些参数？场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？场景十一：如果想合并符合一定规则的文件，以减少...
实时计算场景优化
调整DataNode Xceiver连接数 背景：通常实时计算框架会打开较多的HDFS文件写入流（Stream），方便不断地向HDFS写入新的数据。HDFS允许同时打开的文件数量是有限的，受限于DataNode参数 dfs.datanode.max.transfer.threads。建议：您可以在...
基于Indexing Service实现数据流管理
{"min_age":"7d","actions":{"delete":{"delete_searchable_snapshot":true } } } } } } 以上新建的索引生命周期策略表示，当托管索引满足以下任意条件时，将触发滚动更新，生成新的后备索引，原索引保留7天后将自动删除：写入文件数超过...
RDS SQL Server I/O高问题
数据页写入和日志文件写入I/O吞吐高 数据页写入和日志文件写入I/O吞吐高，可以通过自治服务观察写I/O吞吐高期间是否有频繁的DML类的写入操作（INSERT、DELETE、UPDATE、MERGE等）或DDL类的写入操作（CREATE INDEX、ALTER INDEX等），处理...
通用型NAS计费
文件空洞是指由重复的0填充而没有实际写入文件的字节，一般通过truncate、lseek或fallocate命令创建。当开启回收站功能后，在文件保留时间内回收站中暂存的文件将按照原存储类型计费。即删除容量型文件系统中的文件后，该文件暂存在回收站...
- 产品推荐
- 这些文档可能帮助您