使用OSS清单功能备份大数据量OSS文件
使用对象存储OSS的清单功能可以周期性生成清单文件。在大数据量的OSS备份场景中，云备份 使用OSS清单功能进行备份，可显著提升备份的效率和性能。云备份 提供了灵活的备份策略配置选项，可以将数据备份到云端，并随时查看和恢复数据。本文...
开通并配置OSS存储分析
背景信息 OSS提供了存储清单功能，配置该功能后会定期为Bucket生成清单文件，清单文件中保存了OSS Bucket中Object的数量，大小等存储信息。EMR Doctor借助您Bucket中最新的清单文件，分析该Bucket的数据使用，健康状态以及与Hive存储分析...
如何判断是否已生成清单文件？
本文介绍判断清单文件是否已生成的两种方式。清单规则配置示例 假设您通过控制台设置清单报告规则时仅配置以下必选参数，其他参数保持默认配置。配置项 示例值 规则名称 rule1 存储清单Bucket examplebucket 关于配置清单规则的具体操作，...
存储空间清单
您可以通过两种方式判断是否已生成清单文件，详情请参见 如何判断是否已生成清单文件？使用阿里云SDK 以下仅列举常见SDK配置Bucket清单的代码示例。关于其他SDK的配置Bucket清单代码示例，请参见 SDK简介。Java import ...
GetBucketInventory
格式为：acs:ram:uid:role/rolename 父节点：OSSBucketDestination Bucket 字符串 存放导出的清单文件的存储空间。父节点：OSSBucketDestination Prefix 字符串 清单文件的存储路径前缀。父节点：OSSBucketDestination Encryption 容器 ...
常见问题
配置文件错误。解决方法 安装1.8版本的Java。按照示例正确编辑配置文件。配置示例，请参见 配置文件示例。使用 submit 命令提交任务后，通过 stat 命令查看任务状态一直显示 no jobs is running or finished.sudo bash console.sh stat...
PutBucketInventory
配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。请求语法 重要 请求头中的inventoryId为必选参数，取值与请求参数中的Id保持一致。仅华北1（青岛）、华北5（呼和浩特）、德国（法兰克福）以及澳大利亚...
存储空间占用情况
清单文件作为OSS-HDFS文件系统目录的一部分，存储在/.sysinfo 路径下。您可以通过hdfs du命令查看OSS-HDFS文件清单文件的空间占用情况。OSS-HDFS 回收站 OSS-HDFS回收站中的文件未达到指定保存时间前，并没有从HDFS文件系统中彻底删除，...
ListBucketInventory
格式为：acs:ram:uid:role/rolename 父节点：OSSBucketDestination Bucket 字符串 存放导出的清单文件的存储空间。父节点：OSSBucketDestination Prefix 字符串 清单文件的存储路径前缀。父节点：OSSBucketDestination Encryption 容器 ...
为什么很长时间没有产生清单结果？
源Bucket清单中的前缀配置错误 解决方法：请根据以下规则检查源Bucket配置的前缀是否正确。如果要扫描整个Bucket内的所有Object，请置空 按前缀匹配 配置项。如果要扫描Bucket某个路径下的所有Object，请设置 按前缀匹配 为不包含Bucket...
UpdatePolicyBinding-修改策略与数据源关联
OSS 清单文件生成需要时间，在 OSS 清单文件生成完成之前可能会备份失败，可以等待下个周期执行。30663060 InventoryCleanupPolicy string 否 备份后是否删除清单文件。仅当使用 OSS 清单时有效。支持：NO_CLEANUP：不删除。DELETE_CURRENT...
CreatePolicyBindings-创建策略与数据源关联
OSS 清单文件生成需要时间，在 OSS 清单文件生成完成之前可能会备份失败，可以等待下个周期执行。oss-inventory-default InventoryCleanupPolicy string 否 备份后是否删除清单文件。仅当使用 OSS 清单时有效。支持：NO_CLEANUP：不删除。...
集成Windows SDK时的常见问题
解决方案：设置头文件和静态库路径。参考 在工程属性页面，设置依赖头文件的路径 和 设置静态库的路径。动态库路径错误 问题现象：程序运行时可能会出现以下错误：可能原因：缺少依赖的库文件。解决方案：复制 DingRTCSdk.dll 及依赖的 ...
导出清单
使用清单导出功能，您可以将某个Bucket下的OSS-HDFS服务的文件清单导出到某个特定路径，格式为JSON文件，方便您对元数据进行统计分析。前提条件 使用最新版本JindoSDK。下载地址，请参见 GitHub。配置OSS-HDFS服务下Bucket的访问密钥。具体...
使用限制
生成OSS清单文件需要时间，在使用时有以下限制：备份任务触发时，如果没有任何OSS清单文件，则备份任务直接失败。备份任务触发时，如果有OSS清单文件，但是和上次相比没有更新，则备份任务失败。备份任务触发时，只会使用最近一次生成的OSS...
存储空间清单
配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置：#include<alibabacloud/oss/OssClient.h>using namespace AlibabaCloud:OSS;int main(void){/*初始化...
存储空间清单
配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置：package main import("fmt""github.com/aliyun/aliyun-oss-go-sdk/oss" "os" )func main(){/从环境...
使用COPY或UNLOAD命令导入或导出数据到OSS
Manifest清单文件必须是JSON格式，由以下元素构成：entries：数组，表示清单内具体的OSS文件列表，可以位于不同的Bucket或拥有不同的路径前缀，但需要能够使用相同的AccessKey ID或AccessKey Secret访问。示例如下：{"entries":[{"url":...
DescribePolicyBindings-查询绑定策略列表
OSS 清单文件生成需要时间，在 OSS 清单文件生成完成之前可能会备份失败，可以等待下个周期执行。inventory_test InventoryCleanupPolicy string 备份后是否删除清单文件。仅当使用 OSS 清单时有效。支持：NO_CLEANUP：不删除。DELETE_...
迁移实施
列表位置 是 清单文件所在的存储空间，可选择 Alibaba OSS 或 AWS S3。列表域名 或 区域 是 当 列表位置 选择 Alibaba OSS 时，输入OSS清单所在的地域。当 列表位置 选择 AWS S3 时，输入AWS S3清单的访问域名。更多信息，请参见 Amazon S3...
存储空间清单
optional_fields=[FIELD_SIZE,FIELD_LAST_MODIFIED_DATE,FIELD_STORAG_CLASS,FIELD_ETAG,FIELD_IS_MULTIPART_UPLOADED,FIELD_ENCRYPTION_STATUS]#创建存放清单文件的目标Bucket配置。bucket_destination=InventoryBucketDestination(#目标...
Jindo DistCp使用说明
baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后，您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件，并将dest目录...
存储空间清单
配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。以下代码用于为某个Bucket添加清单配置。const OSS=require('ali-oss');const client=new OSS({/yourBucketName填写存储空间名称。bucket:'yourBucketName',...
迁移实施
当选择 推送 或 仅推送文件错误日志 时，在线迁移服务会在日志服务SLS中创建名称为 aliyun-oss-import-log-阿里云账号ID-当前控制台地域 的Project，例如aliyun-oss-import-log-137918634953*-cn-hangzhou。重要 请务必完成以下操作后，再...
存储空间清单
配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置。using Aliyun.OSS;using Aliyun.OSS.Common;yourEndpoint填写Bucket所在地域对应的Endpoint。以华东1...
Jindo DistCp使用说明
baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后，您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件，并将dest目录...
Linux实例中MySQL服务常见的无法启动或启动异常处理
MySQL配置文件my.cnf权限问题导致无法启动，错误提示“World-writable config file '/etc/my.cnf' is ignored”Binlog 丢失导致无法启动，错误日志：File './mysql-bin.000001' not found Binlog无法读取导致无法启动，错误日志：Failed to...
存储空间清单
配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置：import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import ...
NFS协议
本文主要介绍NAS支持的NFS协议版本、NFSv3和NFSv4协议的功能差异及NFS一致性。...关于解决文件创建或写入延迟的解决方案，请参见 如何解决在NFS文件系统中创建文件延迟问题？和 如何解决向NFS文件系统中写入数据延迟问题？
CreateDataFlowTask-创建数据流动任务
Inventory：获取 CPFS 上数据流动管理的文件清单，可提供文件在数据流动中的缓存状态。说明 目前 CPFS 智算版只支持 Import 和 Export。Import DataType string 否 数据流动任务操作的数据类型。取值：Metadata：文件的元数据，包括文件的 ...
DescribeDataFlowTasks-查询数据流动任务列表
Inventory：获取 CPFS 上数据流动管理的文件清单，可提供文件在数据流动中的缓存状态。Import DataType string 数据流动任务操作的数据类型。包括：Metadata：文件的元数据，包括文件的 timestamp,ownership,permission 等属性信息。选择 ...
创建OSS恢复任务
使用 云备份 将OSS备份到云上备份库后，OSS中文件丢失或者受损时，您可以根据历史备份，将 全量文件 或者 满足条件的部分文件 进行恢复，可以 免费恢复至源OSS 或者 免费恢复至一个新的OSS。前提条件 已创建OSS备份计划并完成备份。具体...
查看敏感文件检测结果
如需下载敏感文件清单，单击 操作 列的 下载 即可。后续操作 清空日志：如果您已不需要当前的检测结果，可以在 敏感文件发现 页面，单击右上角 清空，在 清空日志 页面对检测结果进行 按时间段清空 或者 清空全部 处理。存储状态：SASE默认...
CreateFileCompressionTask-创建文件压缩任务
文件压缩任务可以将您的多个文件，打包为zip等压缩包。您提交任务后会异步打包文件，将结果存储到指定位置。在打包时支持对文件进行重命名操作，您可以自定义文件打包规则以及输出的压缩包名称。接口说明 请确保在使用该接口前，已充分了解...
OSS有哪些批量操作？
对象存储OSS提供丰富的访问和管理文件（Object）的方式，为提升操作效率，您可以参照本文所示的方法批量管理文件，例如批量上传、下载、复制、删除文件等。批量上传 您可以使用以下方法，批量上传文件：ossimport工具 支持从服务器本地、第...
什么是OSS-HDFS服务
使用回收站 导出清单 使用清单导出功能，您可以将某个Bucket下的OSS-HDFS服务的文件清单导出到某个特定路径，格式为JSON文件，方便您对元数据进行统计分析。导出清单 导出审计日志 OSS-HDFS服务端记录了客户端请求的查询、修改、删除文件...
通过导入工具导入至数仓版
host=host port=3306 user=adbuser password=pwd database=dbname encryptPassword=false#导入表名#tableName=please_set_table_name#导入的文件或文件夹的绝对路径，支持：#1）单个文件或单个文件夹#或者#2）同时导入多个文件，多个文件的...
为什么会出现相同日期的两份按天导出的清单结果文件？
本文介绍当您配置按天导出清单结果的清单规则时，出现两份看似同日期的清单结果文件的原因。问题原因 当您配置按天导出的清单规则时，为保障用户体验，当后台资源空闲时，会在当天启动清单任务。首次执行和第二次执行的时间间隔可能不足24...
集成Windows SDK时的常见问题
通过阅读本文，您可以了解集成Windows ...解决方案：设置头文件和静态库路径。动态库路径错误 问题现象：程序运行时可能会出现以下错误：可能原因：缺少依赖的库文件。解决方案：复制 AliRTCSdk.dll 及依赖的 ffmpeg.dll 到程序的执行路径下。
常见问题
本文介绍使用OSS PHP SDK的常见...13769)错误原因 下载数据到本地文件时，数据无法保存至本地文件。解决方法 检查是否拥有本地文件的写入权限。检查保存的本地文件路径是否正确。如果保存的文件路径包含多级目录，请确保这些目录都已存在。
- 产品推荐
- 这些文档可能帮助您