通过SLS完成日志数据入湖OSS

2850008 结合以上示例值,则投递作业创建时间为2022/01/20 19:50:43生成的OSS文件路径为:oss:/examplebucket/exampledir/2022/01/20/19/50_1484913043351525351_2850008.suffix 说明 OSS文件路径以投递作业的创建时间动态生成。...

安装并登录ossbrowser

例如授权访问存储空间examplebucket下文件夹examplefolder下的文件或子文件夹,则填写 oss:/examplebucket/examplefolder/。当授权访问的Bucket开启了请求者付费模式,且您不是该Bucket拥有者的情况下,需选中 请求者付费模式。否则,访问...

OSS访问日志会被定期清除吗?

OSS访问日志的存储和清理机制如下:日志转存的OSS访问日志:如果您使用了日志转存,则您的OSS访问日志会被转存储OSS的Bucket中,OSS不会定期清除您的日志文件。如果您需要定期清除日志文件,您可以配置生命周期规则进行自动删除。如何...

使用函数计算打包下载OSS文件

本文介绍如何使用函数计算将对象存储OSS上多个文件(Object)打包下载到本地。前提条件 已开通函数计算。您可以在 函数计算产品详情页 开通函数计算。已授权函数计算访问OSS。具体步骤,请参见 授予函数计算访问其他云服务的权限。已在某个...

如何关闭OSS服务或停止计费?

如果您不希望继续使用OSS服务,请删除存储空间(Bucket)下的所有对象(Object)、因分片上传或断点续传产生的碎片(Part)、以及LiveChannel,再删除Bucket,即可在下一个账期(OSS按量付费一小时出一次账单)不产生扣费信息。如果要删除...

自定义OSS文件下载时的文件名

OSS文件名:如果上述两者都未设置,将默认使用对象键名的文件名部分。通过预签名URL设置单次下载的文件名 预签名URL是OSS提供的一种临时授权访问链接,可以让用户在一定时间内下载私有权限的文件。通过在生成预签名URL的过程中添加 ...

通过Amazon S3协议挂载OSS

Rclone支持多种系统,能让您将存储空间挂载到本地文件系统中,并通过多种协议提供服务。关于Rclone的介绍,请参见 Rclone。操作步骤 在Windows操作系统下,通过Rclone挂载存储空间的步骤如下:下载并按照页面指引安装Winfsp。以下载winfsp-...

下载OSS文件偶尔出现无法下载

问题描述 下载OSS文件时,偶尔出现文件无法下载的情况。...而正常下载的情况下,有Cache-Control响应头,并且Server字段正常显示,因此确认此问题可能为劫持问题,实际最终请求并不是OSS响应,或经过OSS响应但被劫持。...适用于 对象存储OSS

OSS日志里面206代表什么

问题现象 OSS日志里面出现了大量对的206,如截图:问题原因 服务器已经成功处理了部分GET请求。类似于FlashGet或者迅雷这类的HTTP下载工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。该请求必须包含Range头...

OSS下载的RAR文件存在乱码

问题描述 通过OSS下载的RAR格式文件,打开文件后存在乱码。问题原因 Object的文件类型不正确,HTTP头的 Content-Type 参数和实际文件类型参数不匹配。解决方案 修改Object属性中的HTTP...具体操作,请参见 设置文件HTTP头。适用于 对象存储OSS

使用Python操作OSS时出现“No module named oss2”...

重要 本文可能由社区贡献或涉及第三方产品信息,建议您访问社区或第三方产品的官方网站获取帮助与支持。第三方产品不在阿里售后支持范围。本文仅供参考,阿里不做任何暗示或其他形式的承诺。问题描述 使用Python上传...适用于 对象存储OSS

如何避免OSS被攻击恶意刷流量?

当您的存储空间(Bucket)被恶意访问时,可能会出现高带宽或者大流量突发的情况,产生不必要的下行流量。严重情况下,还可能出现Bucket被切入沙箱,导致服务不可用。本文介绍如何避免OSS被攻击恶意刷流量。您可以通过以下两种方式避免OSS被...

OSS的gzip压缩如何使用?

charset=utf-8 Transfer-Encoding:chunked Connection:keep-alive Vary:Accept-Encoding x-oss-request-id:5CE5FF7BFEC931F2900F9F2A Last-Modified:Thu,23 May 2019 02:01:11 GMT x-oss-object-type:Normal x-oss-hash-crc64ecma:...

使用阿里账号登录OSS管理控制台

使用阿里云对象存储OSS管理控制台,您可以使用直观的界面进行相应的操作。本文介绍如何使用阿里账号登录OSS管理控制台。前提条件 已注册阿里账号并完成实名认证。详情请参见 注册阿里账号 和 个人实名认证。操作步骤 打开 OSS开通...

访问OSS出现网络异常如何处理?

背景信息 如果您请求OSS时收到了OSS的响应,即使这个响应的HttpCode不是200,也说明您当前的网络跟OSS服务之间是连通的。这类问题您只需获取OSS响应中的Request ID,打开 OSS自助诊断工具 进行问题诊断检测即可。关于如何获取Request ID,...

教程示例:使用RAM Policy控制OSS的访问权限

OSS提供使用键值(key)对格式的分布式对象存储服务。您可以根据其唯一的key(对象名)检索对象的内容。例如,名为 examplebucket 的存储空间有三个文件夹,分别为 Development、Marketing 和 Private,以及一个对象 oss-dg.pdf。在创建 ...

OSS文件处于冻结状态无法正常访问

问题描述 阿里云对象存储OSS中的文件在以下场景处于冷冻状态,无法正常访问。文件存储类型是归档存储、冷归档存储或者深度冷归档存储。文件存在违法违规情况。问题原因 阿里云对象存储OSS中的文件处于冻结状态有以下几种情况:在对象存储...

如何实现跨账号KMS加密OSS资源

则上传时需要通过 x-oss-server-side-data-encryption 指定SM4的加密算法,示例如下:./ossutil64 cp examplefile.txt oss:/examplebucket-meta=x-oss-server-side-encryption:KMS#x-oss-server-side-data-encryption:SM4#x-oss-server-...

OSS内网域名与VIP网段对照表

下机房设备或异地ECS实例希望通过内网访问OSS时,可通过CEN、高速通道、专线、VPN等连接OSS所在地域内网网络,并配置指向OSS内网网段的路由。本文列出OSS各地域的内网网段。警告 OSS为每个Region内网VIP网段划分了固定地址段,您按Region...

开源Flink写入OSS-HDFS服务

开源Flink不支持流式写入OSS-HDFS服务,也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务,需要结合JindoSDK。说明 如果您不希望通过Flink流式写入OSS-HDFS服务前部署JindoSDK,您可以...

OSS有带宽和QPS限制吗?

每秒请求数QPS(Query Per Second)单个阿里账号的总QPS为10,000,但在不同的读写方式下,实际能达到的值如下:读写方式 QPS 顺序读写 2,000 非顺序读写 10,000 如果您在上传大量文件时,在命名上使用了顺序前缀(如时间戳或字母顺序),...

OSS里的文件怎么全部解冻?

本文将介绍批量解冻OSS文件的具体方法。解决方案 要批量解冻OSS里的文件,您需要按照以下步骤操作:1.在批量解冻文件之前,您首先需要列举出所有文件。列举文件推进您使用存储空间清单功能,它可以方便且高效的列举bucket文件,尤其是在...

迁移HDFS数据到OSS-HDFS

如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时,您可以通过阿里EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容,将HDFS中的数据迁移到OSS-HDFS后,可以...

教程示例:通过Bucket Policy限制公网访问OSS

Bucket Policy是阿里云对象存储OSS推出的针对存储空间(Bucket)的授权策略,您可以通过Bucket Policy禁止指定的RAM用户通过公网访问您指定的OSS资源。场景描述 企业A在华东1(杭州)地域创建了名为examplebucket的存储空间,examplebucket...

EMR Flink写入OSS-HDFS服务

可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权...

OSS加速器成本优化最佳实践

开启OSS加速器后,您可以将需要重复读取的数据缓存在加速器中。当向OSS加速器请求数据时,加速器根据空间大小提供1.6 Gbps/TB(即200 MBps/TB)的带宽,以满足下载时对带宽的需求。本文介绍如何在使用OSS加速器时,根据业务需求降低使用...

如何使OSS文件永久处于解冻状态?

如果要使这些文件永久处于解冻状态,确保文件始终处于可读状态,您可以解冻文件,然后将文件存储类型转换为标准存储或低频访问存储。对于归档类型的文件,您也可以直接为文件所在的Bucket开启归档直读。转换存储类型 如果您需要使指定的...

Hadoop使用JindoSDK访问OSS-HDFS服务

作为原生数据湖基础,OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时,全面融合大数据存储生态,除提供对象存储扁平命名空间之外,还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...

CDN回源OSS的流量如何进行计费

概述 本文主要介绍在阿里CDN对OSS进行加速时,如果回源到OSS获取资源,CDN和OSS如何进行计费。详细信息 阿里CDN回源OSS的情况下,计费规则和计费方式如下:计费示例如下:当请求通过CDN加速回源到OSS获取资源时...适用于 对象存储OSS CDN

OSS文件上传和下载失败的排查方法

概述 本文主要介绍阿里对象存储OSS文件上传和下载失败的排查方法。...在使用OSS SDK上传或下载文件时,如发生报错,请...相关文档 OSS权限相关常见错误的排查方法 阿里云对象存储OSS上传或下载文件时速度很慢 常见OSS错误码 适用于 对象存储OSS

绑定自定义域名至OSS传输加速域名

前提条件 已开启OSS传输加速服务。关于开启传输加速以及传输加速的应用场景等信息,请参见 传输加速。已绑定自定义域名至目标Bucket。操作步骤,请参见 绑定自定义域名。费用说明 通过传输加速Endpoint上传数据时,会产生加速上传流量。...

如何查看OSS文件解冻是否完成?

对归档、冷归档、深度冷归档的OSS文件进行解冻后,要确认文件已完成解冻以进行读取,对于大量文件,您可以调用 ListObjectsV2、ListObjects、ListObjectVersions 接口指定某个前缀(prefix)来批量查看文件的解冻状态信息,通过响应元素 ...

使用STS临时访问凭证访问OSS

本文以Java SDK 3.12.0版本为例,将本地 D:\\localpath 路径下的exampletest.txt文件上传至存储空间examplebucket下的src目录的示例代码如下:import com.aliyun.oss.OSS;import com.aliyun.oss.OSSClientBuilder;import ...

使用RAM用户登录OSS管理控制台

背景信息 您可以在以下场景中使用RAM用户登录OSS控制台:阿里账号的Bucket内存放了企业内部共享文件,您可以创建RAM用户给员工,并授予相应的访问权限,员工可以使用RAM用户登录OSS控制台查看这些共享文件。企业有部分合作伙伴需要定期...

从Amazon S3上的应用无缝切换至OSS

OSS提供了S3 API的兼容性,可以将您的...迁移教程 您可以使用 阿里在线迁移服务 将 Amazon S3 数据轻松迁移至阿里云对象存储OSS。详情请参见 Amazon S3迁移教程。S3兼容性 关于OSS兼容的S3 API以及OSS与S3的差异,请参见 Amazon S3兼容性。

从Amazon S3上的应用无缝切换至OSS

OSS提供了S3 API的兼容性,可以将您的...迁移教程 您可以使用 阿里在线迁移服务 将 Amazon S3 数据轻松迁移至阿里云对象存储OSS。详情请参见 Amazon S3迁移教程。S3兼容性 关于OSS兼容的S3 API以及OSS与S3的差异,请参见 Amazon S3兼容性。

OSS MD5一致性校验说明

OSS上的Object会有ETag标签,ETag主要是用来判断服务端数据是否存在变化。但是ETag不一定等同于文件的MD5值,所以不建议作为校验数据一致性的依据。如果需要校验上传到OSS文件和本地文件是否一致,可以在上传文件时携带文件的Content-MD5...

通过MaxCompute查询和分析OSS数据

部分应用可能每天都有大量的数据上传至OSS,这些数据可能涉及超大文本文件的结构化分析。您可以通过MaxCompute的外部表查询功能,将OSS存储的数据加载到MaxCompute进行分析。MaxCompute的数据查询和分析工作效率可提升至分钟级,帮助您更...

如何上传大文件OSS

对象存储OSS支持通过多种方式上传文件。对于大文件(超过5 GB的文件),可能存在上传失败或者上传慢的情况。此时您可以通过分片上传、断点续传、ossbrowser工具、ossutil工具等多种方式上传大文件。上传方式 单个文件的大小限制为0~48.8 ...

OSS的低频访问和归档存储的计费容量大于实际存储量的...

概述 本文主要介绍阿里云对象存储OSS的低频访问和归档存储的计费容量远远大于实际存储量的原因。详细信息 对象存储OSS的低频访问和归档存储类型文件的最小存储单元为64KB,所有小于64KB的文件都会按照64KB计算。所以,如果您存储空间内有很...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 混合云存储 云存储网关 文件存储NAS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用