导入OSS数据
本文介绍导入OSS数据到日志服务所涉及的使用限制。采集限制 限制项 说明 单个文件大小 如果是Snappy压缩格式的文件（非Framing-format格式），最大支持350 MB。如果是其他格式的文件，最大支持5 GB。单个文件大小超过限制时，导入任务会...
导入OSS数据
日志时间配置 时间字段 当选择 数据格式 为 CSV、单行JSON、ORC、Parquet、阿里云OSS访问日志 或 阿里云CDN下载日志 时，您需要设置一个时间字段，即设置为OSS文件中代表时间的列名，用于指定导入日志到日志服务时的时间。提取时间正则 当...
从OSS导入数据
本文介绍如何将OSS数据导入至 云数据库ClickHouse。前提条件 已开通OSS服务。如何开通，请参见 开通OSS服务。已创建存储空间（Bucket），且Bucket与 云数据库ClickHouse 位于同一地域。如何创建，请参见 创建存储空间。访问OSS的账号已具备...
OSS数据导入MaxCompute表
OSS数据导入MaxCompute表组件主要用于将OSS中的数据导入MaxCompute表。输入为数据文件所在的OSS目录，默认会读取该目录下所有数据文件。OSS中的数据文件（JSONL格式，示例）需要符合：每一行是一个合法的JSON对象，文件由多行JSON对象组成...
从OSS导入数据
已获取服务关联角色的ARN（arninfo）信息，获取方法，请参见 授权GDB访问OSS。已获取图数据库GDB的连接地址和端口，获取方法，请参见 获取图数据库GDB实例的信息。如果您使用本地客户端进行导入操作，连接时需要使用外网地址，申请外网地址...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
从OSS导入JSON数据文件
总体流程 HybridDB for MySQL从OSS上导入JSON文件需要如下三个步骤：在HybridDB for MySQL中建立导出数据的真实存储表 在HybridDB for MySQL中建立一张外表映射到JSON文件 调用 INSERT INTO SELECT 来完成数据导入 操作步骤 登录HybridDB ...
OSS与ClickHouse间的数据导入与导出
OSS数据导入至ClickHouse集群 步骤一：创建业务表 使用SSH方式登录ClickHouse集群，详情请参见 登录集群。执行以下命令，进入ClickHouse客户端。clickhouse-client-h core-1-1-m 说明 本示例登录core-1-1节点，如果您有多个Core节点，可以...
使用COPY或UNLOAD命令导入或导出数据到OSS
COPY和UNLOAD都是基于OSS Foreign Table来完成数据导入导出的，OSS Foreign Table的详细内容请参见 使用 OSS Foreign Table 访问 OSS 数据。COPY 语法 COPY[]FROM<data_source>ACCESS_KEY_ID '<access_key_id>' SECRET_ACCESS_KEY '...
通过OSS SDK接入开源生态
使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问OSS 使用Thanos访问OSS 此文档由开源Thanos社区提供。将Elasticsearch的快照备份至...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
日志转存
有关数据导入的具体操作，请参见 导入OSS数据。有关日志服务分析功能的更多信息，请参见 分析概述。操作步骤 使用OSS控制台 登录 OSS管理控制台。单击 Bucket 列表，然后单击目标Bucket名称。在左侧导航栏，选择 日志管理>日志转存。在 ...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
备份存储空间
针对存放在对象存储OSS上的数据，阿里云提供多种数据备份方式，以满足不同场景的备份需求。本文介绍备份OSS数据的几种主要方式。说明 备份存储空间会产生请求、数据取回等费用，费用详情请以实际备份方式为准。通过定时备份功能进行备份 云...
数据容灾
同城冗余存储 OSS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性...
OSS的低频访问和归档存储的计费容量大于实际存储量的...
概述 本文主要介绍阿里云对象存储OSS的低频访问和归档存储的计费容量远远大于实际存储量的原因。详细信息 对象存储OSS的低频访问和归档存储类型文件的最小存储单元为64KB，所有小于64KB的文件都会按照64KB计算。所以，如果您存储空间内有很...
0017-00000201
问题描述 请求中缺少必须的请求参数，请结合ErrorMessage判断缺少哪些请求参数 问题原因 没有按照对象存储OSS产品API接口文档中的请求头描述信息填写请求时必须填写的请求头信息。解决方案 按照对象存储OSS产品API接口文档中的请求头设置...
数据迁移概述
OSS API OSS SDK OSS外部表（gpossext功能）云原生数据仓库AnalyticDB PostgreSQL版支持通过OSS外部表（gpossext功能），将数据导入或导出阿里云对象存储OSS。将数据并行从OSS导入到AnalyticDB PostgreSQL 将数据并行导出到OSS 阿里云Jindo...
服务等级协议
请参见 对象存储OSS服务等级协议。
使用OSS视频截帧时提示“not supported format”错误
问题描述 在使用阿里云对象存储OSS通过SDK生成带签名的视频截帧URL后，URL无法打开，提示“not supported format”错误。问题原因 仅支持对视频编码格式为H264和H265的视频文件进行视频截帧。解决方案 在使用视频截帧时，请确保使用H264和H...
常见问题
本文列举了对象存储OSS的用户经常咨询和关注的一些问题，帮助您快速了解OSS。一般常见问题 什么是阿里云OSS？阿里云对象存储服务OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高持久性的云存储服务，并可无限扩展。...
什么是对象存储OSS
阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。OSS具有与平台无关的RESTful API...
功能特性
数据索引 通过云存储网关挂载OSS 通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。通过云存储网关挂载OSS ...
云存储网关
它以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关 目前提供两种形态：文件网关 文件网关将OSS Bucket的对象结构与NAS文件系统的目录和文件建立映射关系，您通过...
简介
阿里云对象存储服务（Object Storage Service，简称OSS），是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。您可以通过本文档提供的简单的REST接口，在任何时间、任何地点、任何互联网设备上进行上传和下载数据。基于OSS，您...
OSS中的透明图片添加水印不生效
问题描述 为存储在阿里云对象存储OSS中的图片文件增加水印时，水印不生效。问题原因 图片水印不支持原图有 透明图 层。添加水印时是以原图颜色为背景色，将水印图片融合进入RGB通道，Alpha通道保留原值。Alpha通道只有两个值（全透明或者不...
使用ossimport迁移数据
ossimport支持将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中。本文介绍如何使用ossimport将数据从第三方存储迁移到OSS。背景信息 某用户的数据存储于腾讯云COS广州（华南）区域，数据大小约500TB。现...
计费概述
通过阅读本文，你可以快速了解对象存储OSS的付费方式、计费组成、定价等主要计费信息。计费方式 对象存储OSS支持以下计费方式。按量付费：所有计费项默认采用按量付费。按照各计费项的实际用量结算费用，先使用，后付费，适用于业务用量...
前言
前提条件 已开通阿里云对象存储OSS服务。具体操作，请参见 开通OSS服务。已创建AccessKey ID和AccessKey Secret。具体操作，请参见 创建AccessKey。使用8.0及以上版本iOS系统。隐私策略 SDK隐私策略请参见 对象存储SDK隐私政策。SDK源码和...
OSS文件如何避免数据误删或误覆盖
概述 使用阿里云对象存储OSS时，有些操作可能会导致文件被删除或者覆盖，本文主要介绍如何避免数据误删或误覆盖。详细信息 OSS是分布式存储产品，通过数据自动多重冗余备份保证数据的持久性。因此正常情况下，OSS本身是不会导致数据出现...
敏感数据安全防护方案
本文介绍如何将阿里云对象存储OSS与阿里云 数据安全中心DSC（Data Security Center）结合，对敏感数据进行识别、分类、分级和保护。前提条件 已开通DSC 开通步骤请参见 快速实现数据分类分级。已开通OSS 开通步骤请参见 开通OSS服务。背景...
对象存储OSS如何删除合规保留策略
概述 本文主要介绍阿里云对象存储OSS如何删除合规保留策略。详细信息 当基于时间的合规保留策略创建后，该策略默认处于“InProgress”状态，且该状态的有效期为24小时。在有效期24小时内，此策略对应的Bucket资源处于保护状态。若Bucket内...
OSS下载的RAR文件存在乱码
问题描述 通过OSS下载的RAR格式文件，打开文件后存在乱码。问题原因 Object的文件类型不正确，HTTP头的 Content-Type 参数和实际文件类型参数不匹配。解决方案 修改Object属性中的HTTP...具体操作，请参见 设置文件HTTP头。适用于 对象存储OSS
OSS违规图片被冻结后仍然可以被外部访问
问题描述 使用阿里云内容安全产品的OSS违规检测功能，对在阿里云对象存储OSS中的图片、视频等内容进行鉴黄、涉政暴恐检测，并且在冻结配置中设置了 修改权限 的冻结方式，OSS中的违规图片被冻结后，仍然可以被外部访问。问题原因 OSS违规...
基本概念
本文将向您介绍对象存储OSS产品中涉及的几个基本概念，以便于您更好地理解OSS产品。存储空间（Bucket）存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、...
使用在线迁移服务跨账号迁移OSS数据
结合文件元数据信息，例如最后修改时间LastModified、文件大小Size和文件类型Content-Type等是否相同进一步判断覆盖或者跳过同名文件。更多参考 跨账号数据迁移的更多场景 迁移指定数据 以上场景假设了迁移整个Bucket的所有数据，如果您只...
如何选择OSS地域
例如以杭州的用户为例，使用 ping 命令可以测试出其访问不同地域OSS数据中心的延迟情况。可以看出，距离访问的数据中心越远，数据返回所需时间越长。所以在选择地域时尽量考虑离用户更近的地域。云产品之间的关系 如果您需要将OSS作为其他...
- 产品推荐
- 这些文档可能帮助您