Hive使用JindoSDK处理OSS-HDFS服务中的数据
在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务...
Trino使用JindoSDK查询OSS-HDFS服务中的数据
使用OSS-HDFS服务访问OSS Bucket时需要配置Endpoint。推荐访问路径格式为 oss:/<Bucket>.<Endpoint>/，例如 oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成后，JindoSDK会根据访问路径中的Endpoint访问...
使用函数计算打包下载OSS文件
本文介绍如何使用函数计算将对象存储OSS上多个文件（Object）打包下载到本地。前提条件 已开通函数计算。您可以在 函数计算产品详情页 开通函数计算。已授权函数计算访问OSS。具体步骤，请参见 授予函数计算访问其他云服务的权限。已在某个...
Spark使用JindoSDK查询OSS-HDFS服务中的数据
使用OSS-HDFS服务访问OSS Bucket时需要配置Endpoint。推荐访问路径格式为 oss:/<Bucket>.<Endpoint>/，例如 oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成后，JindoSDK会根据访问路径中的Endpoint访问...
使用数据迁移工具ossimport迁移OSS资源失败的解决方法
问题描述 使用阿里云对象存储OSS时，将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中可以使用ossimport工具。本文介绍运用数据迁移工具ossimport迁移OSS资源失败的报错原因及解决方案。问题原因 使用...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
使用OSS-HDFS服务访问OSS Bucket时需要配置Endpoint。推荐访问路径格式为 oss:/<Bucket>.<Endpoint>/，例如 oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成后，JindoSDK会根据访问路径中的Endpoint访问...
使用STS临时访问凭证访问OSS时提示“The OSS Access ...
问题描述 通过STS服务给其他用户颁发一个临时访问凭证，在使用临时访问凭证在规定时间内访问OSS资源时，...相关文档 OSS服务端签名后直传出现“The OSS Access Key Id you provided does not exist in our records.”报错 适用于 对象存储OSS
使用Python操作OSS时出现“No module named oss2”...
重要 本文可能由社区贡献或涉及第三方产品信息，建议您访问社区或第三方产品的官方网站获取帮助与支持。第三方产品不在阿里云售后支持范围。本文仅供参考，阿里云不做任何暗示或其他形式的承诺。问题描述 使用Python上传...适用于 对象存储OSS
使用数据复制功能迁移同账号下的OSS数据
在同一个阿里云账号下，您可以通过OSS的跨区域复制功能将地域A的某个存储空间（Bucket）数据迁移至地域B下的另一个Bucket。如果您需要将地域A某个Bucket的数据迁移至相同地域的另一个Bucket，请使用OSS的同区域复制功能。注意事项 数据迁移...
如何使用阿里云CDN和OSS等产品实现跨境加速
对象存储OSS开启传输加速。更多信息，请参见 开启传输加速。添加CDN或全站加速域名。CDN请参见 添加加速域名。DCDN请参见 添加加速域名。配置回源HOST，回源OSS对象存储的传输加速域名。更多信息，请参见 配置回源HOST。相关文档 访问CDN...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
教程示例：使用RAM Policy控制OSS的访问权限
OSS提供使用键值（key）对格式的分布式对象存储服务。您可以根据其唯一的key（对象名）检索对象的内容。例如，名为 examplebucket 的存储空间有三个文件夹，分别为 Development、Marketing 和 Private，以及一个对象 oss-dg.pdf。在创建 ...
通过OSS使用智能媒体管理
本文介绍通过OSS使用智能媒体管理的前提条件、注意事项和使用流程。重要 此文档已不再维护，建议您使用新版智能媒体管理。关于智能媒体管理新版与旧版的对比，请参见 新旧版本使用指引。关于如何通过OSS使用新版智能媒体管理的详细信息，请...
使用Big Data Tools连接JetBrains IDE与OSS
步骤三：管理OSS 建立连接后，您可以开始使用OSS的Bucket和文件。在单独的选项卡预览Bucket 您可以在编辑器中以单独的选项卡预览Bucket。选择一个Bucket，然后单击 Open in Separate Viewer。您就可以在不同选项卡中快速打开多个Bucket并在...
使用Amazon S3 SDK访问OSS
对象存储OSS提供了兼容Amazon S3的API。当您将数据从Amazon S3迁移到OSS后，只需简单的配置修改，即可让您的客户端应用轻松兼容OSS服务。本文主要介绍如何通过不同开发平台的S3 SDK完成初始化配置，然后使用S3 SDK接口访问OSS资源。前提...
使用日志服务告警为您的OSS保驾护航
客户A使用了OSS中名为examplebucket的存储空间来存储用户产生的短视频，App每天的用户活动具有一定的周期性，一般情况下深夜的PV较低，其他时段PV较高。每天9点~10点之间的PV访问基本持平。例如每月5号9点~10点的PV是50万，6号9点~10点的PV...
使用OSS静态存储卷
本文为您介绍通过使用创建PV和PVC的方式使用OSS静态存储卷，及如何在PV中使用Secret。注意事项 若您在应用模板中配置了 securityContext.fsgroup 参数，kubelet在存储卷挂载完成后会执行 chmod 或 chown 操作，导致挂载时间延长。说明 若已...
使用CDN加速后访问OSS图片处理的URL无法访问
问题描述 阿里云对象存储OSS图片处理后的URL，在使用CDN加速后，无法访问相应的图片文件。问题原因 使用CDN加速后OSS图片处理后的URL无法访问的原因如下：CDN上没有设置过滤参数，使用CDN加速的方式访问带参数的URL，节点会主动过滤携带的...
使用OSS静态存储卷
对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高持久的云存储服务。本文为您介绍如何通过命令行及控制台的方式使用OSS静态存储卷。前提条件 已创建Kubernetes托管版集群。已创建Bucket存储空间。说明 若Bucket...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
使用OSS清单功能备份大数据量OSS文件
使用对象存储OSS的清单功能可以周期性生成清单文件。在大数据量的OSS备份场景中，云备份 使用OSS清单功能进行备份，可显著提升备份的效率和性能。云备份 提供了灵活的备份策略配置选项，可以将数据备份到云端，并随时查看和恢复数据。本文...
使用在线迁移服务跨账号迁移OSS数据
您可以使用阿里云在线迁移服务，将阿里云账号A下的OSS源存储空间Bucket A的数据迁移至另一个阿里云账号B的OSS目标存储空间Bucket B，Bucket A与Bucket B可以位于相同或不同地域。重要 目前在线迁移功能不收取服务费用，但是因迁移数据时...
Hadoop使用JindoSDK访问OSS-HDFS服务
作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
Flume使用JindoSDK写入OSS-HDFS服务
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume通过调用flush()保证事务性写入，并通过JindoSDK写入OSS-HDFS服务，确保flush后的数据立刻可见，...
使用STS临时访问凭证访问OSS
步骤六：使用临时访问凭证上传文件至OSS 在临时访问凭证有效期（Expiration）到期之前，使用临时访问凭证上传文件至OSS。本文以Java SDK 3.12.0版本为例，将本地 D:\\localpath 路径下的exampletest.txt文件上传至存储空间examplebucket下...
使用OSS Foreign Table导出数据
说明 表中同一行记录在导出时不会跨文件存储。实际导出文件的大小可能略大于该参数的设定。OPTIONS参数中CSV和TEXT格式特有选项请参见下表：参数 类型 是否必填 说明 gzip_level 数值 否 设置CSV或TEXT格式文件的GZIP压缩级别。取值范围为1...
使用OSS作为HBase的底层存储
本文为您介绍HBase on OSS架构，以及如何使用OSS作为HBase的底层存储。背景信息 HBase on OSS的架构如下图所示。说明 从架构图可以看到，本文不包含启用JindoData读缓存的相关配置，HBase是通过JindoSDK来实现访问OSS。HBase on OSS架构...
使用OSS实现持久化存储-Flexvolume
背景信息 阿里云对象存储服务（OSS）提供海量、安全、低成本、高可靠的云存储服务。OSS支持同时被多个Pod挂载。OSS使用场景：对磁盘I/O要求低。配置文件、图片、小视频等共享业务。OSS使用方式：手动创建Bucket。获取 AccessKey ID 和 ...
BatchCompute可以跨区域使用OSS吗？
如通过外网向 OSS 上传程序、数据或下载结果，请使用 OSS 外网域名，例如青岛：oss-cn-qingdao.aliyuncs.com；如果希望在 BatchCompute 的虚拟机里访问 OSS 域名，请通过环境变量 os.environ[‘ALI_DIKU_OSS_HOST’]获取。如果问题还未能...
使用OSS Foreign Table进行数据湖分析
本文介绍如何使用OSS Foreign Table（OSS外表，简称OSS FDW）导入OSS中的数据并进行数据分析。功能介绍 OSS FDW基于PG FDW（PostgreSQL Foreign Data Wrapper）框架进行开发，通过OSS FDW，您可以进行如下操作：将OSS数据导入本地表（行存...
使用OSS-HDFS作为HBase的底层存储
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详情请参见 OSS-HDFS服务概述。HBase on ...
使用Android SDK请求OSS资源时出现No value for ...
问题描述 在使用阿里云OSS移动端Android SDK请求OSS资源时，返回以下报错。com.alibaba.sdk.android.oss.ClientException: No value for StatusCode org.json.JSONException: No value for StatusCode[ErrorMessage]:No value for StatusCode org....
使用OSS缓存插件加速构建
使用ossutils制作用于云上构建的缓存，将本地的npm缓存拷贝至对象存储OSS#自动创建的Bucket，对应的URL为serverless-cd-${region-id}-cache-${uid}.oss-${region-id}.aliyuncs.com # 对于GitHub上的代码仓库，工作节点以及对应的OSS Bucket...
使用OSS缓存插件加速构建
使用ossutils制作用于云上构建的缓存，将本地的npm缓存拷贝至对象存储OSS#自动创建的Bucket，对应的URL为serverless-cd-${region-id}-cache-${uid}.oss-${region-id}.aliyuncs.com # 对于GitHub上的代码仓库，工作节点以及对应的OSS Bucket...
使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务
本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已创建DataLake集群，并选择了Flume服务。具体操作，请参见 创建集群。已...
使用AccessKey登录ossbrowser时出现“You are ...
问题描述 使用阿里云OSS图形化管理工具ossbrowser...相关文档 OSS权限相关常见错误的排查方法 访问OSS时出现403状态码的排查方法 开启私有OSS Bucket回源后访问CDN加速域名提示“You are forbidden to list buckets”错误 适用于 对象存储OSS
BatchCompute使用OSS是如何收费的？
BatchCompute 访问 OSS 不产生额外费用。用户需要支付 OSS 数据的存储费用，BatchCompute 作业走内网访问 OSS 不产生流量费用。
使用.NET SDK通过MemoryStream方法上传文件到OSS时...
问题描述 在使用.NET SDK通过MemoryStream方法上传文件时，由于MemoryStream默认文件指针的当前位置是流的尾部，文件可以上传成功，但是文件的大小为0。解决方案 在上传文件之前使用 mStream.Seek(0,SeekOrigin.Begin);...适用于 对象存储OSS
使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
- 产品推荐
- 这些文档可能帮助您