新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
请求者付费模式
请求者付费模式是指由请求者支付读取存储空间（Bucket）内数据时产生的流量费用和请求费用，而Bucket拥有者仅支付存储费用。当您希望共享数据，但又不希望产生流量费用和请求费用时，您可以开启此功能。设置请求者付费模式 以下代码用于...
使用OSS加速器
您也可以根据经验配置一定大小的加速器空间，加速器会在数据读取时自动缓存文件至加速器高性能介质中，供下次读取时快速访问。加速器的空间可根据加速效果随时进行扩缩调整。如果您的推理程序需要通过本地目录方式访问OSS，您需要部署 ...
统一存储常见问题
本文将 iOS 常见问题及解决方法整理如下：如何设置统一存储用户态？解答：接入 mPaaS 的应用会使用自己的账号体系，如果需要使用统一存储来管理用户态数据，请第一时间通知统一存储，让统一存储进行用户数据库的切换，再通知其它业务层。[...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
功能支持情况
不适用 解冻文件 冷归档存储或者深度冷归档存储类型的Object需要解冻（Restore）之后才能读取。不适用 删除文件 您可以通过多种方式删除Bucket中不再需要保留的Object。支持通过OSS控制台HDFS页签的方式、HDFS Shell命令的方式以及Jindo ...
芯片厂商入驻流程
存储器可靠性 类型 说明 消费级 可靠存储10年，可重复擦写10万次以上。工业级 可靠存储10年，可重复擦写50万次以上。车规级 可靠存储10年，可重复擦写100万次以上。芯片封装 由芯片厂商自行填写，常用的安全芯片封装规格有QFP，QFN，DFN等...
IoT数据源
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表，本文为您介绍DataWorks的IoT数据读取能力。支持的版本 仅华东2（上海）、华北2（北京）、华南1（深圳）地域的标准型和尊享型...
归档直读
归档直读是指在对象存储OSS中，直接访问归档存储类型的文件，而无需先对其解冻。归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作，请参见 创建存储空间。RAM...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
生命周期管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
集群吞吐性能测试
集群吞吐=（1.4+1.4+1.4+1.1+1.1+1.45）*1000÷8=981.25 MB/s 顺序读性能测试 预估值：1000 MB/s 按顺序读取 文件存储 HDFS 版 上的文件。顺序读取 文件存储 HDFS 版 上面500个大小为4 GB的文件，读写数据的缓存大小为8 MB，并将统计数据...
列出并读取一个存储空间中的资源
本文为您提供列出并读取一个存储空间中资源的参考示例。以下策略表示：您可以通过OSS SDK或OSS命令行工具列出并读取一个存储空间 myphotos 中的资源。{"Version":"1","Statement":[{"Effect":"Allow","Action":"oss:ListObjects","Resource...
数据读取
本文介绍如何通过 开源大数据平台 EMR（E-MapReduce）控制台，快速创建一个 EMR 集群并使用Spark3读取 表格存储 的数据。前提条件 已使用阿里云账号对 EMR 服务授权。具体操作，请参见 角色授权。已创建 表格存储 数据表。具体操作，请参见...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
将HBase数据同步到表格存储
使用DataX将HBase数据库中的全量数据同步到表格存储（Tablestore）中。准备工作 开通表格存储服务，并创建实例和数据表。具体操作，请参见 通过控制台使用宽表模型 或者 通过命令行工具使用宽表模型。说明 创建数据表时建议使用HBase原主键...
read-symlink（读取软链接）
read-symlink 命令用于读取软链接文件的描述信息，包括软链接文件的ETag值、最后更新时间等。此操作要求用户对软链接文件有读权限。注意事项 要读取软链接，您必须具有oss:GetObject权限。具体操作，请参见 为RAM用户授权自定义的权限策略...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
PutBucketArchiveDirectRead
开启归档直读后，直接读取归档存储类型的文件，会产生归档直读数据取回容量（RetrievalDataArchiveDirect）费用。对于已经解冻的归档存储类型的文件，不会产生归档直读数据取回容量费用。详情请参见 数据处理费用。请求语法 PUT/?...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
使用前须知
阿里云文件存储（NAS）联合日志服务推出日志分析功能，提供NAS访问日志的实时采集、查询、分析、加工、消费等一站式服务。本文介绍NAS访问日志功能相关的资产详情、费用说明及使用限制等。重要 日志分析功能仅支持 通用型NAS。资产详情 专...
离线同步数据质量排查
写端数据一致性排查 数据集成的Writer插件用来将源头读取到的数据写出至数据目标端，每一个目标存储类型都会有对应的Writer插件，Writer插件会根据用户配置的数据写出模式（包括冲突替换策略），使用JDBC或者对应数据源SDK最终将数据提交给...
计费概述
SLS日志分析费用 文件存储 NAS（通用型NAS SMB协议及通用型NAS NFS协议）将日志转储到日志服务后，日志服务根据存储空间、读取流量、请求数量、数据加工、数据投递等进行收费。更多信息，请参见 按使用功能付费模式计费项。文件存储CPFS ...
边缘存储
将数据写在边缘存储后，边缘存储的数据会快速自动同步到全球的边缘节点，边缘函数ER可快速读取使用同节点的边缘存储数据。结合边缘存储和边缘函数ER，您可以部署轻量型的BaaS服务、API网关服务。工作原理 当您在控制台或通过OpenAPI写入KV...
Parquet（推荐）
read/write Key 取值范围 默认值 说明 Write compression None,Uncompressed,bzip2,defalte,gzip,lz4,snappy None 声明Spark应该使用什么样的压缩编码器来读取或写入文件 Read Merge Schema true，false 配置值spark.sql.parquet....
通过RAM Policy为RAM用户授权
使用 表格存储 产品前，您需要为RAM用户授予访问 表格存储 资源的权限。本文介绍如何通过RAM Policy为RAM用户授予访问 表格存储 资源的权限。背景信息 阿里云权限管理机制包括访问控制和临时安全令牌，您可以根据需求使用不同权限的RAM用户...
如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
常见问题（FAQ）
外部写入：Delta Lake以事务日志的形式维护其他元数据，以启用ACID事务和读取器的快照隔离。为了确保正确更新事务日志并执行正确的验证，写操作必须通过Databricks Runtime 外部读取：增量表存储以开放格式（Parquet）编码的数据，允许其他...
测试模型
表格存储的读取性能受用户的数据量与缓存命中率影响比较大。因此GetRow和GetRange这两个测试用例无法覆盖到所有的用户场景。我们保证这两个测试用例的性能数据是用户可复现的，它的意义在于，如果您的使用场景与之类似，可以使用本报告的...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
插件配置概述
logstash-input-maxcompute插件使用说明 logstash-input-oss 从阿里云对象存储服务OSS读取数据。logstash-input-oss插件使用说明 logstash-input-sls 从阿里云日志服务SLS读取日志。logstash-input-sls插件使用说明 output logstash-output...
功能特性
表存储格式：列存、行存、行列共存 数据分层存储 数据湖等外表存储 可直接访问存储MaxCompute、OSS上的数据，实现离线数据加速，数据湖数据加速，包含：OSS存储、MaxCompute存储。OSS数据湖加速 通过创建外部表加速查询MaxCompute数据 开发...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
边缘存储
将数据写在边缘存储后，边缘存储的数据会快速自动同步到全球的边缘节点，边缘函数ER可快速读取使用同节点的边缘存储数据。结合边缘存储和边缘函数ER，您可以部署轻量型的BaaS服务、API网关服务。适用场景 边缘存储适用于由开发者低频写、ER...
- 产品推荐
- 这些文档可能帮助您