生命周期配置示例
本文档提供多个常见的生命周期配置示例，以便您更好地使用生命周期规则管理您存储空间（Bucket）内的文件（Object）。单个筛选条件 每个生命周期规则都包含至少一个筛选条件，筛选条件可用于确定Bucket中适用生命周期规则的部分或所有...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
复杂事件处理（CEP）语句
例如有序列 a1 b1 b2 c1 b3 c2 c3 d1，其中包含组合模式(B C*)的三次重复 b1、b2 c1、b3 c2 c3，下方SQL语句得到的结果为 a1 b1 b2 c1 c3 d1：SELECT*FROM MyTable MATCH_RECOGNIZE(ORDER BY rowtime MEASURES A.id AS aid,FIRST(B.id)AS b...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
创建存储空间
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持...
日志转存
访问OSS的过程中会产生大量的访问日志。您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的存储空间（Bucket）。开启日志转存 以下代码用于开启日志转存功能。require 'aliyun/oss' client=Aliyun:...
列举存储空间
存储空间（Bucket）按字母序排列。您可以结合实际场景列举当前账号下的所有存储空间、指定前缀的存储空间、指定个数的存储空间等。列举条件 您可以通过设置prefix、marker或者max-keys参数列举满足指定条件的存储空间。参数名称 描述 ...
宽表模型介绍
如果业务中有类似电商网站的商品ID、大型网站的用户ID、论坛帖子的ID、聊天工具的消息ID等使用主键列自增的场景，您可以配置主键列自增。5 基础数据操作 说明 合理的属性列设置能提升业务数据使用效率，建议您参考 数据操作最新实践 文档...
列举存储空间
存储空间（Bucket）是用来存储对象（Object）的容器。对象都隶属于存储空间。存储空间按照字母顺序排列。您可以列举当前账号所有地域下的存储空间。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
获取存储空间的地域
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何获取存储空间所在的地域。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
解冻文件
解冻过程 不同存储类型的Object的解冻过程相同。Object的解冻过程如下。初始时，Object处于冷冻状态。提交一次解冻请求后，Object处于解冻中状态。服务端完成解冻任务后，Object进入解冻状态。此时您可以读取Object。如果Object处于解冻...
快速使用ossbrowser
若您因意外中断了文件上传的过程，且未继续完成该文件的上传，则已上传的部分会以碎片（Part）的形式存储在OSS的存储空间（Bucket）中。若您不再需要这些Part，建议您通过以下方式删除，以免产生额外的存储费用。手动删除Part的具体操作，...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
导出清单
导出过程大约需要数分钟乃至数小时，具体用时取决于元数据量的大小。输出的清单结果文件默认保存在 oss:/<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/路径下，暂不支持自定义输出路径。重要.sysinfo/inventory/目录不支持删除。该...
数据加密
其具体加密过程如下图所示。更多信息请参见OSS开发指南中的 客户端加密。基于SSL/TLS的HTTPS加密传输 OSS支持通过HTTP或HTTPS的方式访问。您也可以在Bucket Policy中设置仅允许通过HTTPS（TLS）来访问OSS资源，实现更加安全的数据传输。...
方案设计
另一方面，如果我们把一个平面的格点数据存储到一列中，在整读整取时效率比较高，但是如果只读取某个点，就会读取很多的无效数据，效率又会变得比较低。因此我们采取一种折中的方案，对平面的二维数据再次进行切分，切分成更小的平面数据块...
获取存储空间的地域信息
当您在多个地域创建了大量存储空间（Bucket）时，您可以通过指定存储空间名称的方式，快速获取该存储空间所属的地域信息。使用场景 数据访问优化：了解Bucket所在地域有助于确定最优的数据访问路径。例如，如果您的应用部署在同一地域或...
同区域复制概述
同区域复制（Same-Region Replication）是指将源存储空间（Bucket）中的文件（Object）的创建、更新和删除等操作自动、异步（近实时）地复制到相同地域下的目标Bucket。使用场景 当地法规遵从性规定不允许数据离开您的国家或地区时，您可以...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
CopyObject
调用 CopyObject 接口拷贝同一地域下相同或不同存储空间（Bucket）之间的文件（Object）。版本控制 x-oss-copy-source 默认拷贝Object的当前版本，您可以在 x-oss-copy-source 中加入versionId来拷贝指定的Object版本。拷贝Object时，如果...
触发器
使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
如何理解主键、数据分区和数据分区键
在后续使用的过程中，主键列的类型不能改变。数据分区和分区键 表格存储会自动把表分成不同的数据分区，以达到对其存储数据的负载均衡。数据分区的划分粒度为主键的第一列，该列即为数据分区键。拥有相同数据分区键的行必然在同一个数据...
删除存储空间
当您不再需要保留某个存储空间（Bucket）时，可将其删除，以免产生额外费用。警告 删除Bucket后，Bucket中的数据无法恢复，请在删除前确认数据已不再使用。如果需要继续使用Bucket中的数据，请提前做好备份。关于备份的更多信息，请参见 ...
数据引入层（ODS）
CREATE TABLE IF NOT EXISTS s_biz_order_delta(biz_order_id STRING COMMENT '订单ID',pay_order_id STRING COMMENT '支付订单ID',logistics_order_id STRING COMMENT '物流订单ID',buyer_nick STRING COMMENT '买家昵称',buyer_id STRING...
Bucket Policy常见示例
Bucket Policy是OSS提供的一种针对存储空间（Bucket）的授权策略，使您可以精细化地授权或限制有身份的访问者（阿里云账号、RAM用户、RAM角色）或匿名访问者对指定OSS资源的访问。例如，您可以为其他阿里云账号的RAM用户授予指定OSS资源的...
数据引入层（ODS）
CREATE TABLE IF NOT EXISTS s_biz_order_delta(biz_order_id STRING COMMENT '订单ID',pay_order_id STRING COMMENT '支付订单ID',logistics_order_id STRING COMMENT '物流订单ID',buyer_nick STRING COMMENT '买家昵称',buyer_id STRING...
明细粒度事实层（DWD）
明细粒度事实层DWD（Data Warehouse Detail）以业务过程驱动建模，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。公共汇总粒度...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
明细粒度事实层（DWD）
明细粒度事实层DWD（Data Warehouse Detail）以业务过程驱动建模，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。公共汇总粒度...
HTTPS设置
客户端会告知服务端自己支持的最高SSL协议版本，服务端会从自己和客户端支持版本的交集中，取最高的版本作为实际使用的SSL版本。SSL协议是在压测时由压测引擎与服务端协商而来。高级设置中的SSL协议版本不一定是最终使用的协议，仅用于表明...
API概览
本产品（文件存储（NAS/CPFS）/2017-06-26）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
如何主动触发特定文件夹的反向同步
本文介绍如何通过云存储网关主动触发特定文件夹的反向同步。前提条件 已创建共享。具体操作，请参见 创建共享。操作步骤 您可以通过调用TriggerGatewayRemoteSyncRequest接口来实现主动触发特定文件夹的反向同步。说明 云存储网关Python ...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
数据类型
使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型 Scala中的值类型 多元索引数据类型 表中数据类型 ByteType Byte Long Integer ShortType Short Long ...
OSS服务端签名后直传出现“The OSS Access Key Id you...
问题描述 通过 服务端签名后直传...Code>InvalidAccessKeyId</Code><Message>The OSS Access Key Id you provided does not exist in our records.</Message><RequestId>60AE1FFE8CFD483135961F65</RequestId><HostId>BucketName.oss-...
HTTPS设置
在使用PTS压测过程中，您可以在高级设置的HTTPS设置区域配置循环重置SSL状态和SSL协议。循环重置SSL状态 对于HTTPS压测，在串联链路每次循环时，需要选择是否重置SSL连接状态，帮助您控制同一API多次请求之间是否重置SSL上下文内容，默认不...
系统设置
运维审计日志字段说明 SLS日志字段 字段说明 user_id 用户ID instance_id 实例ID operator_id 运维员ID user_type 用户类型。包括：RAM_ROOT：阿里云账号（主账号）RAM_SUB_USER：RAM用户（子账号）BUILTIN：PAM本地账号 system_account 运...
如何避免循环触发？
上述过程类似于一个无限递归，为了避免这种循环触发函数，需要设定一个递归终止条件，例如将触发函数的Bucket目录前缀设置成 src/，生成的文件写入的目录前缀设置为 dst/，这样生成的文件就不会再次触发函数，避免循环执行带来的不必要费用...
- 产品推荐
- 这些文档可能帮助您