对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
通过云存储网关挂载OSS
通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件 已开通 云存储网关服务，并授予访问OSS、ECS及...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
云存储网关
云存储网关CSG（Cloud Storage Gateway）是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关 目前提供两种...
模型导出
可视化配置参数 输入桩 输入桩（从左到右）限制数据类型/上游组件 对应PAI命令参数 是否必选 训练模型目录 OSS路径/模型训练 model_dir 是 组件参数 页签 参数 是否必选 描述 对应PAI命令参数 默认值 参数设置 EasyRec配置文件 否 EasyRec...
产品架构
Meta Service 主要用于管理元数据Meta信息（包括表结构信息以及数据在Storage Engine节点上的分布情况），并将Meta信息提供给FE节点。Holo Master Hologres原生部署在K8s上，当某个Worker出现故障时，由K8s进行快速拉起创建一个新的Worker...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
账单和用量查询
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
OSS与文件系统的对比
例如重命名目录，如果希望将test1目录重命名成test2，则OSS的实际操作是将所有以 test1/开头的Object都重新复制成以 test2/开头的Object，该操作会消耗大量的带宽、存储、计算、时间资源。因此在使用OSS时请尽量避免类似的操作。受限于单个...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
方案实现
在前文的方案与架构基础上，本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统，并主要使用Timeline模型、基于推模式进行同步。表格存储消息（Timeline）模型是针对...
BulkExport
如果请求的行存在，则消耗的读服务能力单元为指定行所有主键列数据大小与实际读取的属性列数据大小之和除以4 KB向上取整。关于数据大小计算的更多信息，请参见 数据存储量。如果请求超时，结果未定义，则服务能力单元有可能被消耗，也可能...
OSS小时数据
调用 QueryUserOmsData 查询OSS按小时计量的数据信息。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 QueryUserOmsData 系统规定参数，取值为 QueryUserOmsData。DataType String 是 Hour 计量数据时间类型，取值为 Hour。...
管理文件访问权限
oss2.OBJECT_ACL_PRIVATE 公共读 文件的拥有者和授权用户有该文件的读写权限，其他用户只有文件的读权限。请谨慎使用该权限。oss2.OBJECT_ACL_PUBLIC_READ 公共读写 所有用户都有该文件的读写权限。请谨慎使用该权限。oss2.OBJECT_ACL_...
向量召回模型拆分
该组件使用 split_model_pai.py 脚本，实现向量召回模型拆分的功能。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：Designer。完成 模型训练。可视化配置参数 输入桩 输入桩（从左到右）限制数据类型/上游...
通过控制台使用宽表模型
通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未注册...
EFC加速NAS或CPFS文件访问
仅支持在华北3（张家口）、华北2（北京）、华南3（广州）、华南1（深圳）、华东2（上海）地域使用。原理介绍 如下图所示，通过将NAS 或CPFS 中的数据缓存到本地，实现对文件访问速度的提升。其工作原理如下：您可以通过定义Dataset CRD资源...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
EMQX数据接入
将模拟温湿度数据通过MQTT协议上报到EMQX Cloud后，使用EMQX Cloud数据集成将数据转存到表格存储（Tablestore）。前提条件 EMQX Cloud 已在EMQX Cloud上创建专业版EMQX集群。已完成与阿里云平台的VPC对等连接创建，用于VPC之间的网络连接。...
加速主机目录数据访问
time cat/data/demofile>/dev/null real 0m2.061s user 0m0.015s sys 0m0.581s 由于数据集中的数据已经全部缓存在了JindoFS缓存系统中，读取数据时将会从缓存中读取，而不是从远程存储器中读取，从而减少了网络传输，提升了数据访问效率。
加速PV存储卷数据访问
步骤一：查询PV存储卷和PVC存储卷声明的信息 执行如下命令，查询Kubernetes中PV存储卷和PVC存储卷声明的信息。kubectl get pvc,pv 预期输出：NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/demo-pvc ...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表的同时支持创建一个或者多个索引表。说明 创建数据表后需要几秒钟进行加载，在此期间对该数据...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
DeepSpeed分布式训练
若您无需使用示例镜像，您也可以从Git URL下载源代码，并将数据集存放在共享存储系统（基于NAS的PV和PVC）中。本示例假设您已经获得了名称为 training-data 的PVC实例（一个共享存储），用来存放训练结果。如需自定义训练镜像，可参见如下...
开发和调试
1,"2:2,3:1,4:4"2,"1:2,3:2,4:1"3,"1:1,2:2,5:1"4,"1:4,2:1,5:1"5,"3:1,4:1"关于 warehouse 的介绍请参见 本地运行。单击 Run，即可本地跑SSSP。说明 参数设置可参见MaxCompute客户端中 conf/odps_config.ini 的设置，上述为几个常用参数，...
试用实例应用到生产环境指南
（可选）资源隔离与高可用 如果您的业务有读写分离、读读分离的需求，可以使用Hologres支持的共享存储多实例高可用方案，详情请参见 主从实例读写分离部署（共享存储）。以64Core为例，您可以将主实例调整为32Core，用于承载数据写入任务，...
基本概念
存储空间（Bucket）存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。同...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
创建同城冗余存储Bucket
OSS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性。本文介绍如何...
什么是OSS-HDFS服务
OSS-HDFS服务（JindoFS服务）是一个云原生数据湖存储功能。基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留...
目录和文件访问权限
操作/Dir1/Dir2/file 创建目录/Dir1-WX-创建目录/Dir1/Dir2-X-WX-创建文件/Dir1/Dir2/file-X-X-WX-读打开/Dir1/Dir2/file-X-X-X R-写打开/Dir1/Dir2/file-X-X-X-W-删除目录/Dir1-WX RWX RWX-删除文件/Dir1/Dir2/file-X-X-Stat file-X-X-X-...
二级索引简介
当某些应用需要使用不同属性作为查询条件来执行数据查询时，您可以通过将这些属性作为二级索引的主键列实现按照属性快速查询数据的需求。表格存储提供了本地二级索引和全局二级索引来满足您不同读取一致性要求的查询场景。本文介绍了二级...
教程示例：使用RAM Policy控制OSS的访问权限
本教程示例详细演示了如何使用RAM Policy控制用户对OSS存储空间（Bucket）、文件夹以及文件夹下文件（Object）的访问权限。背景信息 RAM Policy是基于用户的授权策略。通过设置RAM Policy，您可以集中管理您的用户（例如员工、系统或应用...
CreateDataFlow-创建数据流动
接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算版文件系统最大允许创建 10 个数据流动。创建...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
创建云盒Bucket
前提条件 仅 华东1（杭州）、华南1（深圳）、华南2（河源）、华北2（北京）、西南1（成都）地域支持使用OSS ON云盒服务。已购买云盒。具体操作，请参见 购买云盒。操作步骤 使用OSS控制台 登录 OSS管理控制台。在左侧导航栏，选择 数据服务...
OSS访问域名使用规则
OSS会为每一个存储空间（Bucket）分配默认的访问域名，本文介绍OSS访问域名的构成规则及使用方式。OSS域名构成规则 针对OSS的网络请求，除了 GetService（ListBuckets）以及 DescribeRegions API以外，其他所有请求的域名都是由带有指定...
- 产品推荐
- 这些文档可能帮助您