插件配置概述
Redis output plugin logstash-output-s3 向亚马逊简单存储服务（Amazon Simple Storage Service,Amazon S3）批量上传Logstash事件。S3 output plugin logstash-output-sns 向采用托管pub/sub框架的亚马逊简单通知服务（Amazon Simple ...
创建自定义组件
您可以看到通过以上方式能够获取到任务实例的参数信息：Input channel train=ml/input/data/train Input channel test=ml/input/data/test/easyrec_config.config Output channel model=ml/output/model/Output channel checkpoints=ml/...
特性
用户设置的NFSv4 ACL在后端存储的是UID和GID的ACE，在NFSv4 ACL客户端显示时会自动加载本地的/etc/passwd 将UID和GID转化成用户名和群组名。您需要管理多个机器间的用户名与UID和GID之间的映射，确保同一个用户名或同一群组名映射到相同的...
使用任务队列ack-kube-queue
如何提交原生Job 您需要将Job的Suspend字段设置成True，以下是提交一个需要排队的Job的例子：apiVersion:batch/v1 kind:Job metadata:generateName:pi-spec:suspend:true completions:1 parallelism:1 template:spec:schedulerName:default...
Caffe服务请求构造
200:print resp.content else:response=caffe_predict_pb2.PredictResponse()response.ParseFromString(resp.content)print(response)其它语言的调用方法 除Python外，使用其它语言客户端调用服务都需要根据.proto 文件手动生成预测的请求...
DAG作业快速开始
命令行工具安装和配置 命令行工具安装和配置 作业准备 本作业的目的是求和，将 input.txt 中的数字全部加起来，求和后写入 output.txt。由于计算比较简单本作业只需 1 个任务。本例将 OSS 的目录挂载为 VM 本地目录，使用文件方式操作。...
LogStash插件
上传至DataHub请使用：DataHub Logstash Output插件 logstash-output-datahub-1.0.10.gem 适配Logstash 6、7 logstash-output-datahub-1.0.12.gem 适配Logstash 8 下载DataHub中数据请使用：DataHub Logstash Input插件 logstash-input-...
Java SDK使用说明
添加依赖项 使用Java编写客户端代码时，在Maven工程中使用 EAS Java SDK，必须在 pom.xml 文件中添加 eas-sdk 的依赖，示例如下，最新版本以 Maven仓库 中显示的为准。groupId>...
Blender渲染App最佳实践
说明 本篇主要是介绍如何将渲染软件 Blender 创建成 BatchCompute 的 App，并通过此 App 提交 Blender 渲染作业。Blender 是目前最流行的一款开源的跨平台全能三维动画制作软件，提供从建模、动画、材质、渲染、到音频处理、视频剪辑等一...
EasyRec Processor（推荐打分服务）
EAS 内置的EasyRec Processor支持将EasyRec或TensorFlow训练的推荐模型部署为打分服务，并具备集成特征工程的能力。通过联合优化特征工程和TensorFlow模型，EasyRec Processor能够实现高性能的打分服务。本文为您介绍如何部署及调用EasyRec...
Pytorch
EAS 内置的Pytorch Processor支持将Pytorch标准的TorchScript格式的模型部署成在线服务。本文为您介绍如何部署及调用Pytorch模型服务。Pytorch Processor版本说明 Pytorch支持多个版本，包括GPU和CPU版本，各个版本对应的Processor名称如下...
使用EAS Python SDK部署模型
前提条件 已创建OSS存储空间（Bucket），用于存储已获得的模型文件和配置文件。关于如何创建存储空间，详情请参见 创建存储空间。已准备运行Python SDK的环境，请选择一种准备即可。（推荐）使用DSW实例的Notebook环境。建议创建DSW实例时...
功能支持情况
支持通过JindoSDK列举文件 拷贝文件 拷贝文件是指在不改变文件内容的情况下，将同一地域下的源Bucket内的文件复制到目标Bucket。支持通过JindoSDK拷贝文件 重命名文件 在同一个Bucket内重命名某个Object。支持通过JindoSDK重命名文件 使用...
高级管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
提交GPU共享模型推理任务
系统输出类似以下结果：2021-01-18 13:21:58.482985:I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:206]Restoring SavedModel bundle.2021-01-18 13:21:58.483673:I external/org_tensorflow/tensorflow/core/platform/...
TensorFlow Serving镜像部署
TensorFlow Serving是一个适用于深度学习模型的推理服务引擎，支持将TensorFlow标准的SavedModel格式的模型部署为在线服务，并支持模型热更新与模型版本管理等功能。本文为您介绍如何使用镜像部署的方式部署TensorFlow Serving模型服务。...
数据存储需求评估
在优化存储之前，需要了解每个业务负载的性能配置文件，测量每秒读写次数IOPS（Input/Output Operations Per Second）、吞吐量等性能数据。阿里云存储服务为不同的存储场景提供存储优化方案，并没有一个通用的方案能够适用于所有的存储场景...
OSS与文件系统的对比
本文介绍OSS与文件系统在数据模型、数据获取等方面的差异对比以及概念对应关系。...无 修改文件内容 CopyObject（目标文件和源文件相同）修改文件属性 CopyObject（目标文件和源文件不同）复制文件 CopyObject+DeleteObject 重命名文件
文件网关支持的OSS Bucket类型说明
云存储网关文件网关支持标准（Standard）类型、低频访问（IA）类型和归档存储类型的OSS Bucket。如果没有开启网关的归档管理功能（具体的归档管理设置，请参见 管理共享 里操作步骤6），那么在已归档的文件上发起读操作请求时还是会同步...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
基本概念
存储空间（Bucket）存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。同...
部署Tensorflow模型推理服务
本文介绍如何通过Arena将TensorFlow模型部署成推理服务。前提条件 已创建包含GPU的Kubernetes集群。集群节点可以访问公网。已配置Arena客户端。已完成TensorFlow单机训练。操作步骤 说明 本文采用TensorFlow 1.15训练的Bert模型部署推理...
产品优势
本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用，提供企业级...
安装表格存储Python SDK
安装 表格存储 Python SDK后，即可在编写代码时调用 表格存储 SDK的接口。本文介绍如何安装 表格存储 Python SDK。环境准备 安装 表格存储 Python SDK需使用Python 2或Python 3。具体下载路径请参见 https://www.python.org/downloads/ 。...
变量
例如：将视频截帧任务的输出路径指定为 oss:/test-bucket/{dirname}/{barename}_output.{autoext}，将目标文件保存到源文件所在目录下，目标文件名为 源文件名_output，并且根据目标文件类型自动添加后缀。使用场景 控制台使用场景 任务：...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
获取存储空间读写权限
存储空间读写权限 存储空间的读写权限（ACL）包括如下三种：访问权限 描述 访问权限值 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。private 公共读 存储空间的拥有者和授权...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
列举文件
本文介绍如何在开启版本控制状态下列举存储空间下（Bucket）的所有文件（Object）、指定个数的文件、指定前缀的文件等。列举Bucket中所有Object的信息 以下代码用于列举指定Bucket中包括删除标记（Delete Marker）在内的所有Object的版本...
config（创建配置文件）
您可以通过 config 命令创建配置文件，用于存储OSS访问信息。您可以在使用其他命令时添加-c 选项，ossutil将通过指定的配置来访问OSS。重要 本文各命令行示例均基于Linux 64位系统，其他系统请将命令开头的./ossutil64 替换成对应的Binary...
GenerateVideoPlaylist-生成边转边播播放列表
创建边转边播播放列表能够将视频文件生成m3u8文件。生成播放列表后即时播放，并根据播放进度实施按需转码，相比离线转码能极大减少了转码等待时间并大幅度降低了转码和存储开销。接口说明 请确保在使用该接口前，已充分了解智能媒体管理...
TensorFlow模型如何导出为SavedModel
本文为您介绍如何将TensorFlow模型导出为SavedModel格式。SavedModel格式 使用 EAS 预置官方Processor将TensorFlow模型部署为在线服务，必须先将模型导出为官方定义的SavedModel格式（TensorFlow官方推荐的导出模型格式）。SavedModel模型...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
挂载文件系统失败故障排查
当挂载文件系统失败后，优先推荐您通过自动脚本或排查思路定位问题。部分挂载操作的报错，自动检查脚本无法排查处理，NAS也提供了常见报错FAQ便于您查阅。本文介绍云服务器ECS挂载NAS文件系统时，挂载失败的排查方法与解决方案。重要 在...
ZIP包解压
当您需要批量上传文件、按特定目录结构上传文件、上传完整的文件或对文件快速进行资源分发时，可以配置解压规则，上传ZIP文件到OSS指定路径，触发函数计算自动解压，并将解压后内容保存回OSS。前提条件 已开通函数计算服务。您可以在函数...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
文件存储NAS SMB ACL概述
因为文件夹的other默认值是 r-x，文件的默认值是 r-，所以Everyone只有 r-x 或者 r-的权限，导致新生成的文件夹里Everyone无法创建新文件，新生成的文件对于Everyone也是只读的。因此，强烈建议用户在Cygwin下使用noacl选项，不要使用acl...
- 产品推荐
- 这些文档可能帮助您