Delta Lake 快速开始二
创建数据库 不指定路径创建数据库，创建的数据库会存储在当前集群hive路径中%pyspark#创建数据库目录，你也可以选择自定义目录 database="db_test"spark.sql("DROP DATABASE IF EXISTS {} CASCADE".format(database))spark.sql("CREATE ...
添加数据源
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储 等）同步至目的端数据源（包括阿里云上）。首次数据同步前，您需要添加源端数据源和目的端数据源。...
截图
OSS路径 当文件来源为 对象存储OSS 时，选择媒资的OSS路径。存储地址 当文件来源为 媒资管理 时，选择IMS系统中的存储地址，同时单击 添加文件 添加该存储地址下的媒资。选择模板 选择普通截图模板。输出位置 原存储位置：当文件来源为媒资...
读OSS数据
读OSS数据组件用来读取对象存储OSS Bucket路径下的文件或文件夹。本文为您介绍读OSS数据组件的参数配置。前提条件 已完成OSS授权，详情请参见 云产品依赖与授权：Designer。参数配置 您只需在画布右侧的 字段设置 页签，配置 OSS数据路径 ...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径，然后重启Hive Metastore，后续创建的数据库和数据库下的表均默认存储于OSS-HDFS服务路径中。...
边缘应用发布-简化版
应用日志目录：该目录是用来指定应用程序自身存储日志的路径。节点部署时，会自动注入一个日志采集插件，该插件将会根据该路径获取日志，并上传到云端的日志系统中，用户可以进行日志分析。自研节点端口对：该节点开放的内部端口和外部系统...
图像分类训练（torch）
该路径是您在 字段设置 页签的 保存训练输出的oss目录 参数配置的OSS路径，训练生成的模型存储在该路径下。通用图像预测 使用示例 您可以使用图像分类训练（torch）组件构建如下工作流。本示例中，您需要按照以下流程配置组件：准备数据，...
ST_ValidateOSGB
对基于对象存储的倾斜摄影项目（OSGB 格式）进行格式验证。语法 record ST_ValidateOSGB(cstring url,cstring options default '{}',out valid boolean,out reason text);返回值 字段 描述 valid 是否为有效的OSGB。reason 失败原因，如果...
ST_ValidateOSGB
对基于对象存储的倾斜摄影项目（OSGB 格式）进行格式验证。语法 record ST_ValidateOSGB(cstring url,cstring options default '{}',out valid boolean,out reason text);返回值 字段 描述 valid 是否为有效的OSGB。reason 失败原因，如果...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
边缘应用发布
应用日志目录：该目录是用来指定应用程序自身存储日志的路径。节点部署时，会自动注入一个日志采集插件，该插件将会根据该路径获取日志，并上传到云端的日志系统中，用户可以进行日志分析。自研节点端口对：该节点开放的内部端口和外部系统...
应用发布
应用日志目录：该目录是用来指定应用程序自身存储日志的路径。节点部署时，会自动注入一个日志采集插件，该插件将会根据该路径获取日志，并上传到云端的日志系统中，用户可以进行日志分析。自研节点端口对：该节点开放的内部端口和外部系统...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...
视频分类训练
该路径是您在 字段设置 页签的 训练所用oss目录 参数配置的OSS路径，训练生成的.pth 模型存储在该路径下。通用视频预测 示例 您可以使用视频分类训练算法组件构建如下工作流。本示例中，您需要按照以下流程配置组件：使用两个 读OSS数据 ...
OSS/OSS-HDFS快速入门
创建存储空间。确认OSS授权。EMR集群（新版控制台）中使用，已默认开通。如遇问题，请参见 角色授权。EMR集群（旧版控制台）中使用，已默认开通。如遇问题，请参见 角色授权。在非EMR环境的授权方式，请参见 OSS/OSS-HDFS授权。（可选，...
默认存储路径
从 10.2.3.3、10.1.68.53 基线起，mPaaS 升级组件默认下载 APK 的路径由原来的 external 存储修改为 internal 存储。当 targetSdkVersion 在 24 以上，需要在 file_paths.xml 里加入如下代码：如果要保留原来的下载路径，请在 manifest 中...
模型导出
否 model_dir 训练模型存储的OSS路径，如果指定了model_dir将会覆盖config里面的model_dir，一般在周期性调度的时候使用。否 cmd 指定为export，实现模型导出功能。是 export_dir 导出到指定的OSS目录。是 arn 指定资源组授权，您可以登录 ...
通过Spark SQL读写Hudi外表
Apache Hudi（简称Hudi）是基于OSS对象存储的一种表格式，支持UPDATE、DELETE和INSERT操作。AnalyticDB for MySQL 湖仓版（3.0）和Hudi做了深度整合，您可以通过Spark SQL读写Hudi外表。本文主要介绍如何通过Spark SQL读写Hudi外表。前提...
图像检测训练（easycv）
该路径是您在 字段设置 页签的 训练所用oss目录 参数配置的OSS路径，训练生成SavedModel格式的模型存储在该路径下。通用图像预测 示例 对于FCOS、YOLOX，您可以使用图像检测训练（eayscv）算法组件构建如下工作流。本示例中，您需要按照...
图像关键点训练
该路径是您在 字段设置 页签的 保存训练输出的oss目录 参数配置的OSS路径，训练生成的模型存储在该路径下。通用图像预测 使用示例 您可以使用图像关键点训练组件构建如下工作流。本示例中，您需要按照以下流程配置组件：准备数据，通过PAI...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
图像度量学习训练（raw）
其中 train_labeled.txt 文件每行的存储格式为：绝对路径/图片名称.jpg label_id。重要 图片存放路径 和 label_id 之间使用空格分隔。无 验证数据标注结果文件路径 否 如果您没有通过输入桩配置评估数据标注文件，则需要配置该参数。说明 ...
通过NFS使用NAS静态存储卷
本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件系统。具体操作，请参见 创建文件系统。若需要加密NAS存储卷中的数据，...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
通过命令行工具快速使用云存储网关软件版
本文介绍如何通过命令行工具快速使用云存储网关软件版。前提条件 已注册阿里云账号，并完成实名认证。具体操作，请参见 注册阿里云账号。说明 建议您使用RAM用户登录云存储网关控制台进行相关操作。更多信息，请参见 账号访问控制。已开通...
设置OSS存储
对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，将数据以对象（Object）的形式存储在存储空间（Bucket）中。OSS 在解决应用实例数据持久化和实例间数据分发问题的基础上，进一步降低成本。本文介绍...
使用OSS缓存插件加速构建
您也可以登录 对象存储OSS控制台，将本地的缓存，例如~/.npm，上传至对象存储OSS对应的路径。示例如下。使用ossutils制作用于云上构建的缓存，将本地的npm缓存拷贝至对象存储OSS#自动创建的Bucket，对应的URL为serverless-cd-${region-id}-...
使用OSS缓存插件加速构建
您也可以登录 对象存储OSS控制台，将本地的缓存，例如~/.npm，上传至对象存储OSS对应的路径。示例如下。使用ossutils制作用于云上构建的缓存，将本地的npm缓存拷贝至对象存储OSS#自动创建的Bucket，对应的URL为serverless-cd-${region-id}-...
安装表格存储Java SDK
安装 表格存储 Java SDK后，即可在编写代码时调用 表格存储 SDK的接口。本文介绍如何安装 表格存储 Java SDK。环境准备 安装 表格存储 Java SDK需使用JDK 6及以上版本。已安装Java开发工具，例如IntelliJ IDEA、Eclipse等。安装方式 重要 ...
JSON函数
JSON_EXTRACT 由于表格存储未支持原生的JSON类型，直接使用会抛非法类型参数的错误，因此JSON_EXTRACT需要结合JSON_UNQUOTE进行使用。语法 JSON_EXTRACT(json_doc,path[,path].)函数说明 返回值由路径参数匹配的所有值组成。如果这些参数...
环境准备
使用Hive/HadoopMR来访问表格存储中的表前，您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive...
数据文件管理
说明 如果当前地域下没有可选的Bucket，您可以新建Bucket存放数据文件，具体请参见 创建存储空间。选择OSS路径后，在 路径 输入框中会显示具体路径地址，单击 确定。说明 选中OSS路径确定完成后不支持修改路径。查看数据 登录 视觉智能开放...
自定义存储
APDataCenter 对应的默认存储空间为应用沙箱的/Documents/Preferences 目录。若业务比较独立或数据量比较多，可以自定义存储空间。您可以使用 APCustomStorage 创建一个自己的存储目录。在这个目录里，您可以使用统一存储提供的所有服务，...
快速入门
本文介绍如何在Node.js环境中快速使用OSS服务，包括查看存储空间（Bucket）列表、上传文件（Object）等。前提条件 已完成初始化。具体操作，请参见 初始化。查看存储空间列表 以下代码用于查看存储空间列表。const OSS=require('ali-oss');...
备份极速型NAS
文件列表相当于备份路径的一个子路径，子路径的匹配规则如下：如果子路径前缀为正斜线（/），将在备份路径下按照全路径匹配过滤。例如备份文件路径为/ifs/dataset，文件列表填写为/subdir/data，则备份（或不备份）/ifs/dataset/subdir/...
转换文件存储类型
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件（Object）的存储类型。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他...
- 产品推荐
- 这些文档可能帮助您