简单上传

参数 说明 上传到 设置文件上传到目标Bucket后的存储路径。当前目录:将文件上传到当前目录。指定目录:将文件上传到指定目录,您需要输入目录名称。若输入的目录不存在,OSS将自动创建对应的文件目录并将文件上传到该目录中。目录命名规范...

存储空间清单

bucket:'yourBucketName',/(可选)yourPrefix填写清单结果的存储路径前缀。prefix:'yourPrefix ',/如果需要使用SSE-OSS加密清单,请参考以下代码。encryption:{'SSE-OSS':''}/如果需要使用SSE-KMS加密清单,请参考以下代码。encryption:{ ...

MySQL整库离线同步到OSS

该规则定义${srcTableName}/data_${bizdate},源表名${srcTableName} 会作为OSS路径的一部分,而目标文件为 data_后面跟上调度参数${bizdate} 的值。例如,源表名为base_c_app_config,调度日期的值是20230101,那么在OSS中生成的目标表名...

开启版本控制下Object的操作

存储空间(Bucket)开启版本控制后,OSS会为Bucket中所有文件(Object)的每个版本指定唯一的ID值,且Bucket中现有Object的内容和权限保持不变。开启版本控制后,还能够防止意外覆盖或者删除Object,并允许查询和恢复Object的历史版本。...

DescribeDataFlows-查询数据流动列表

当 Key 取值为 SourceStoragePath 时,Value 取值为源端存储访问路径或访问路径的一部分。最长 1024 个字符。FsetIds NextToken string 否 当请求的返回结果被截断时,您可以使用 NextToken 再次发起请求,获取从当前截断位置之后的内容。...

日志管理

通过日志管理,您可以查看Link IoT Edge所有服务或进程的日志,也...日志路径 配置存储日志的路径。您可以使用系统默认的路径,也可以自定义设置路径。单击 确认,保存配置。icmsDocProps={'productMethod':'created','language':'zh-CN',};

ST_ValidateOSGB

参数 参数名称 描述 url 基于对象存储服务的路径。options json字符串描述选项。详情请参见 选项说明。描述 对基于对象存储的倾斜摄影项目(OSGB格式)进行格式验证。会检查OSGB数据文件的丢失与错误情况,并进行报告。本函数适用于对数据...

ST_ValidateOSGB

参数 参数名称 描述 url 基于对象存储服务的路径。options json字符串描述选项。详情请参见 选项说明。描述 对基于对象存储的倾斜摄影项目(OSGB格式)进行格式验证。会检查OSGB数据文件的丢失与错误情况,并进行报告。本函数适用于对数据...

文本摘要训练

路径是您在 字段设置 页签的 模型存储路径 参数配置的OSS路径,训练生成的SavedModel格式的模型存储在该路径下。文本摘要预测 否 使用示例 您可以使用文本摘要训练组件构建如下工作流。本示例中,您需要按照以下流程配置组件并运行工作流...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据...

为什么很长时间没有产生清单结果?

查看清单结果文件的路径有误 解决方法:请根据以下示例检查您查看清单结果文件的路径是否正确。清单文件的目录结构如下:dest_bucket└─destination-prefix/└─src_bucket/└─inventory_id/├─YYYY-MM-DDTHH-MMZ/│├─manifest.json│...

开始使用OSS

基于OSS的文件系统管理 OSS的存储空间内部是扁平的,没有文件系统的目录等概念,所有的对象都直接隶属于其对应的存储空间。如果您想要像使用本地文件夹和磁盘那样来使用OSS存储服务,可以通过配置云存储网关来实现。通过云存储网关提供的...

创建Hudi数据源

存储路径 HDFS存储:填写HDFS存储路径,请确保flink用户有访问路径的权限。格式为:hdfs:/host:port/path。OSS存储:填写OSS存储路径。填写示例:oss:/dp-oss/hudi/。若使用OSS存储还需填写OSS的Endpoint、AccessKeyID、AccessKeySecret。...

Application任务开发

日志路径 配置存储日志的路径。标签 填写标签键值对,可以提升任务管理的便捷性和精准性。PySpark 参数 说明 引擎版本 Spark的版本,详情请参见 引擎版本介绍。文件路径 提交任务时所需的文件。这些文件需提前在 资源上传 页面上传。运行...

通过Spark SQL读写Hudi外表

创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录,且外表的路径需在数据库路径下。建表时必须定义primaryKey主键。preCombineField预聚合字段为可选,如未定义preCombineField在UPDATE场景会报错。步骤三:写入Hudi...

管理工作空间

重要 请确保当前工作空间的算法开发具有该OSS路径的读写权限。说明 设置工作空间存储路径后,Designer工作流中可以使用该存储路径。但如果您在Designer工作流中配置了临时存储路径,则会覆盖工作空间存储路径。管理工作空间成员 在 工作...

创建文件系统实例后,为什么无法访问文件存储 HDFS 版...

确认 文件存储 HDFS 版 的SDK jar包放置的路径是否正确。具体操作,请参见 常见问题排查。确认hadoop环境的其他相关依赖是否已经正确配置。具体操作,请参见 常见问题排查。确认挂载点地址是否能被访问。执行 ping xxxx.dfs.aliyuncs.com ...

默认存储路径

从 10.2.3.3、10.1.68.53 基线起,mPaaS 升级组件默认下载 APK 的路径由原来的 external 存储修改为 internal 存储。当 targetSdkVersion 在 24 以上,需要在 file_paths.xml 里加入如下代码:如果要保留原来的下载路径,请在 manifest 中...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

数据管理策略

JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...

前言

来源 描述 MVNRepository 用于下载OSS源码包的路径。您可以在MVNRepository中获取Gradle项目注入OSS Android SDK依赖的准确版本。说明 建议您获取OSS Android SDK的最新版本进行调试,避免报错。更多信息,请参见 Aliyun OSS Android SDK。...

管理数据流动任务

本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作,请参见 创建Fileset。已创建数据流动。具体操作,请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作,可分为...

读写数据集数据

如果您需要持久化存储DSW数据,需要创建NAS或OSS类型的数据集,并将数据集挂载到DSW指定的路径,以实现在DSW中读写数据集数据。本文为您介绍如何创建数据集和挂载数据集。步骤一:创建数据集 登录 PAI控制台,在工作空间的AI资产管理中创建...

前言

来源 描述 MVNRepository 用于下载OSS源码包的路径。您可以在MVNRepository中获取Maven项目注入OSS Java SDK依赖的准确版本。说明 建议您获取OSS Java SDK的最新版本进行调试,避免报错。更多信息,请参见 Aliyun OSS Java SDK。GitHub ...

使用OSS缓存插件加速构建

您也可以登录 对象存储OSS控制台,将本地的缓存,例如~/.npm,上传至对象存储OSS对应的路径。示例如下。使用ossutils制作用于云上构建的缓存,将本地的npm缓存拷贝至对象存储OSS#自动创建的Bucket,对应的URL为serverless-cd-${region-id}-...

使用OSS缓存插件加速构建

您也可以登录 对象存储OSS控制台,将本地的缓存,例如~/.npm,上传至对象存储OSS对应的路径。示例如下。使用ossutils制作用于云上构建的缓存,将本地的npm缓存拷贝至对象存储OSS#自动创建的Bucket,对应的URL为serverless-cd-${region-id}-...

部署应用配置参数说明

若使用指定的OSS存储,则可通过该参数指明包存储路径,同时可以使用以下变量来进行参数化的路径配置:{region_id}、{app_id}、{version},例如:pkgs/petstore/{version}/store.war。该配置默认为 {region_id}/{app_id}/{version}。access_...

JSON函数

重要 如果json_doc参数不是有效的JSON文档或任何路径参数不是有效的路径表达式,则会发生错误。path String 用于定位JSON文档中的某一个路径。path必须以$为开头,$表示整个JSON文档。其后可以选择添加路径选择器,选择器可以组合进行使用...

生成 H5 离线包

在专有云环境中,如果服务端采用的文件存储格式为 HDFS 或 AFS,则需要在上述第三级目录前增加一个目录,该目录名称为 mdsweb 服务器中的存储空间(bucket)的名称。若引用公共资源,则在普通离线包内访问全局资源包中的内容,必须通过绝对...

CreateDataFlow-创建数据流动

创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中,才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...

管理数据流动任务

本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务报告。前提条件 已创建数据流动。具体操作,请参见 创建数据流动。任务说明 数据流动任务可分为导入(Import)和导出(Export)两种类型。类型 说明 ...

集群存储路径没有权限,导致集群服务启动失败的问题

本文介绍集群运行时,由于配置的集群存储路径(对应Hadoop-Common服务中 fs.DefaultFS 配置项)缺乏访问权限,导致集群的部分服务启动失败的原因和解决方案。问题详情 在E-MapReduce控制台,集群的Hadoop-Common服务 状态 页面的 健康...

添加数据源

阿里云 云备份 提供非结构化文件系统类数据同步功能,可以将源端数据源(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储 等)同步至目的端数据源(包括阿里云上)。首次数据同步前,您需要添加源端数据源和目的端数据源。...

存储空间概述

同一个Bucket的内部是扁平的,没有文件系统的目录等概念,所有的Object都直接隶属于其对应的Bucket。Bucket的名称在OSS范围内全局唯一,且创建之后无法修改。更多信息,请参见 存储空间(Bucket)命名规范。功能支持对比 下表汇总了有地域...

E-MapReduce数据迁移

执行以下命令将 文件存储 HDFS 版 最新的SDK包,放置到E-MapReduce HDFS服务存放jar包的路径下。更多信息,下载最新版本SDK安装包。cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3....
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 文件存储NAS 云存储网关 混合云存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用