工具相关
上传到drive=1的/test目录>pdsutil cp@./test.go 1:/test 下载drive=1的/test/test.go文件到本地test（如果本地test为文件夹，会将test.go保存到test文件夹下）>pdsutil cp 1:/test/test.go@./test 拷贝drive=1的/test/test.go文件到drive=...
10 分钟本地试用公有云分布式事务
本节介绍如何快速本地试用公有云分布式事务服务。操作步骤 开通分布式事务服务。说明 如果已开通服务，可以忽略这一步。如果没有账号，可使用支付宝扫描登录。登录 分布式事务产品 页面。在 开通 DTX 分布式事务体验版 页面，单击 确认开通...
sync（同步OSS文件到本地）
examplebucket 本地根目录└─localdir/└─destdir/├─a.txt├─a.txt├─b.txt├─b.txt└─C/├─d.txt└─C/将OSS存储空间examplebucket下的文件夹 localdir 同步到本地文件夹 destdir，并通过-backup-dir 选项指定 backup 文件夹，...
sync（同步本地文件到OSS）
ossutil64 sync localfolder/oss:/examplebucket/destfolder/-delete 命令执行后，本地 localfolder 文件夹被同步到OSS，同时会删除OSS的文件 a.txt、b.txt 以及子文件夹 C，即OSS的 destfolder 文件夹内仅保留 d.txt 和 e.png 文件。...
cp（上传文件）
本文涉及的通用示例说明如下：本地文件：examplefile.txt（根目录下的文件）本地文件夹：localfolder（根目录下的文件夹）目标Bucket：examplebucket 目标Bucket指定目录：desfolder 简单上传 当您需要将本地文件、图片、视频等资源上传到...
Git LFS 使用注意事项
版本过低导致的报错异常 Git 相关软件版本过低可能导致 Git LFS 功能无法正常使用（例如 batch 接口报错等），特别是 Windows 操作系统下默认安装的版本通常较低。因为新老版本存在兼容性的问题，可能进而引发类似 HTTP 调用异常的情况，...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
TensorFlow常见问题
例如，在test1.py中定义函数，如果test2.py文件需要使用test1.py中的函数，且将test2.py作为程序入口文件，则只需要将test1.py和test2.py打包为.tar.gz包并上传即可，如下图所示。其中：Python代码文件：.tar.gz包。Python主文件：入口程序...
使用EasyASR进行语音识别
模型名称 词汇表 配置文件 模型文件 描述 wav2letter-small alphabet4k.txt w2lplus-small.py model.ckpt.meta model.ckpt.index model.ckpt.data-00000-of-00001 wav2letter系列适用于对推理速度要求高、精度要求较低的场景。其中wav2...
使用Flume写入JindoFS
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume的核心是Agent，Agent中包含Source、Channel和Sink。本文为您介绍如何使用HDFS Sink写入数据至...
通过命令行离线部署和升级插件
前提条件 已安装 GoLand 2021.2 及以上版本。已安装 mosn-intellij-1.0.4-all.jar 及以上版本。开发环境 JDK 已升级至 JDK 11 及以上版本。下载地址请参见 JDK 11。已配置 mosn-intellij 命令行。zshrc 或者~/.bashrc 配置#指定 JDK 11 的...
通过SkyWalking上报Java应用数据
4.0.0-RC1 PostgreSQL Driver 8.x,9.x,42.x Mariadb Driver 2.x,1.8 RPC框架 Dubbo 2.5.4->2.6.0 Dubbox 2.8.4 Apache Dubbo 2.7.0 Motan 0.2.x->1.1.0 gRPC 1.x Apache ServiceComb Java Chassis 0.1->0.5,1.0.x SOFARPC 5.4.0 Armeria 0....
通过SkyWalking上报Java应用数据
4.0.0-RC1 PostgreSQL Driver 8.x,9.x,42.x Mariadb Driver 2.x,1.8 RPC框架 Dubbo 2.5.4->2.6.0 Dubbox 2.8.4 Apache Dubbo 2.7.0 Motan 0.2.x->1.1.0 gRPC 1.x Apache ServiceComb Java Chassis 0.1->0.5,1.0.x SOFARPC 5.4.0 Armeria 0....
列举文件
本文介绍如何列举指定存储空间下（Bucket）的所有文件（Object）、指定前缀的文件、指定文件名后的文件等。列举所有文件 以下代码用于列举目标存储空间examplebucket的所有文件。require 'aliyun/oss' client=Aliyun:OSS:Client.new(#填写...
搭建Windows开发环境
本文为您介绍如何在Windows操作系统下搭建MaxCompute Spark开发环境。如果您安装了Linux操作系统，请前往 搭建Linux开发环境。前提条件 搭建Spark开发环境前，请确保您已经在Windows操作系统中安装如下软件：说明 本文采用的软件版本号及...
cp（下载文件）
示例环境如下：操作系统：Linux 目标Bucket：examplebucket 目标Bucket指定目录：destfolder 本地文件：examplefile.txt（根目录下的文件）本地文件夹：localfolder（根目录下的文件夹）下载单个文件 下载文件时如果未指定文件名，则默认...
ListObjectsV2（GetBucketV2）
在设置prefix的基础上，将delimiter设置为正斜线（/）时，返回值就只列举该文件夹下的文件，文件夹下的子文件夹名返回在CommonPrefixes中，子文件夹下递归的所有文件和文件夹不显示。例如，一个Bucket中有三个Object，分别为fun/test.jpg、...
常见问题汇总
代码托管服务提供基于Git的分布式版本控制管理服务 如何从SVN 迁移到Codeup？回复：需要手动转换，详细操作请访问：从 SVN 导入到 Codeup 如何创建第一个代码库？回复：在成功访问 Codeup后，你可以开始创建自己的第一个仓库。①通过代码库...
常见问题
阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及...
搜索文件
搜索结果 在某个Bucket根目录或目标文件夹下按文件名前缀搜索时，结果中仅显示与文件名前缀匹配的文件或子文件夹，无法查看子文件夹下包含的文件。说明 如果您希望递归搜索（查询）某个Bucket目录下的文件或文件夹，您可以通过 GetBucket...
GetBucket(ListObjects)
在设置prefix的基础上，将delimiter设置为正斜线（/）时，返回值中只列举该文件夹下的文件，文件夹下的子文件夹名返回在CommonPrefixes中，子文件夹下递归的所有文件和文件夹不显示。例如，一个Bucket中有三个Object，分别为fun/test.jpg、...
部分克隆（Partial clone）介绍
众所周知，Git是一个分布式的版本控制系统，当在默认情况（例如不带任何参数情况下使用git clone命令）下克隆仓库时，Git会自动下载仓库所有文件的所有历史版本。如此设计一方面带来了分布式的代码协同能力,但在另一方面,随着开发者持续向...
LFS 迁移指南
本文目标 本文旨在帮助你快速在 Codeup 仓库中启用大文件存储（LFS）更高效的管理二进制文件，以及为你提供三方代码库迁移到 Codeup 时 LFS 文件的迁移方案。分为以下几种情况，请对照实际情况，执行相应的操作：Codeup 仓库启用 LFS ...
ListObjectVersions（GetBucketVersions）
如果将prefix设为文件夹名称后，再把delimiter设置为正斜线（/），则只返回该文件夹下的文件，该文件夹下的子文件名在CommonPrefixes中返回，子文件夹下递归的文件和文件夹不显示。默认值：无 key-marker 字符串 如果version-id-marker不为...
PAI-TF数据IO方式介绍
GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码和分布式云端执行TensorFlow的区别：本地读取数据：Server端直接从...
部署Node.js环境（CentOS 7）
具体操作步骤如下：安装分布式版本管理系统Git。yum install git-y 使用Git将NVM的源码克隆到本地的~/.nvm 目录下，并检查最新版本。说明 由于网络原因，可能会出现无法克隆的问题，建议您多尝试几次。git clone ...
功能特性
分区表实际就是对应分布式文件系统上的独立的文件夹，一个分区对应一个文件夹，文件夹下是对应分区所有的数据文件。分区表 外部表 OSS外部表 可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入...
ossimport概述
运行环境 ossimport可以部署在Linux或Windows系统上，要求如下：Windows7及以上版本 CentOS 6或者CentOS 7 Java 7或者Java 8 重要 分布式部署暂时不支持Windows系统。部署方式选择 ossimport有单机模式和分布式模式两种部署方式。单机模式...
列举文件
本文介绍如何列举指定存储空间下（Bucket）的所有文件（Object）、指定个数的文件、指定前缀的文件等。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
在IntelliJ IDEA软件界面，依次展开文件夹，并根据 SDK客户端 的使用模式，选择并双击打开对应的Java文件：DistributedDTSConsumerDemo。设置Java文件代码中的必填参数。public static void main(String[]args)throws ClientException {/...
PolarDB技术内幕
每当读请求访问数据时，会通过从Index开始的Roll PTR访问到此记录所有的历史版本，通过对比某个历史版本的事务ID和ReadView中的活跃事务列表，可以判断是不是需要的版本。然而，这就导致每当有读事务开始时，都需要在整个拷贝过程中对当前...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
在IntelliJ IDEA软件界面，依次展开文件夹，并根据 SDK客户端 的使用模式，选择并双击打开对应的Java文件：DistributedDTSConsumerDemo。设置Java文件代码中的必填参数。public static void main(String[]args)throws ClientException {/...
进阶学习资料
这里有一些例子你可以试试$git config-global alias.co checkout$git config-global alias.br branch$git config-global alias.ci"commit-s"$git config-global alias.st status 这意味着，当要输入 git commit-s 时，只需要输入 git ci。...
EasyCkpt：AI大模型高性能状态保存恢复
那么，当您在load的时候需要改变机器数目，或是希望合并分布式优化器参数时，您需要在training.py文件里load_checkpoint()函数被调用处设置concat参数为True。DeepSpeed DeepSpeed的大模型用户通常使用Transformer的Trainer来启动DeepSpeed...
本地已有库批量迁移
系统预留字段 accessToken 暂无 系统预留字段 username/password 暂无 系统预留字段 accessKey 暂无 系统预留字段 secretKey 暂无 系统预留字段 orgID 暂无 系统预留字段 localSSHKeyPath 暂无 系统预留字段 asMember 暂无 系统预留字段 ...
MySQL 5.7、8.0自建数据库全量上云
RDS MySQL支持全量备份导入功能，可以将对象存储OSS中的MySQL备份数据导入至RDS，并恢复至新实例。前提条件 使用的阿里云账号为主账号。自建数据库符合上云条件。更多信息，请参见 附录5：使用限制。已在目标地域创建了OSS Bucket。如未...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
PolarDB PostgreSQL版架构介绍
分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。通过只读实例进行读扩展，每个只读实例独享一...
创建JMeter场景
分布式适配组件设置 如果您上传的脚本中有分布式适配组件，例如定时器（Timer）、控制器（Controller）等，可以对其进行多施压IP地址的分布式适配设置，有利于更精准、有效地进行性能测试。设置 同步定时器。若您上传的JMeter脚本中自带...
Binlog日志服务
通过实例内 PolarDB-X 的CDC组件，能够提供与MySQL binlog格式兼容的变更日志，并且对外隐藏了实例扩缩容、分布式事务、全局索引等分布式特性，让您获得与单机MySQL数据库一致的使用体验。PolarDB-X 提供了两种形态的binlog日志消费订阅...
- 产品推荐
- 这些文档可能帮助您