Hadoop使用JindoSDK访问OSS-HDFS服务
hdfs dfs-mv oss:/examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/srcdir/ oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destdir/ 下载文件 将目标存储空间examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp下，...
用配置清单收集文件信息
通过配置清单，您可搜索查询实例内的文件信息，多种的文件属性类型筛选被支持，包括文件名、文件类型、文件描述、修改时间、最近访问时间、文件目录、文件大小等。要开始收集文件信息前，您需指定要在哪些实例上收集，然后设置收集频率，...
配置OSS文件系统
步骤二：创建函数并在代码中访问OSS挂载的目录文件 完成OSS挂载配置后，您可以通过以下步骤访问OSS挂载的目录下的文件内容，即可以用访问本地文件的方式访问OSS挂载目录下的文件。在 创建函数 页面，配置以下配置项，其他配置保持默认值，...
删除文件
} } } } 删除指定前缀或目录下的多个文件 以下代码用于删除指定前缀的多个文件或者指定目录（文件夹）及目录下的所有文件。警告 如果以下示例代码中前缀prefix的值为空字符串或者NULL，将会删除整个Bucket内的所有文件，请谨慎使用。import...
目录和文件访问权限
权限名称 文件 目录 Read（R）可以读取文件的内容。查看目录需要Read和Execute权限。Write（W）可以在文件中写入或追加内容。在目录下创建节点需要Write和Execute权限。Execute（X）HDFS 中文件的Execute权限没有意义。遍历目录时需要目录...
备份极速型NAS
参数 说明 备份文件路径 输入要备份的文件目录。只支持指定一个文件目录，且不支持通配符。备份文件规则 备份文件规则包含以下三种：包括所有文件：选择此项后，将备份所选备份路径下的所有文件。包含下列文件 或 排除下列文件：选择任意...
使用 OSS 静态存储卷
对文件目录进行分级存储。在存储文件时，根据一定规则（如日期、类型等）对文件进行分类。将不同类别的文件存储在不同的子目录中，避免单个目录中文件过多。可借助脚本或工具自动实现文件的分级存储。操作步骤 获取OSS Bucket信息。如果您...
迁移说明
支持文件目录（文件夹）的上传下载。具体操作，请参见 使用ossutil工具迁移。使用阿里云在线迁移服务进行迁移 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您无需部署迁移工具，就可以轻松实现对象存储OSS与文件...
OSS和NAS之间的数据迁移
支持文件目录（文件夹）的上传下载。在迁移前，请确认已安装ossutil工具，有关ossutil的下载及安装的具体操作，请参见 安装ossutil。OSS迁移至NAS 通过sync命令将OSS数据迁移至NAS。具体操作，请参见 sync（同步OSS文件到本地）。NAS迁移至...
ListRepositoryTree-查询文件树
使用阿里云 AK+SK 或使用 STS 临时授权方式不需要传该字段 f0b1e61db5961df5975a93f9129d2513 repositoryId long 是 代码库 ID 2851516 path string 否 代码仓库内的文件路径，获取该路径下的文件目录，默认获取代码库文件树的全部结构 ...
常用文件路径
var/log/emr/jindosdk/配置文件目录 配置文件在/etc/emr/xxx 目录下，例如：HDFS：/etc/emr/hdfs-conf/Spark：/etc/emr/spark-conf/Hive：/etc/emr/hive-conf/Hudi：/etc/emr/hudi-conf/Knox：/etc/emr/knox-conf/YARN：/etc/emr/hadoop-...
缓存设置
为非合法文件目录 必须为一个合法的文件目录，例如/root/\&dfaf 为非合法文件目录 若需要将构建过程中工作区/root/workspace 下某个目录或文件进行缓存，可以将其复制到/root 下其他目录并将其设置为缓存目录。示例如下：构建任务使用缓存 ...
主机防护常见问题
如果您已为某台服务器开启了防篡改防护，并将需要防护的文件目录添加到了防篡改防护目录中，您通过SSH登录该服务器后对该防护目录中的文件进行了修改，但是在云安全中心控制台 网页防篡改 页面没有看到告警信息，提示该文件有改动，可能是...
高级配置：内存缓存本地目录
该目录可以是OSS或NAS中的加速文件挂载到容器中的挂载路径，也可以是挂载路径下的子目录，或者是容器内的其他普通文件目录。mount_path 加速文件的挂载目录，该目录内的文件内容和源目录保持一致，业务程序需从该目录中读取模型。配置说明 ...
堡垒机SFTP文件传输问题
为什么不能访问文件目录？为什么登录SFTP后，文档目录显示乱码？通过堡垒机上传下载文件的方法有哪些？为什么不能访问文件目录？您可以通过以下方法排查：检查是否已在堡垒机主机账户设置密码且将该主机账户授权给运维员。如未设置密码且未...
断点调试
调试配置 检查根目录是否存在配置文件.kaitian/launch.json 默认，文件目录树不显示.kaitian目录，可通过终端查看 ls-al 如果不存在配置文件，可手动创建 添加配置到launch.json文件 {"version":"0.2.0","configurations":[{"type":"node",...
管理共享
数据下载 反向同步或极速同步默认会同步元数据，使用数据下载可以下载指定路径目录文件数据或全量数据至本地客户端。当开启 反向同步 或开启 极速同步 时，可以选择 是 开启 数据下载。说明 数据下载要求缓存盘容量大于所需复制文件总大小...
通过阿里云客户端管理ECS实例
查看文件目录信息：在目标文件目录所在行，选择 操作>查看文件属性。管理文件 上传文件：在文件列表上方，单击 上传文件。下载文件：在目标文件所在行，选择 操作>下载文件。删除目录：在目标文件所在行，选择 操作>删除文件。重要 文件...
备份极速型NAS
参数 说明 备份文件路径 输入要备份的文件目录。只支持指定一个文件目录，且不支持通配符。备份文件规则 备份文件规则包含以下三种：包括所有文件：选择此项后，将备份所选备份路径下的所有文件。包含下列文件 或 排除下列文件：选择任意...
OSS存储卷FAQ
类型 问题 挂载问题 OSS存储卷挂载时间延长 OSS存储挂载权限问题 OSS静态卷挂载失败 使用问题 OSS静态卷访问Bucket过慢 OSS控制台看到文件大小为0 文件目录挂载后，显示为文件对象 OSS服务端监控到大量异常请求流量 通过OSS存储卷写入的...
CDH6数据迁移
您还可以使用Distcp的-filters 参数在迁移过程中忽略原HDFS上的目录或文件，实现部分文件目录的迁移。sudo-u hdfs hadoop distcp-pugpt hdfs:/oldclusterip:8020/user dfs:/f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/ 其中 f-...
访问NFS共享目录
背景信息 通过Linux操作系统中的客户端访问本地文件网关，首先需要将本地文件网关的共享目录挂载至本地的文件目录上，挂载成功后将建立本地目录和本地文件网关的共享目录之间的映射。建立映射成功后，您可以像操作本地目录一样操作共享目录...
使用NAS动态存储卷
也就意味着，当PV的 reclaimPolicy 为 Delete 时，即使PV删除，NAS中实际的目录文件也并不会被删除。如需删除，需在手动挂载后执行删除。注意事项 NAS为共享存储，可以同时为多个Pod提供共享存储服务，即一个PVC可以同时被多个应用使用。...
SFTP协议运维
文件下载命令 get<主机文件名><本地文件目录>文件上传命令 put<本地文件名><主机文件目录>可选：登录堡垒机，查看上传或下载文件的审计记录。具体操作，请参见 登录系统 和 搜索和查看会话。相关文档 修改用户信息 开启双因子认证 堡垒机...
容器文件防御
进程白名单 设置可以修改防护目录的进程名单和可以被修改的文件目录，加入白名单的进程修改文件或修改文件目录白名单中的目录时，不会触发告警或拦截。配置进程白名单或文件目录需满足以下要求：单个进程或文件目录长度不超过50个字符。多...
设置日志收集至Kafka
日志源 输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。容器标准输出无需设置此选项。文件名与路径支持正则匹配，同一目录下，如果日志文件数量多且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 ...
备份大规模文件系统
参数 说明 备份文件路径 输入要备份的文件目录。只支持指定一个文件目录，且不支持通配符。该参数必须是相对于 数据源路径 的相对路径。代表备份整个目录。备份文件规则 备份文件规则包含以下三种：包括所有文件：选择此项后，将备份所选...
CPFS-NFS客户端挂载文件系统（推荐）
文件目录 安装CPFS-NFS客户端后，会在ECS上生成CPFS-NFS客户端配置文件目录（/etc/aliyun/cpfs）、运行目录（/var/run/cpfs）、日志目录（/var/log/aliyun/cpfs/）。进程 通过CPFS-NFS客户端挂载CPFS后，会在ECS上启动haproxy进程用于IO...
管理DAG
新建文件目录 请在OSS控制台创建目录，详细步骤，请参见 管理目录。下载文件 在 Files 页面，单击目标文件所在行的 图标，即可下载目标文件。删除文件 在 Files 页面，单击目标文件的文件名。单击下方的 Delete。在 Confirm Delete 对话框...
备份本地NAS文件
参数 说明 备份文件路径 输入要备份的文件目录。只支持指定一个文件目录，且不支持通配符。备份文件规则 备份文件规则包含以下三种：包括所有文件：选择此项后，将备份所选备份路径下的所有文件。包含下列文件 或 排除指定文件：选择任意...
设置日志收集至SLS
日志源 输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。容器标准输出无需设置此选项。文件名与路径支持正则匹配，同一目录下，如果日志文件数量多，且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要...
基于NAS部署可更换模型的FC Stable Diffusion进行AI...
子目录 fc-stable-diffusion-plus/sd 填写子目录后可将迁移的数据存放在指定的文件目录。若不填写，则默认为根目录“/”。配置迁移任务，实现模型库转存至NAS。在左侧导航栏，选择 迁移任务。在迁移任务列表页面，单击 创建迁移任务。在...
什么是云备份
使用KMS加密 支持备份哪些数据源 数据源 系统 本地数据中心 文件目录 Windows、Windows Server、Linux NAS 不涉及 VMware vSphere中的虚拟机镜像 Windows、Windows Server、Linux MySQL、Oracle和SQL Server数据库 Windows、Windows Server...
迁移实施
子目录 是 填写需要迁移的数据所在共享文件目录路径。是否有连接密码 否 选择访问共享文件目录是否需要访问密码。无密码：无需用户名和密码，直接访问。有密码：需要访问用户名和密码时，选择有密码，并填写正确的用户名和密码信息。说明 ...
迁移实施
子目录 可选 填写需要迁移的数据所在文件目录。若不填写，则默认为目录“/”。重要 若您填写了子目录，必须保证NAS服务器中存在该子目录，否则会导致数据地址创建失败。说明 极速型NAS默认包含share目录，而其他NAS则不包含。SMB默认下包含...
SmartData 3.1.x版本简介
解决了 hadoop fs-ls-R 命令在文件目录层级深，目录很多的情况下，出现由于线程处于等待状态致使命令无法执行的问题。增强了 hadoop fs-stat 命令，支持显示atime和privilege等。增加了Jindo HDFS客户端路径改写功能，以减少集群迁移时修改...
变量
例如：文档转jpg图片任务，输出路径设置为 oss:/test-bucket/output/{dirname}/{barename}/{index}.{autoext}，处理时 {autoext} 将被替换为 jpg，转换生成的图片保存路径为 oss:/test-bucket/output/源文件目录/源文件名/图片序号.jpg。...
SQL查询
支持下面几类文件目录添加至SQL查询文件目录，添加为目录后您可快速查看相应目录下的SQl文件或者数据表，对于数据表支持您快速查看表结构并快速生成查询SQL。目前支持添加的目录分以下几种：推荐目录：提供我的收藏、我的MaxCompute表、...
备份ECS文件
是否使用流量控制 流量控制可以帮助您在业务高峰期，控制备份文件目录的流量，以免影响正常业务。如选择 使用，您需要根据业务情况，选择 限流时间段，输入限流时间段内备份可使用的 最大流量，然后单击 添加。批量为多个ECS实例备份文件 ...
迁移实施
子目录 否 填写子目录后可将迁移的数据存放在指定的文件目录。若不填写，则默认为目录“/”。重要 若您填写了子目录，必须保证NAS服务器中有这个子目录存在，否则会导致数据地址创建失败。说明 极速型NAS默认包含share目录，而其他NAS则不...
- 产品推荐
- 这些文档可能帮助您