文件存储 HDFS 版上使用Apache Spark

source/etc/profile 配置 文件存储 HDFS 版 的Java SDK。您可以 下载最新的文件存储 HDFS 版的Java SDK,将其部署在Hadoop生态系统组件的CLASSPATH上,具体操作,请参见 挂载文件存储 HDFS 版文件系统。cp aliyun-sdk-dfs-x.y.z.jar/usr/...

文件存储 HDFS 版上使用Apache Flink

source/etc/profile 配置 文件存储 HDFS 版 的Java SDK。您可以 下载最新的文件存储HDFS版的Java SDK,将其部署在Hadoop生态系统组件的CLASSPATH上,具体操作,请参见 挂载文件存储 HDFS 版文件系统。cp aliyun-sdk-dfs-x.y.z.jar/usr/...

使用Fuse-DFS挂载文件存储 HDFS 版

步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件存储 HDFS 版文件系统。步骤二:配置Fuse-DFS 在Hadoop客户端上安装依赖并载入FUSE模块。执行以下命令,安装依赖。yum...

文件存储 HDFS 版上使用Apache HBase

步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件存储 HDFS 版文件系统。步骤二:配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...

文件存储 HDFS 版上使用Presto

步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件存储 HDFS 版文件系统。步骤二:配置Presto 执行以下命令,解压Presto安装包。tar-zxf presto-server-0.265.1.tar.gz ...

文件存储 HDFS 版和数据库MySQL双向数据迁移

步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件系统。步骤二:安装Sqoop 目前Sqoop分为Sqoop1和Sqoop2两个版本,且两个版本并不兼容。本文以Sqoop1的稳定版本Sqoop 1...

文件存储 HDFS 版上使用Apache Tez

方式二:安装Tez时使用集群环境中的Hadoop依赖 如果Hadoop环境中已配置 文件存储 HDFS 版 Java SDK,则不需要额外配置。不支持Hadoop集群滚动升级。方式三:安装Tez时使用额外的Hadoop依赖 需要将 文件存储 HDFS 版 Java SDK放到Tez的依赖...

配置企业知识库

其中用来储存向量数据的数据库,可以使用内置的ES实例,除了默认的文件和向量存储,还可以关联OSS文件存储Bucket(OSS对象存储产品说明:快速开通OSS说明)和ADB-PG向量存储实例(向量数据库产品说明:向量数据库说明)。OSS授权及跨域访问...

配置CDH6使用文件存储 HDFS 版

数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...

断网续传

默认配置:配置项 默认配置 文件存储目录 gw_history_record_storage_path/linkedge/run/history_record 节点最大个数 gw_history_record_node_num 10个 节点最大存储空间 gw_history_record_node_size 104857600(100 MB)自定义配置:...

功能特性

数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写,需按4K,8K,16K对齐-共享读写 一份数据可共享式多点挂载并进行读写,读写可线性扩展-存储加密 通过对数据库文件存储实施加密,可以确保数据库文件...

关于NAS和CPFS计费项名称调整的公告

为了给您更好的体验,阿里云将对文件存储NAS和文件存储CPFS实例按量计费的计费项名称进行调整。新的命名将于2023年01月16日00:00:00起生效,生效后您新产生的账单中的计费项名称将按照新的计费项名称显示。调整时间 2023年01月16日00:00:00...

入门概述

本文介绍从创建到使用CPFS文件系统的全流程,帮助您快速...配置文件系统的ACL权限 基于NFSv4协议的访问控制 常见问题 什么是文件存储CPFS?CPFS的使用场景有哪些?文件存储CPFS支持哪些访问协议?文件系统用于计费的存储容量是如何计算的?

删除配置文件

使用DROP PROFILE命令可删除配置文件。语法如下:DROP PROFILE[IF EXISTS]profile_name[CASCADE|RESTRICT];包括IF EXISTS子句,以指示服务器在所指定配置文件不存在时不引发错误。如果配置文件不存在,服务器将发出通知。包括可选的CASCADE...

概述

PolarDB PostgreSQL版(兼容Oracle)允许数据库超级用户创建命名的配置文件。每个配置文件都定义增强password和md5身份验证的密码管理规则。配置文件中的规则可以:统计失败的登录尝试次数 锁定失败登录尝试次数过多的帐户 标记要过期的...

入门概述

文件存储NAS概述 阿里云文件存储NAS(Apsara File Storage NAS)是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口,可支持数千台...

文件存储

本文为您介绍 PolarDB PostgreSQL版(兼容Oracle)的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中;只读节点的CLOG文件会在各自...

配置BizWorks Toolkit(适用于0.12.0版本及之后的版本...

项目根目录/.bizworks/项目根目录(如果您是在项目根目录进行此操作,则BizWorks Toolkit则会默认补充.bizworks 目录)说明 如果您之前配置过 关联平台配置,那么新建配置文件的内容将会以您IDEA中存储的内容为主。修改连接本地工程与平台...

OSS配置文件生命周期后未生效的原因分析

阿里云对象存储OSS配置文件生命周期或者修改生命周期后,生命周期规则未生效。本文主要介绍生命周期规则未生效的原因。详细信息 生命周期规则创建后的24小时内,OSS会加载规则。规则加载完成后,OSS会在每天的北京时间 8:00 开始执行规则,...

配置基础告警规则

当您需要监控文件存储CPFS文件系统资源的使用情况时,可以创建报警规则。如果资源的监控指标达到报警条件,云监控自动发送报警通知,帮助您及时得知异常监控数据,并快速处理。前提条件 已创建文件存储CPFS文件系统。具体操作,请参见 创建...

安装硬件

名称 描述 ifcfg-eno1 1Gb电口1的配置文件 ifcfg-eno2 1Gb电口2的配置文件(管理口请勿修改)ifcfg-eno3 10Gb光口1的配置文件 ifcfg-eno4 10Gb光口2的配置文件 ifcfg-enp7s0f0 25Gb光口1的配置文件 ifcfg-enp7s010 25Gb光口2的配置文件 ...

使用Robocopy工具迁移数据

本文介绍如何使用robocopy工具实现阿里云文件存储NAS SMB协议文件系统之间的数据迁移。前提条件 拥有一个存有数据的SMB协议文件系统,并且拥有一个专有网络类型挂载点。背景信息 Robocopy是Windows系统自带的目录复制命令,该功能可以创建...

文件存储 HDFS 版上使用TensorFlow

配置TensorFlow支持 文件存储 HDFS 版 在TensorFlow源码中添加对 文件存储 HDFS 版 的支持,具体操作,请参见 tensorflow support aliyun HDFS。编译TensorFlow。编译 步骤1 中已修改的TensorFlow源码,具体操作,请参见 Build from source...

基本概念

本文介绍了文件存储NAS相关基本概念,以便于您更好的理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改...

使用定制版 confd 以无侵入方式使用 ACM 配置

src 参数指定 confd 模板文件 dest 参数指定生成的配置文件 keys 参数指定将模板渲染成配置文件所需的配置内容[template]src="myconfig.conf.tmpl"dest="/tmp/myconfig.conf"keys=["/myapp/database/url",]在 templates 目录下创建 confd ...

技术架构

本文介绍了 ACM 的技术架构。迁移到MSE Nacos ACM进入下线状态,所有配置管理相关的需求由MSE中的Nacos承接(ACM独享版...在某些场景下,ACM 提供 Agent 来动态替换宿主机器上的配置文件,此时需要手动指定 ACM 配置项和配置文件的对应关系。

同步配置

配置文件 单击 上传文件,选择导出的配置文件上传。注意 如果您需要对导入的配置进行修改,请勿直接修改导出在本地的ZIP文件,这样可能会导致导入失败。建议您将配置导入之后再做修改。验证结果 进入目标命名空间,可以在配置列表中找到...

创建文件系统

前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时,按照页面引导开通服务。重要 在开通页面购买的产品为NAS资源包,并不是NAS文件系统。NAS资源包仅用于抵扣NAS文件系统存储容量费用。更多信息,请参见 资源包概述。...

Maven部署说明

重要 如果既存在默认配置文件,也通过参数指定配置文件,Cloud Toolkit会优先使用参数指定的配置文件。账号配置及优先级 使用Cloud Toolkit将应用部署到云端时,需要使用阿里云上的资源。因此在部署应用前,需要设置您的阿里云账号信息,...

卸载并释放CDH6 HDFS服务使用的云盘

配置CDH使用 文件存储 HDFS 版 文件系统。具体操作,请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH ...

创建配置

您可以将应用中的变量、参数等从代码中提取出来,并存入一个配置文件,这样在需要更改配置时,只需更改此配置文件即可。本文介绍如何创建配置文件。背景信息 说明 ACM进入下线状态,所有配置管理相关的需求由MSE中的Nacos承接(ACM独享版,...

CPFS-NFS客户端挂载文件系统(推荐)

CPFS-NFS客户端配置 配置文件 如果您需要修改CPFS-NFS客户端配置,请联系CPFS技术支持团队,并在团队指导下修改配置文件,否则可能会影响IO访问。配置文件路径:/etc/aliyun/cpfs/cpfs-utils.conf。配置示例如下:[DEFAULT]logging_level=...

安装目录

本文主要说明阿里云数据库存储服务DBFS创建后的安装目录。DBFS安装目录说明:DBFS服务申请成功后,将会在用户的ECS中创建“/opt/dbfs/”目录,请用户务必不要删除此目录:/opt/dbfs/app/:...opt/dbfs/config/:DBFS服务配置文件存放目录。

新建Paimon数据源

配置文件 上传集群的 hdfs-site.xml 和 core-site.xml 配置文件。Kerberos 通过Kerberos访问集群需开启该配置项并配置以下信息。Kerberos配置方式:选择集群的KDC Server配置方式,支持KDC Server和krb5文件配置。KDC Server:KDC Server...

Linux客户端以AD域用户身份挂载并使用SMB文件系统

配置文件/etc/auto.master 中,添加如下选项:/share/etc/auto.cifs-timeout=30-ghost 按如下示例修改配置文件/etc/auto.cifs 内容:*-fstype=cifs,vers=2.1,sec=krb5,cruid=${UID},uid=${UID},gid=${GID},file_mode=0700,dir_mode=0700:...

在云桌面内挂载CPFS文件系统

打开/etc/fstab 配置文件,添加挂载配置。file-system-id.region.nas.aliyuncs.com:/share/path /mnt cpfs-nfs vers=3,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport 0 0 上述命令中的参数说明如下表所示。...

数据展示

表格存储对接Grafana后,您可以通过Grafana可视化展示表格存储中的数据。前提条件 首次使用表格存储时,请开通表格存储服务以及创建实例和数据表等。具体操作,请参见 通过控制台使用 或者 通过命令行工具使用。已为表格存储的数据表或者...

对接Grafana

表格存储对接Grafana后,您可以通过Grafana可视化展示表格存储中的数据。前提条件 首次使用表格存储时,请开通表格存储服务以及创建实例和数据表等。具体操作,请参见 通过控制台使用 或者 通过命令行工具使用宽表模型。已为表格存储的数据...

转换文件存储类型

upload.addEventListener('click',()=>{ client.put(fileName,file).then(r=>console.log(r))})/通过copy方法转换文件存储类型。copy.addEventListener('click',()=>{/指定拷贝后的文件名称,例如newexampleobject.txt。client.copy('...

通过PrestoDB使用Tablestore

catalog tablestore 是 Catalog配置文件的名称,此处配置为tablestore,与创建的Catalog配置文件名称相同。schema default 是 Schema配置,保持default配置即可。步骤三:创建Schema和映射表 使用Meta表动态配置的Schema配置模式时,您需要...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库文件存储 文件存储 CPFS 对象存储 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用