Jindo DistCp场景使用指导

场景预览 Jindo DistCp常用使用场景如下所示:场景一:导入HDFS数据至OSS,需要使用哪些参数?如果数据量很大、文件很多(百万千万级别)时,该使用哪些参数优化?场景二:使用Jindo DistCp成功导完数据后,如何验证数据完整性?场景三:...

数据脱敏能力概述

若该类场景指定生效的数据范围及用户范围无法满足您更细化的脱敏需求,则您可基于一级场景自定义二级脱敏场景使用。脱敏场景的介绍及创建,详情请参见 创建数据脱敏场景。创建数据脱敏规则。您可根据需要创建脱敏规则以适用不同场景下的...

前言

请根据实际场景使用其他功能。如果要迁移数据或者使用计算引擎处理数据,请使用通道服务实现。更多信息,请参见 通道服务。如果要实时投递 表格存储 数据到OSS中存储和分析,请使用数据湖投递实现。更多信息,请参见 数据湖投递。时序模型 ...

高级管理FAQ

您可以在创建文件系统时,根据使用场景配置加密方式为 NAS托管密钥 或 用户管理密钥。具体操作,请参见 通过控制台创建通用型NAS文件系统 和 通过控制台创建极速型NAS文件系统。未开启服务器端加密功能的文件系统能否使用该功能?不能。...

异构计算产品最佳实践概览

GPU AI模型训练最佳实践 适用于AI图片训练场景使用CPFS/NAS作为共享存储,利用容器服务Kubernetes版管理GPU云服务器集群进行AI图片训练。在GPU实例上使用RAPIDS加速机器学习任务 在GPU实例上基于NGC环境使用RAPIDS加速库,加速数据科学和...

概述

迁移工具 特点 应用场景 使用SFTP客户端迁移数据 支持众多操作系统平台。提供图形化操作界面。适用少量文件需要一次性上传至NFS文件系统和将NFS文件系统内的数据下载到本地。使用rsync命令行工具迁移数据 支持Linux/Windows/macOS操作系统...

协议服务FAQ

CPFS协议服务推荐用于基于容器技术的高性能计算和影视渲染场景使用。EDA芯片设计、气象、石油计算等对I/O要求极高或依赖MPI-IO接口的场景,建议使用CPFS-POSIX客户端挂载访问CPFS文件系统。CPFS-POSIX客户端与CPFS-NFS客户端有什么区别?...

无影云盘功能概述

在 无影云电脑 的客户端或者 云电脑 中,您可以使用该云盘管理文件,包括文件的存储、搜索、备份和分享等。本文为您介绍 无影云盘 的功能。功能说明 管理员为用户授权了 无影云盘 的使用权限后,终端用户可以在客户端 云电脑 卡片展示页面...

Hologres推荐的数仓分层

适用场景:数据来源于数据库和埋点系统,对QPS和实时性均有要求,适合80%实时数仓场景使用,能满足大部分业务场景需求。实时数仓场景三:增量数据实时统计 增量计算的场景是因为一些场景对数据延迟非常敏感,数据产生的时候必须完成加工,...

图搜场景快速入门

示例3:直接使用 ha-sql 查询串进行搜索.#sql_str='''query=select proxima_score('index_name')as score,id from table_name where MATCHINDEX('index_name',?order by score asc limit 5&kvpair=timeout:1000,iquan.plan.cache.enable:...

数据服务集群

Apache HBase基于HDFS作为底层存储系统,在云上的场景可以使用对象存储(例如OSS)来提供更好的灵活性以及更低的成本。Apache HBase支持海量数据存储,具有很高的存储和计算扩展性,以及很好的读写性能,支持动态列、数据多版本存储,以及...

表格存储服务关联角色

表格存储使用服务关联角色获取其他云服务或云资源的访问权限。通常情况下,服务关联角色是在您执行某项操作时,由系统自动创建。在自动创建服务关联角色失败或表格存储不支持自动创建时,您需要手动创建服务关联角色。阿里云访问控制为每个...

时序表操作

使用分析存储功能,您可以低成本存储时序数据以及快速查询和分析时序数据。说明 分析存储功能主要用于时序数据长期存储和分析场景。更多信息,请参见 时序分析存储概述。创建时序表后,您可以根据实际需要执行相应操作。操作 说明 列出时序...

使用CNFS管理NAS共享存储卷(推荐)

容器服务 Kubernetes 版 支持以NAS共享存储卷的方式挂载和使用CNFS。通过CNFS管理NAS共享存储卷,您可以在多个应用或Pod之间挂载同一个NAS文件系统的相同目录,以解决Pod之间共享数据的问题。本文以StatefulSet类型应用为例介绍如何使用...

在GPU集群中加速AI模型训练

本文适用于AI图片的训练场景使用文件存储CPFS/NAS作为共享存储使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据,支持多个...

存储概述

存储类型 静态数据卷 动态数据卷 默认部署 主要特点 应用场景 阿里云云盘 暂不支持 支持 存储类alicloud-ebs-efficiency,alicloud-ebs-performance,alicloud-ebs-rapid 是 非共享存储,每个容器盘只能在单个节点挂载,并由单个Pod使用。...

使用NAS实现共享存储和持久化存储-Flexvolume

NAS提供了共享存储和持久化存储的服务,满足您需要多个Pod共享数据的应用场景。本文介绍如何使用NAS实现共享存储和持久化存储。前提条件 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。已在文件存储控制台创建...

通过控制台使用时序模型

使用分析存储(Analytical Store)功能,您可以低成本存储时序数据以及快速查询和分析时序数据。更多信息,请参见 时序分析存储概述。系统默认已开启分析存储,请根据实际业务场景进行分析存储配置。如果不需要使用分析存储,关闭 创建分析...

管理共享存储

E-HPC所有用户数据、调度器信息、作业数据等信息都会存储在共享的文件系统中,供集群所有节点访问,以提高集群的共享存储能力。创建E-HPC集群时,您必须为集群挂载一个文件系统。如果您有更多的存储需求,可以为集群挂载新的存储资源,来...

背景

选择使用表格存储后,根据实际业务场景,选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。为什么选择表格存储 如上图所示,表格存储提供了丰富、通用的功能,并具有如下优势:零运维,即开即用,按量付费 表格存储是阿里云...

方案选择

使用表格存储研发的多元索引(SearchIndex)方案,则可以解决亿量级订单系统问题。表格存储具有即开即用,按量收费等特点。多元索引随时创建,是海量电商订单元数据管理的优质方案。表格存储作为面向海量结构化数据提供的Serverless表存储...

最佳实践

容器与云原生 如何利用云存储网关作为Windows Docker存储访问OSS 在Linux Docker容器中挂载使用存储网关 Windows应用 利用云存储网关搭建Windows文件共享服务器 利用云存储网关的SMB共享搭建windows FTP服务器访问对象存储OSS 如何基于云...

添加使用场景

在购号申请前,请您添加使用场景并通过审核。本文为您介绍如何添加使用场景。前提条件 已提交企业资质。具体操作,请参见 提交企业资质。背景信息 请如实填写使用场景信息,此信息将用于安全合规检查,若与实际使用不一致可能会影响业务,...

应用场景

IM场景中可使用 表格存储 互联网应用架构中的分布式结构化数据存储架构来实现。场景架构如下图所示。表格存储 专为IM场景和Feed流场景设计了Timeline轻量级消息模型,能够支持同步表百TB存储存储表PB级存储、每秒百万写扩散消息写入以及...

账户共享概述

本文概述性介绍账户共享的功能,使用场景和开启说明。什么是账户共享?账户共享是指企业管理员管理整体企业多个账户下资产,以及资产设置到企业不同账号共享使用的功能。需要开启 企业账号中心 功能后使用。开启企业账号中心功能后,您可以...

实例规格说明

本章节主要说明阿里云产品DBFS的实例规格,资源消耗以及使用场景。以下为DBFS实例规格说明表:实例规格 资源消耗 使用场景 dbfs.small CPU:单个DBFS最多占用0.25 vCPU。内存:单个DBFS最多占用0.5 GiB。业务场景:高密度挂载场景,可用于...

什么是云存储网关CSG

如果是小文件的备份和共享读写场景,推荐使用标准型或基础型文件网关;如果对性能有一定要求或者同时有多个客户端访问数据的用户,推荐使用增强型/性能型文件网关。块网关 块网关在OSS中创建存储卷,提供Internet小型计算机系统接口(iSCSI...

基本概念

主机规格根据使用场景定义,延续共享宿主机ECS实例规格族的定义。更多信息,请参见 DDH规格。CPU超分比 对于CPU负载要求不高的场景,可以通过配置CPU超分比提升可使用的vCPU个数,有效降低单实例部署的成本。BYOL BYOL(Bring Your Own ...

NAS存储卷概述

本文介绍NAS存储卷的使用场景、注意事项等。前提条件 使用NAS数据卷之前,您需要在 文件存储管理控制台 上创建文件系统,并在文件系统中添加挂载点。创建的NAS文件系统挂载点需要和您的集群位于同一VPC。例如,您的挂载点为 055f84ad83-...

存储网关

如果是小文件的备份和共享读写场景,推荐使用标准型或基础型文件网关;如果对性能有一定要求或者有多个客户端同时访问数据,推荐使用增强型或性能型文件网关。块网关 块网关在OSS中创建存储卷,提供Internet小型计算机系统接口(iSCSI)...

NAS存储卷概述

本文介绍NAS存储卷的使用场景、注意事项等。前提条件 使用NAS数据卷之前,您需要在 文件存储管理控制台 上创建文件系统,并在文件系统中添加挂载点。创建的NAS文件系统挂载点需要和您的集群位于同一VPC。例如,您的挂载点为 055f84ad83-...

案例集合

存储场景 具体请参见 云Hbase数据库在亿方云实践之路。车联网场景 车纷享请参见 基于阿里云HBase构建车联网平台实践。HBase在新能源汽车监控系统中的应用场景请参见 HBase在新能源汽车监控的应用。金融场景 具体请参见 HBase在大搜车金融...

使用场景

具体的使用场景如下所示。共享文件池:在不同计算集群之间共享文件和数据。数据备份:通过类似Veaam,NBU等备份软件,将一些应用数据按一定策略通过云存储网关备份到阿里云OSS。冷数据归档:可以将冷数据从本地或者ECS实例中通过云存储网关...

应用场景

而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力,无需将数据迁移到计算资源本地,因此在该场景下推荐使用 文件存储 HDFS 版 存储数据。将数据存入 文件存储 HDFS 版,ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...

选型推荐

SSD云盘/ESSD云盘 SSD云盘/ESSD云盘 推荐场景 小规模日志/数据共享存储、小型网站、自建FTP 日志/数据共享存储、共享目录、自建FTP、小型网站、数据归档、多地数据共享、备份数据仓库 中型网站,日志/数据统一存储,共享目录(VDI),大...

共享加密自定义镜像

如果您已通过资源目录操作镜像资源共享,建议您不要再使用场景一中的方式操作相同的镜像资源,避免造成资源目录中镜像共享数据不一致的问题。准备工作 共享镜像之前,请确认自定义镜像已清除敏感数据和文件。需明确共享镜像的场景。将镜像...

支持的数据脱敏算法

敏感类型:通用敏感 适用场景:数据存储 数据使用 日期取整 日期取整保留到 年、月、日、小时 或 分钟 字符位移 整体循环位移Bit数、向左/向右 加密脱敏 可逆算法。适用于对需要回源的字段进行加密的场景。支持常见的对称加密算法。DES算法...

0025-00000003

问题描述 OSS ON云盒不支持指定的容灾类型。问题原因 您发起了PutBucket请求,但是OSS ON云盒场景...在OSS ON云盒使用场景中,仅支持 LRS 容灾类型。您需要在创建OSS ON云盒Bucket时,选择 LRS 容灾类型。相关文档 PutBucket 什么是OSS ON云盒

文件存储NAS系统权限策略参考

虽然系统策略包含的权限同样适用于 OpenAPI 或 CLI 等访问方式,但为了提高安全性,我们推荐您在这些场景使用自定义策略,按需授予人员及应用特定 API 的访问权限。系统策略可进一步细分为产品系统策略、服务角色策略和服务关联角色策略...

管理缓存

存储网关为每个共享路径提供一个缓存盘,本文介绍如何通过本地文件网关控制台管理缓存,包括添加缓存、删除缓存,缓存盘测速等操作。前提条件 已部署本地文件网关客户端,详情请参见 部署本地网关控制台。已添加磁盘,详情请参见 添加...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 文件存储 CPFS 共享流量包 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用