在文件存储 HDFS 版上使用Apache Spark

本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK...

元数据性能测试

hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar nnbench-maps 20-reduces 10-numberOfFiles 1000-operation create_write 执行如下命令查看在 文件存储 HDFS 版 上面创建的文件数量及大小。...

PolarDB HTAP实时数据分析技术解密

如果IMCI无法执行此SQL,则PolarDB会尝试编译出一个Parallel Query的执行计划并执行。如果无法生成PQ的执行计划,则说明IMCI和PQ均无法支持此SQL,fallback回行存执行。上述策略从执行性能比较,IMCI优于行存并行执行,行存并行执行优于行...

快速入门(PAI-DSW)

NAS与阿里云人工智能平台PAI(Platform For AI)无缝集成,您可以在PAI的服务上配置NAS作为数据集持久化存储部署、训练过程中的数据。本文介绍如何在控制台为PAI-DSW实例快速部署NAS。前提条件 已开通PAI并创建默认工作空间。具体操作,请...

文件存储 HDFS 版和对象存储OSS双向数据迁移

本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...

PutBucketLifecycle

您可以基于最后一次修改时间以及最后一次访问时间的策略创建生命周期规则,定期将存储空间(Bucket)内的多个文件(Object)转储为指定存储类型,或者将过期的Object和碎片删除,从而节省存储费用。本文为您介绍如何调用 ...

通过NFS使用NAS动态存储

本文介绍如何使用阿里云NAS动态存储卷,以及如何验证NAS存储卷的持久化存储与共享存储特性。前提条件 已创建ACK集群。具体操作,请参见 创建Kubernetes托管版集群。ACK集群中CSI组件已升级至最新版本。更多信息,请参见 管理CSI组件。使用...

日志字段

transaction_policy SQL执行时使用的事务策略,取值范围如下 空:未开启事务 TSO:执行 PolarDB-X TSO事务(默认取值)BEST_EFFORT:执行 PolarDB-X 2PC事务 total_physical_conn_time SQL语句的物理建连时间,单位:ns。total_physical_...

使用NAS动态存储

本文介绍如何使用阿里云NAS动态存储卷,及如何验证NAS存储卷的持久化存储与共享存储特性。前提条件 已创建ACS集群。具体操作,请参见 创建ACS集群。已开通NAS并创建NAS文件系统。请参见 创建文件系统。若需要加密NAS存储卷中的数据,创建...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

生命周期管理FAQ

当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时,可以开启通用型NAS生命周期管理功能,符合生命周期管理策略的文件将自动转储至低频存储或归档存储,采用低频存储计费方式,从而降低存储成本。为什么我的文件系统不支持生命...

使用限制

执行完成时间 对于未配置标签的生命周期规则 华东1(杭州)、华东2(上海)、华北2(北京)、华北 3(张家口)、华北6(乌兰察布)、华南1(深圳)、新加坡地域执行10亿或以下次生命周期相关操作(包括Object删除、Object存储类型转换以及...

数据集成服务

数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...

安装表格存储Python SDK

安装 表格存储 Python SDK后,即可在编写代码时调用 表格存储 SDK的接口。本文介绍如何安装 表格存储 Python SDK。环境准备 安装 表格存储 Python SDK需使用Python 2或Python 3。具体下载路径请参见 https://www.python.org/downloads/ 。...

通用型NAS计费

低频存储读流量 1 GiB×0.06元/GiB=0.06元 低频存储写流量 2 GiB×0.06元/GiB=0.12元 存储包+按量计费 假设张先生在华北2(北京)地域购买了500 GiB的存储包,需支付总费用165.195元,计费明细如下:计费项 费用 说明 通用型存储容量(容量...

基于最后一次访问时间的生命周期规则

您可以通过基于最后一次访问时间(Last Access Time)策略的生命周期规则来自动监测数据的访问模式并识别冷数据,然后将识别出来的冷数据进行存储类型的转换,从而达到数据的冷热分层存储,最终降低存储成本。使用场景 多媒体场景 某网站的...

通过MyBatis使用

背景信息 MyBatis是一个Java数据持久层框架,支持自定义SQL、存储过程以及高级映射。使用MyBatis能免除JDBC代码以及设置参数和获取结果集的工作。更多信息,请参见 MyBatis官网文档。注意事项 目前支持使用SQL查询功能的地域有华东1(杭州...

使用Fuse-DFS挂载文件存储 HDFS 版

本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...

Hive访问Iceberg数据

Logging initialized using configuration in file:/etc/ecm/hive-conf-2.3.5-2.0.3/hive-log4j2.properties Async:true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions.Consider using a different...

使用CNFS自动扩容NAS存储

通过定义CNFS中托管的NAS存储卷的自动扩容策略,当NAS存储卷的使用率高于某个阈值时,触发NAS存储卷的自动扩容。本文介绍如何使用CNFS实现NAS存储卷的自动扩容。前提条件 已创建Kubernetes托管版集群,且存储插件选择为CSI。若需要新建集群...

NAS存储卷FAQ

NAS存储卷挂载时间延长 NAS存储卷挂载失败时出现timeout错误 使用NAS存储卷时,提示chown:option not permitted 挂载NAS存储卷失败 使用NAS动态存储卷时Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 问题现象:NAS存储...

存储网关软件版公测

存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品,提供类似ossfs的功能,使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问,从而您可以像操作本地文件一样操作OSS里面的文件。...

NAS存储卷FAQ

使用NAS存储卷时,提示chown:Operation not permitted 使用NAS动态存储卷时,Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 使用NAS存储卷时,无法创建或修改目录 当工作负载挂载NAS存储卷时,提示unknown filesystem ...

宽表模型介绍

2 开通表格存储服务 使用 表格存储 功能前,您必须开通 表格存储 服务。服务仅需开通一次,开通过程免费。如果已经开通 表格存储 服务,请跳过此操作。3 创建实例 重要 创建实例前,您需要根据实际业务特点以及业务对读写性能和成本要求...

CPFS并行文件存储

CPFS并行文件存储 提供高性能计算文件存储,支持标准的POSIX和MPI-IO协议,自带的高性能计算程序无需任何接口适配和性能优化即可高效执行,满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...

在文件存储 HDFS 版上使用Apache Flink

本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不...

技术架构

核心模块 如同大多数传统单机关系型数据库,PolarDB-X 分为网络层、SQL解析层、优化层、执行层、存储层,其中优化层包含逻辑优化和物理优化,执行层包含单机两阶段执行、单机并行执行和多机并行执行存储层包含应用了多种传统单机数据库...

生命周期配置元素

规则rule2中配置了前缀为 dir1 的Object在距离最后一次修改时间20天后转为低频访问类型,且通过Not元素指定不转换 dir1/dir2/下Object的存储类型。Rule><ID>rule1</ID><Prefix>dir1/</Prefix><Status>Enabled...

跨实例查询

存储弹性模式7.0版本的ORCA优化器支持对FDW外表生成执行计划,存储弹性模式6.0版本和Serverless模式的ORCA优化器无法处理外表,会使用原生优化器生成执行计划。操作步骤 以下内容将为同一账号下的实例A和实例B(两个实例位于同一地域、同...

使用Go语言驱动

本文介绍如何使用Go语言驱动连接表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

设置生命周期策略

您可以基于最后一次访问时间的规则创建生命周期策略,定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型,从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用:根据您转储至低频存储中的文件大小、时长收取...

使用NAS静态存储

NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷,以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作,请参见 创建ACK Serverless集群。已...

生命周期管理概述

全部数据存储在低频存储或归档存储节省的存储费用(费用A)读写低频存储或归档存储中的数据产生的流量费用(费用B)(通用型NAS存储单价-低频存储单价或归档存储)×预估存储容量 文件存储NAS的存储单价,请参见 文件存储NAS产品定价。...

如何优化高并发IM系统架构

介绍如何使用表格存储的主键增列...说明 表格存储 用户群11789671(表格存储技术交流群)和23307953(表格存储技术交流群-2)已满,暂时无法加入。为物联网和时序模型开发者提供的技术交流群有44327024(物联网存储 IoTstore 开发者交流群)。

数据导出到OSS概述

表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件,...

SQL查询计量计费

如果业务需要使用数据扫描来查询数据,请加入钉钉群23307953(表格存储技术交流群-2)联系表格存储技术支持进行评估。数据表和索引配合使用 查询条件中的列为非主键列,如果数据表的索引中包含了查询条件中的列,则表格存储会自动选择索...

创建存储空间

在上传文件(Object)到OSS之前,您需要创建一个用于存储文件的存储空间(Bucket)。存储空间具有各种配置属性,包括访问权限、存储类型等。您可以根据实际需求,创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...

批计算

通过在E-MapReduce集群中使用Spark2访问表格存储。对于批计算,Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能,利用表格存储的全局二级索引或者多元索引可以加速查询。前提条件 已创建E-...

转换存储类型

OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型,您可以通过生命周期规则或者CopyObject的方式随时转换文件(Object)的存储类型。警告 对开通了OSS-HDFS服务的Bucket,建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云存储网关 文件存储 CPFS 对象存储 混合云存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用