加速在线应用数据访问
Fluid支持在Serverless场景下，通过JindoRuntime优化对象存储的访问，该访问支持缓存模式和无缓存模式。本文介绍如何使用无缓存模式加速在线应用数据访问。前提条件 已创建一个 非ContainerOS 操作系统的ACK Pro版集群，且集群版本为1.18及...
RFM模型
您可以从导入的或上报后存储的 订单汇总 表、订单明细 表数据创建RFM模型，用于RFM分析、RFM模型筛选人群等。什么是RFM模型？RFM模型是一种通过用户的R消费间隔（Recency）、F消费频率（Frequency）、M消费金额（Monetary）三项指标来衡量...
块存储限速最佳实践
Kubernetes本身不支持对存储介质进行限速，您可以通过容器服务ACK实现对某个Pod进行某个块设备（云盘或LVM本地盘）的限速，有效地管理和分配存储资源，确保系统的性能和稳定性，同时减少不必要的成本。本文以云盘为例介绍如何对块存储进行...
流计算
通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于流计算，基于通道服务，利用CDC（数据变更捕获）技术完成Spark的mini batch流式消费和计算，同时提供了at-least-once一致性语义。前提条件 已创建 EMR 集群。具体操作，请参见 EMR...
通过配置JindoRuntime实现Master组件状态持久化存储
为避免运行Master组件的容器重启造成缓存系统元数据丢失，Fluid支持通过配置JindoRuntime，持久化存储JindoFS Master组件的元数据，从而提升JindoFS分布式缓存集群的可用性。功能介绍 JindoFS来源于阿里云EMR团队，是基于C++实现的支撑...
iOS SDK和Android SDK如何开启日志记录功能
iOS SDK开启LOG的方法/日志的样式/2017/10/25 11:05:43:863[Debug]:第17次：<NSThread: 0x7f8099108580>{number=3,name=(null)}/2017/10/25 11:05:43:863[Debug]:第15次：<NSThread: 0x7f80976052c0>/2017/10/25 11:05:43:863[Debug]:...
Hadoop使用JindoSDK访问OSS-HDFS服务
OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。...
点云压缩
点云是海量点的集合，存储点云不仅会消耗大量的存储空间，而且传输不经过压缩的点云文件需要消耗大量的带宽，传输成本很高，因此需要对点云进行压缩。使用场景 自动驾驶：压缩自动驾驶场景中雷达扫描产生的点云数据。数字文博：为文物数字...
使用存储包
存储包是 数据库备份DBS 推出的一种预付费资源包，支持抵扣同一账号下备份实例的内置存储费用、CDM沙箱功能的存储费用 以及MongoDB等云数据库的备份存储费用，抵扣部分不再计费，仅超出部分将按使用量计费。本文介绍DBS存储包的计费规则...
冷热分层存储
为写入OSS-HDFS服务的数据设置存储策略为 归档存储./jindo fs-setStoragePolicy-path oss:/examplebucket/dir2-policy CLOUD_AR dir2/目录下的文件对应的数据块会携带Key为 transition-storage-class、Value为 Archive 的标签信息。...
存储费用
数据库备份DBS内置存储池和云数据库存储池默认为按量付费，如需降低存储费用，可购买存储包进行抵扣。存储费用（按量付费）当您在DBS控制台、RDS控制台、PolarDB控制台、MongoDB控制台执行某些备份操作时，产生的备份文件将存储于备份目标...
使用函数计算
通过函数计算访问表格存储，对表格存储增量数据进行实时计算。背景信息 函数计算（Function Compute，简称FC）是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准备...
新功能发布记录
2024年01-31 华东1（杭州）西南1（成都）华东2（上海）华南1（深圳）华北3（张家口）华北2（北京）产品规格 CPFS智算版（邀测）CPFS智算版是阿里云文件存储CPFS推出的一款超高性能的文件存储服务，支持端到端RDMA网络，应用于AIGC、自动...
数据操作篇
如需在单个属性列存储超过 2 MB 的数据，如图片、音乐、文件等，可以使用 OSS（Object Storage Service）对其进行存储。OSS 是阿里云提供的开放存储服务，用以应对海量数据的存储和访问。OSS 的存储单价比表格存储更低，更适合存储文件。...
为什么很长时间没有产生清单结果？
清单文件的目录结构如下：dest_bucket└─destination-prefix/└─src_bucket/└─inventory_id/├─YYYY-MM-DDTHH-MMZ/│├─manifest.json│└─manifest.checksum└─data/└─745a29e3-bfaa-490d-9109-47086afcc8f2.csv.gz 请根据为...
ModifyFileSystem-修改文件系统属性
37af8f42-2abc-4e74-889d-664f5163*ThroughputMode string 否 吞吐模式。取值：Standard：标准吞吐 Provisioned：预置吞吐 Standard ProvisionedThroughputInMiBps long 否 预置吞吐量。当 ThroughputMode 取值为 Provisioned 时，此参数为...
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
Jindo CLI使用指南
jindo fs-setfacl-b oss:/<bucket>/<dir>jindo fs-setfacl-k oss:/<bucket>/<dir>jindo fs-setfacl-m user:<username>:<acl>oss:/<bucket>/<dir>jindo fs-setfacl-m user:<username>:<acl>oss:/<bucke jindofs-setfacl-x user:<username>oss...
通过NFS使用NAS动态存储卷
容器服务 Kubernetes 版 CSI支持subpath...kubectl get pod 预期输出：NAME READY STATUS RESTARTS AGE deployment-nas-1-5b5cdb85f6-n*1/1 Running 0 32s deployment-nas-2-c5bb4746c-4*1/1 Running 0 32s 说明 NAS存储卷的 0cd8b4a576-g*....
GetFileSystem-获取文件系统详细信息
37af8f42-2abc-4e74-889d-664f5163*InputRegionId string 是 地域 ID。cn-hangzhou 返回参数 名称 类型 描述 示例值 object RequestId string 请求 ID。55C5FFD6-BF99-41BD-9C66-FFF39189*FileSystem object 文件系统信息集合。CreateTime ...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
通用型NAS
容量型 地域 可用区 华东1（杭州）华东1可用区F 华东1可用区K 华东2（上海）华东2可用区H 华东2可用区L 华东2可用区M 华东2可用区B 华北1（青岛）华北1可用区C 华北2（北京）华北2可用区H 华北2可用区L 华北3（张家口）华北3可用区D 华北3...
方案实现
店铺（md5）（主键）类型 店铺名称 店铺位置 店铺评分 人均消费 o0057022192 0000000f470ef0ef0f0f548b925ceffela7e3 杭帮菜 韩村杭帮菜 36.76613，111.41461 2.87 63.67 步骤四：读取数据 数据读取分为两类：主键读取 基于原生表格存储的...
EMQX数据接入
参数 是否必选 示例值 描述 使用资源 是 resource:f2d3*选择新建的Tablestore（时序）资源。动作类型 是 数据持久化-保存数据到Tablestore 固定取值为 数据持久化-保存数据到Tablestore，不可修改。表名 是 temp_hum 表格存储时序表名称。...
ListFileSystems-批量获取文件系统详细信息
37af8f42-2abc-4e74-889d-664f5163*FileSystemName string 文件系统名称。MyFirstHDFS Description string 文件系统的描述信息。这是我公司的第一个文件存储HDFS版实例。MountPointCount long 挂载点数量。2 ThroughputMode string 吞吐...
通过DMS管理作业
JAR包存储至HDFS：hdfs:/path/spark-examples_2.12-3.1.1.jar JAR包存储至OSS：oss:/testBucketName/path/spark-examples_2.12-3.1.1.jar mainClass String 是 JAR作业的程序入口类。com.aliyun.ldspark.SparkPi args Array 否 传入...
功能发布记录
2023-11-19 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）和新加坡地域下的高性能实例 中国香港地域下的容量型实例 同城冗余 数据备份优化 云备份功能操作已内置到表格存储控制台。...
0042-00000310
partNumber=2&uploadId=63C06A5CFF6F4AE4A6BB3AD7F01C*HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Tue,09 Apr 2019 07:01:56 GMT Authorization:OSS 6jftttm6x6san0ewtgyk*:v/sJFtYvg7DTa4pJ2AMShZL/*x-oss-copy-...
如何查看OSS文件被删除的详细操作记录
概述 本文主要介绍当发现您存储在阿里云对象存储OSS中的文件被删除后，如何查看阿里云对象存储OSS文件被删除的详细操作记录，定位是否存在误删除的情况。详细信息 如您需要查看OSS文件被访问、删除等操作的记录，需要开启OSS的Logging日志...
概述
PolarDB MySQL版 内置了一系列存储过程，您可以使用这些存储过程获取SQL语句中未被索引覆盖的列名，同时可以获取创建列存索引的DDL语句。本文介绍了 PolarDB MySQL版 内置的存储过程以及如何使用存储过程辅助创建列存索引。简介 PolarDB ...
从HBase Client迁移到Tablestore HBase Client
name>hbase.client.tablestore.family</name><value>f1</value></property><property><name>hbase.client.tablestore.family.$tablename</name><value>f2</value></property><property><name>tablestore.client.max.connections...
产品规格
4.19.91-27.4.al7.x86_64及以下版本 RHEL或CentOS 8.4 4.18.0-305.19.1.el8_4 8.3 4.18.0-240.22.1.el8_3 8.2 4.18.0-193.28.1.el8_2 8.1 4.18.0-147.8.1.el8_1 8.0 4.18.0-80.11.2.el8_0 7.9 3.10.0-1160.42.2.el7 7.8 3.10.0-1127.19.1....
通过Amazon S3协议挂载OSS
本文介绍如何通过s3fs、goofys以及Rclone在不同操作系统中将OSS Bucket挂载到本地文件系统，让您能够像操作本地文件一样操作OSS的对象（Object），实现数据的共享。前提条件 已创建RAM用户并获取访问密钥（AccessKey）。具体操作，请参见 ...
元数据性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
CreateDataFlow-创建数据流动
接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算版文件系统最大允许创建 10 个数据流动。创建...
迁移HDFS数据到OSS
在示例命令中配置AccessKey hadoop jar jindo-distcp-tool-${version}.jar-src/tmp/-dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m*-hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG*-...
边缘存储
出账周期：2021年01月01日边缘存储费用为：0.0139元/GB/小时*24+0.7元/百万次读取×2百万次+6.5元/百万次写入×1百万次=8.234元。扣费：2021年01月01日产生的费用会在2021年01月02日零点扣除该费用。开通边缘存储服务 使用边缘存储前，您...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
- 产品推荐
- 这些文档可能帮助您