存储基础知识
其实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。说明 数据卷（Volume）生命周期和Pod一致，即Pod被删除的时候，数据卷（Volume）也一起被删除...
迁移指南
外部读取器：直接读取存储在Delta Lake中的数据。有关如何读取Delta表的信息，请参阅Integrations。示例 假设您已将Parquet数据存储在directory/data-pipeline 中，并希望创建一个名为events的表。您始终可以读入DataFrame并另存为Delta表...
共享集群产品功能发布记录
2023年12月 共享集群发布V2.1版本，支持Paimon格式的数据湖存储。2023年02月 华南1（深圳）地域开通共享集群服务。2022年12月 从 2022年12月26日 起，Hologres共享集群正式发布1.3版本，所有新购用户默认购买的共享集群实例为该版本，已有...
请求者付费模式
请求者付费模式是指由请求者支付读取存储空间（Bucket）内数据时产生的流量费用和请求费用，而Bucket拥有者仅支付存储费用。当您希望共享数据，但又不希望产生流量费用和请求费用时，您可以开启此功能。设置请求者付费模式 以下代码用于...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
Query Profile介绍
RemoteReadBytes 所有Connector Scan执行节点从OSS对象存储读取的压缩数据大小之和。该指标仅适用于存算分离实例。ResultRows 所有SCAN执行节点输出记录条数总和。ResultBytes 所有SCAN执行节点读取的数据总量之和。Network 指标 说明 ...
系统权限申请与使用说明
READ_EXTERNAL_STORAGE 存储权限 提供读取手机储存空间内数据的功能 允许 App 读取存储中的图片、文件等内容，主要用于帮助您发布信息，在本地记录崩溃日志信息（如有）、清理卸载残留等功能 WRITE_EXTERNAL_STORAGE 存储权限 提供写入外部...
前言
BucketLifecycle.php 设置、读取和清除存储空间的 生命周期 BucketLogging.php 设置、读取和清除存储空间的 访问日志 BucketReferer.php 设置、读取和清除存储空间的 防盗链 BucketWebsite.php 设置、读取和清除存储空间的 静态网站托管 ...
JINDODATA指标
参数 指标 描述 backend_read_bytes_time_total_window jindodata_metrics_jindofsx_ns_backend_read_bytes_time_total_window 一段时间内读取后端存储耗时。单位：微秒。backend_read_bytes_total_window jindodata_metrics_jindofsx_ns_...
列出并读取一个存储空间中的资源
本文为您提供列出并读取一个存储空间中资源的参考示例。以下策略表示：您可以通过OSS SDK或OSS命令行工具列出并读取一个存储空间 myphotos 中的资源。{"Version":"1","Statement":[{"Effect":"Allow","Action":"oss:ListObjects","Resource...
归档直读
归档直读是指在对象存储OSS中，直接访问归档存储类型的文件，而无需先对其解冻。归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作，请参见 创建存储空间。RAM...
数据导出到OSS概述
读取表格存储数据时会消耗计算资源，计算资源的计费涵盖在计算能力费用中。按量模式：计费项包括读吞吐量、写吞吐量、数据存储量和外网下行流量，其中读吞吐量包括预留读吞吐量和按量读吞吐量。读取表格存储数据时会消耗读吞吐量，表格存储...
IoT数据源
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表，本文为您介绍DataWorks的IoT数据读取能力。支持的版本 仅华东2（上海）、华北2（北京）、华南1（深圳）地域的标准型和尊享型...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
在文件存储 HDFS 版上使用Presto
本文主要介绍如何在 文件存储 HDFS 版 上搭建及使用Presto。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
数据读取
本文介绍如何通过 开源大数据平台 EMR（E-MapReduce）控制台，快速创建一个 EMR 集群并使用Spark3读取 表格存储 的数据。前提条件 已使用阿里云账号对 EMR 服务授权。具体操作，请参见 角色授权。已创建 表格存储 数据表。具体操作，请参见...
Hologres源表
使用限制 Hologres支持使用Holo-blink Connector将Hologres表作为源表读取数据并进行维表Join，其使用限制如下：默认只能读取 行存储格式 的表数据。如果要读取列存储格式表的数据，需要配置 bulkread='true'。创建行存储表时，如果该表...
生命周期管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
read-symlink（读取软链接）
read-symlink 命令用于读取软链接文件的描述信息，包括软链接文件的ETag值、最后更新时间等。此操作要求用户对软链接文件有读权限。注意事项 要读取软链接，您必须具有oss:GetObject权限。具体操作，请参见 为RAM用户授权自定义的权限策略...
OSS
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")读...
Parquet（推荐）
Parquet是一种开源的面向列的数据存储格式，它提供了各种存储优化，尤其适合数据分析。Parquet提供列压缩从而可以节省空间，而且它支持按列读取而非整个文件的读取。作为一种文件格式，Parquet与Apache Spark配合的很好，而且实际上也是...
作业提交示例
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val text=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")步骤一...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
将HBase数据同步到表格存储
使用DataX将HBase数据库中的全量数据同步到表格存储（Tablestore）中。准备工作 开通表格存储服务，并创建实例和数据表。具体操作，请参见 通过控制台使用宽表模型 或者 通过命令行工具使用宽表模型。说明 创建数据表时建议使用HBase原主键...
数据安全
读取和存储数据至OSS及NAS，实现数据集、模型等数据文件的存储安全。基于阿里云存储产品的高可用，保证用户数据安全可靠。数据存储介质 可用性说明 对象存储 OSS 安全与合规 文件存储 NAS 功能特性 云盘 云盘概述 云原生大数据计算服务 ...
PutBucketArchiveDirectRead
开启归档直读后，直接读取归档存储类型的文件，会产生归档直读数据取回容量（RetrievalDataArchiveDirect）费用。对于已经解冻的归档存储类型的文件，不会产生归档直读数据取回容量费用。详情请参见 数据处理费用。请求语法 PUT/?...
ORC文件
ORC是为Hadoop作业而设计的自描述，类型感知的列存储文件格式。它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
应用场景
一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息，数据库字段中存储具体计数信息。云数据库 Memcache 版来进行计数的...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
JSON文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"JSON...
凭据管家概述
KMS凭据管家（Secrets Manager）为您提供凭据的全...应用研发和部署 您可以使用KMS SDK、凭据管家客户端、Kubernetes插件等多种方式接入凭据管家，通过凭据的名称，在应用中动态读取凭据的敏感值。更多信息，请参见 应用程序接入凭据管家。
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
MaxCompute账单用量明细分析
数据分类：Storage（存储）、LowFreqStorage（低频存储）、ColdStorage（长期存储）、SqlLongterm（长期存储访问费）、SqlLowFrequency（低频存储访问费）、ComputationSql（计算）、UploadIn（内网上传）、UploadEx（外网上传）、...
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
离线同步数据质量排查
写端数据一致性排查 数据集成的Writer插件用来将源头读取到的数据写出至数据目标端，每一个目标存储类型都会有对应的Writer插件，Writer插件会根据用户配置的数据写出模式（包括冲突替换策略），使用JDBC或者对应数据源SDK最终将数据提交给...
- 产品推荐
- 这些文档可能帮助您