概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
MySQL存储计算分离实践
背景信息 云上自建数据库通常会选用云盘和ext4文件系统作为MySQL数据库的文件存储。而基于DBFS构建，不但简化了用户基于块存储架构的复杂度，而且面向数据库场景，提供了原子写、在线扩容、关键IO加速等特性。DBFS旨在为用户提供更高的性能...
通用型NAS计费
案例五：性能型NAS+容量型NAS+低频介质 华北2（北京）的张先生有一个性能型文件系统A且开启生命周期管理功能，在2021年1月份每个小时使用文件系统A的存储容量为220 GiB。其中，20 GiB数据为通用性能型存储量，200 GiB数据为低频介质存储量...
监控与日志
容量监控数据 在容量监控页面，选择文件系统类型和目标文件系统ID，查看该文件系统的存储空间使用量、文件数、低频介质读写流量等监控数据。健康状态监控 建议实时了解云资源的健康状态，方便在有任何异常的情况下，您能及时采取相应的处理...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在 文件...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
用户和组映射
如果您是初次使用 文件存储 HDFS 版 文件系统，可使用该API创建组并关联用户。DeleteUserGroupsMapping：删除用户和组的映射关系。ListUserGroupsMappings：查看用户和组的映射关系。使用限制 用户名和组名命名规则：必须以字母或者下划线...
数据缓存
概述 File Cache通过缓存最近访问的远端存储系统（HDFS或对象存储）的数据文件，可加速后续访问相同数据的查询。在频繁访问相同数据的查询场景中，File Cache可以避免重复访问远端数据的开销，提升热点数据的查询分析性能和稳定性。原理 ...
在文件存储 HDFS 版上使用Apache Tez
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作，...
表数据格式
数据文件会按照列式压缩存储，可有效减少存储的数据量，节省成本，也可有效地提升IO读写效率。数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
数据组织优化
Clustering策略的制定主要基于典型的读写业务场景，会周期性地根据数据文件的大小、数量等多个维度进行综合评估，并进行分层次的合并。Level0~Level1阶段主要针对原始写入的DeltaFile（图中蓝色数据文件）进行合并，形成中等大小的...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
阿里云OSS-HDFS服务（JindoFS服务）文件内容校验
通过JindoDistCp从HDFS迁移到OSS-HDFS的文件，可以进行文件内容检验。本文为您介绍文件内容校验的操作步骤。使用限制 仅JindoData 4.6.2及以上版本支持。操作步骤 计算输出通过JindoDistCp迁移的目标目录和源目录的文件checksum，命令格式...
上传数据
三维数据资源上传 在 方法三：三维数据资源上传 下方的输入框中，输入三维瓦片数据文件的三维数据资源链接地址（目前仅支持iServer发布的S3M缓存切片地址），单击对话框右下方 上传 即可上传一个三维瓦片数据文件。添加完成数据文件后，在...
上传数据
三维数据资源上传 在 方法三：三维数据资源上传 下方的输入框中，输入三维瓦片数据文件的三维数据资源链接地址（目前仅支持iServer发布的S3M缓存切片地址），单击对话框右下方 上传 即可上传一个三维瓦片数据文件。添加完成数据文件后，在...
数据湖生态接入
HDFS服务中的数据 Presto Presto使用JindoSDK查询OSS-HDFS服务中的数据 Spark Spark使用JindoSDK查询OSS-HDFS服务中的数据 Thanos 使用Thanos访问OSS 阿里云生态 DataLakeAnalytics DataLakeAnalytics+OSS：基于OSS的Severless的交互式查询...
使用在线迁移服务迁移数据
阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标...
数据存储量
表格存储对实例的数据总量按小时计费。表格存储以固定的时间间隔统计数据总量，然后计算每小时数据总量的平均值。如下图所示，表格存储中实例的数据总量是所有表的数据量之和，表的数据量是表...存储量统计周期与系统合并数据文件的周期一致。
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
删除文件系统
本文主要说明阿里云数据库文件存储服务删除功能。进入“数据库文件存储控制台”->“数据库文件系统列表”。单击“更多”按钮，单击“删除”，弹出“删除数据库文件系统”窗口。单击“我已知晓风险，确认删除”按钮后，提交删除申请。
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）下表是 文件存储HDFS（DFS）定义的资源，这些资源可以在RAM权限策略语句的 Resource 元素中使用，用来授予对该资源执行具体操作的权限。其中，资源ARN是资源在...
在线扩容
本文主要说明阿里云数据库文件存储服务DBFS的在线扩容功能。进入“数据库文件存储控制台”-》“数据库文件系统列表”。单击“扩容”按钮，弹出“在线扩容数据库文件系统”窗口。填写“扩容后容量”，单击“开始扩容”按钮后提交扩容申请。
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
使用E-Mapreduce访问
E-MapReduce HDFS文件系统上的数据，需要使用数据迁移工具hadoop distcp进行数据迁移，详情请参见 从自建HDFS迁移数据。执行下面的指令将E-MapReduce HDFS全部数据迁移到文件引擎，实例ID为文件引擎的实例ID，根据实际情况修改。hadoop ...
服务协议
自2021年1月31日起，新版数据库文件存储（DBFS）服务条款生效。请参考《阿里云数据库文件存储服务协议》。
配置HDFS输出组件
HDFS输出组件用于向HDFS数据源写入数据。同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
CreateDataFlowTask-创建数据流动任务
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和HDFS的矢量数据。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/path_to/file 其中Endpoint可以被省略，系统会自动寻找相应的Endpoint。如果Endpoint被省略...
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和HDFS的矢量数据。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/path_to/file 其中Endpoint可以被省略，系统会自动寻找相应的Endpoint。如果Endpoint被省略...
MaxCompute近实时增全量一体化架构介绍
说明 该操作对每个数据桶内的全部信息进行深度整合，彻底消除所有历史状态，同时生成全新的Aliorc列式存储文件，因此，此类操作不仅会产生额外的执行开销，还会增加新生成文件的存储成本，建议仅在必要时实施。数据写入 分钟级近实时Upsert...
文件存储 HDFS 版支持Python SDK吗？
文件存储 HDFS 版 提供两种SDK，分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK，文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言，请参见 OpenAPI。
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和HDFS的矢量数据。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/path_to/file 说明 各参数解释如下：access_id 和 secrect_key 分别为OSS访问的AccessKey...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
OSS和NAS之间的数据迁移
本文介绍如何通过ossutil工具或在线迁移服务实现阿里云对象存储OSS和文件存储NAS之间的数据双向迁移。费用说明 使用ossutil工具迁移 ossutil工具本身不收取费用，但是由于迁移数据时涉及到API请求，所以会产生一定的API请求费用。OSS数据...
性能优化最佳实践
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...
表设计规范
普通字段可以被理解为数据文件的数据，而分区字段可以被理解为文件系统的目录。表的存储空间主要是普通字段占用的空间。设置分区字段时，您可以从数据管理和数据扫描方面考虑，来选择对应的字段。不具备规律、类型数量大于10000且不经常...
云盘备份数据导入至AnalyticDB MySQL版
delimiter 定义CSV数据文件的列分隔符。例如您可以将列分隔符设置为英文逗号（,）。format 数据文件的格式。创建Parquet格式文件的外表时需设置为 parquet。创建ORC格式文件的外表时需设置为 orc。说明 不指定format时，默认格式为CSV。...
- 产品推荐
- 这些文档可能帮助您