设置列索引的排序键
遍历完成后，对合并文件按段两两排序，并将排序后的数据保存在临时文件中，随后将合并文件与临时文件进行切换；重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
概述
数据解密 在数据解密过程中，高性能版Spark全密态计算引擎会从应用配置中提取用户主密钥（MEK），再从文件的元数据中提取密钥加密密钥（KEK）以及数据密钥（DEK）。密钥加密密钥（KEK）会使用户主密钥（MEK）进行解密，若用户主密钥（MEK）...
通过外表导入至数仓版
说明 对于CSV格式、Parquet和ORC格式数据文件，数据量越大，通过外表查询的性能损耗越大。如果您需要进一步提升查询效率，建议您按照后续步骤将OSS数据导入 AnalyticDB MySQL版 后再做查询。创建目标表。在目标数据库 adb_demo 中创建一张...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB MySQL版 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB MySQL版 数据的目录。开通OSS服务。详情请参见 开通OSS服务。创建...
功能特性
基于External Volume处理非结构化数据 通过创建External Volume挂载OSS的路径，利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制，同时利用 MaxCompute引擎处理External Volume内部的文件数据。基于External Volume...
数据水印
当您需要在DMS导出的文件上添加水印，或提取外部文件中的水印信息时，您可参考本文档的水印嵌入和水印提取的操作步骤。前提条件 实例已开通敏感数据保护功能。详细信息，请参见 开通敏感数据保护。使用场景 用于数据的散布或分发过程中追溯...
数据缓存
原始数据文件会根据访问的IO大小切分为Block，Block被存储到本地文件 cache_path/hash(filepath).substr(0,3)/hash(filepath)/offset 中，并在BE节点中保存Block的元信息。当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
RDS SQL Server I/O高问题
性能指标 I/O类型 说明 Page_Reads 读 由于未命中缓存，每秒从数据文件中读取的数据页的个数。Page_Write 写 每秒向数据文件中写入的数据页的个数。Log_Bytes_Flushed/sec 写 每秒向日志文件中写入的字节数。Backup_Restore_Throughput/sec...
使用OSS外表高速导入OSS数据
将待导入 AnalyticDB PostgreSQL 的数据均匀分散存储在多个OSS文件中。操作方式，请参见 大文件切分。说明 AnalyticDB PostgreSQL 的每个数据分区（Segment节点）将按轮询方式并行对OSS上的数据文件进行读取，文件的数目建议为数据节点数...
创建并管理电子表格
在 保存文件 对话框中，输入 文件名。单击 确认。查看和管理电子表格 在电子表格的编辑页面，单击左上方的 电子表格 或左侧菜单栏中的 图标，进入电子表格列表页面。在 电子表格 页面的 全部电子表格 区域，您可以查看 我创建的 和 分享给...
编辑脚本
脚本输入/输出配置说明 不同类型的脚本需配置的输入输出不同，如下：只有脚本类型为 创建联邦表、预处理规则 和 预处理应用 的脚本需配置输出数据，且该类型脚本的输出数据保存在联邦表文件夹中。脚本类型 输入配置 输出配置 创建联邦表 ...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
使用AOF文件进行迁移
redis-cli是原生Redis的命令行工具，您可以使用redis-cli将自建Redis中已保存至AOF文件的数据迁移到 云数据库 Redis 版。本方案具有灵活、高效与自动化等特点，可保障数据的一致性与完整性，但本方案不支持实时同步，仅支持迁移离线数据。...
本地运行
wc_in 及 wc_out 表示数据表，您在Jar命令中读写的表文件数据会被下载到这级目录下。文件中的内容表示表的元信息，其文件格式定义如下。project=local_project_name table=local_table_name columns=col1_name:col1_type,col2_name:col2_...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
Tair持久化与备份恢复
持久化策略 云原生内存数据库Tair 支持以下持久化策略：RDB持久化 RDB持久化是指周期性地为引擎中保存的数据创建快照，生成RDB文件，保存到磁盘中，实现数据的持久化。RDB文件占用空间小，便于移动，非常适合用于备份或迁移指定时间点的...
Redis持久化与备份恢复
RDB持久化 RDB持久化是指周期性地为引擎中保存的数据创建快照，生成RDB文件，保存到磁盘中，实现数据的持久化。RDB文件占用空间小，便于移动，非常适合用于备份或迁移指定时间点的数据。开源Redis在生成RDB文件时会可能会带来操作阻塞，...
管理数据
修改已下载的模板文件中的数据域信息并保存。编辑模板文件时，您需要关注以下信息：最多支持三级数据域。一个资产只能属于一个数据域。在 是否删除 列可以设置是否删除数据域或从数据域中移出该资产。在数据域目录节点（即没有资产信息的行...
安全白皮书
数据备份 Tair 支持以下持久化策略（备份方式）：RDB（Redis Database）持久化：Tair 周期性地为引擎中的数据创建快照，生成RDB文件，保存到磁盘中，实现数据持久化。RDB文件占用空间小，便于移动，非常适合用于备份或迁移指定时间点的 ...
安全白皮书
数据备份 云数据库Redis版 支持以下持久化策略（备份方式）：RDB（Redis Database）持久化：Redis周期性地为引擎中的数据创建快照，生成RDB文件，保存到磁盘中，实现数据持久化。RDB文件占用空间小，便于移动，非常适合用于备份或迁移指定...
Linux系统挂载SMB协议文件系统
经典的使用场景及挂载选项配置如下所示：云服务器ECS（Linux）共享访问场景 在多个云服务器ECS（Linux）中需要共享访问文件系统数据，但没有用户权限控制要求，被授权的云服务器ECS（Linux）管理员可以使用如下方法在各个云服务器ECS...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
计费常见问题
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件存储 HDFS 版 服务如何停止计费？如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除...
DescribeDataFlowTasks-查询数据流动任务列表
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
最佳实践
Delta-Lake根据列值自动布局文件中的数据，并在查询时使用布局信息跳过不相关的数据。有关详细信息，请参见 Z-Ordering（多维集群）。选择正确的分区列 您可以按列对Delta表进行分区。最常用的分区列是date。遵循以下两个经验法则来确定要...
逻辑备份恢复至自建数据库
本文介绍如何通过Mongorestore将云数据库MongoDB实例的逻辑备份文件恢复至自建MongoDB数据库中。前提条件 实例存储类型为 SSD本地盘。为保障兼容性，自建MongoDB数据库和云数据库MongoDB实例的数据库版本相同。背景信息 MongoDB提供了一组...
逻辑备份恢复至自建数据库
本文介绍如何通过Mongorestore将云数据库MongoDB实例的逻辑备份文件恢复至自建MongoDB数据库中。前提条件 实例存储类型为 SSD本地盘。为保障兼容性，自建MongoDB数据库和云数据库MongoDB实例的数据库版本相同。背景信息 MongoDB提供了一组...
数据流动概述
数据流动任务报告保存在CPFS文件系统中，占用CPFS文件系统空间，最多可保存100万个。CPFS文件系统不支持与其他区域的OSS Bucket创建数据流动。数据流动对文件系统的限制 在数据流动关联的Fileset中，不可对非空目录执行重命名操作，否则报...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
通过外表导入至数仓版
ORC文件中的数据类型 AnalyticDB MySQL版 3.0中的数据类型 BOOLEAN BOOLEAN BYTE TINYINT SHORT SMALLINT INT INT或INTEGER LONG BIGINT DECIMAL DECIMAL FLOAT FLOAT DOUBLE DOUBLE BINARY STRING VARCHAR VARCHAR STRING JSON（如果已知...
数据恢复方案概览
如果您误释放了RDS MySQL实例、误删除或修改了实例的数据、或有将备份文件恢复到云上或本地的需求等，可参考本文选择合适的MySQL数据恢复方案。场景一：恢复误释放的实例 回收站：进入 回收站，并 选择地域。如果在回收站里找到实例，可以...
SQL结果集导出
数据管理DMS 支持导出SQL结果集，您可以在DMS中按需编写查询的SQL语句，提取并导出相关数据。前提条件 数据库类型如下：数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL ...
敏感数据溯源
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
- 产品推荐
- 这些文档可能帮助您