数据存储生命周期管理
本文介绍存储保存时间迁移策略。生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当...
设置数据冷热存储策略
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
元数据管理
在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-元数据表页面。2.找到想要删除的元数据表，点击右侧的删除按钮，点击确认窗口中的...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
通过缓存优化性能
性能：Delta缓存中存储的数据比Spark缓存中的数据读取和操作速度更快。这是因为Delta缓存使用高效的解压算法，并以最佳格式输出数据，以便使用整个阶段的代码生成进行进一步处理。自动与手动控制：启用Delta缓存时，必须从远程源获取的数据...
什么是OSS-HDFS服务
导出审计日志 冷热分层存储 并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
DBS沙箱费用
沙箱存储费用 沙箱存储费用 开启沙箱功能后，系统会自动将待恢复的数据同步至沙箱存储中，并在沙箱存储中生成多个直接可用的沙箱实例快照，DBS将根据沙箱存储中的数据量收取沙箱存储费用。沙箱存储费用的计费方式与价格如下。沙箱存储费用...
功能发布记录
使用SQL查询时序数据 使用HBR备份与恢复 表格存储 数据公测 通过混合云备份HBR（Hybrid Backup Recovery），您可以定期备份 表格存储 实例中的数据，并在数据丢失或受损时及时恢复。HBR支持全量与增量数据备份，同时支持数据冗余机制，可以...
快速入门
创建入湖模板 创建入湖模板，可以定时或者手动的执行数据抽取任务，将数据源中指定的数据抽取到数据湖。当前入湖模板支持5种数据抽取方式，可以根据数据抽取的场景选择并创建入湖模板。入湖模板需要指定抽取数据的具体位置。指定RAM角色，...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
配置Hive输出组件
加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新数据，无主键时追加数据。字段分隔符 非必填项，填写字段之间分隔符。...
开启智能存储分层
您可以在 Logstore属性 页面，开启智能分层存储功能，将热存储的数据转为低频存储或归档存储。您可以在开启智能存储分层功能后，修改 Logstore属性 页面中的存储层数据保存时间参数，将存储的保存时间延长，实现不同存储层间数据的转换。...
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
概述
使用canal同步 对于中小规模的数据库或者个人开发者，通过canal，您可以将MySQL数据库中的全量数据或者增量数据同步到表格存储的数据表中。canal部署简单，易于运维，适用于中小规模MySQL数据同步。使用Tapdata Cloud 通过Tapdata Cloud的...
迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买存储包，来抵扣OSS中冷数据的存储容量，...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，PolarDB PostgreSQL版（兼容Oracle）将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买...
冷数据存储计费规则（可选）
当您开启了该功能并执行了冷数据归档操作后，PolarDB 企业版将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买存储包，来抵扣OSS中冷...
创建投递任务
taskConfig 投递任务配置，包括如下选项：ossPrefix：OSS Bucket中的目录前缀，将表格存储的数据投递到该OSS Bucket目录中。投递路径中支持引用$yyyy、$MM、$dd、$HH、$mm五种时间变量。当投递路径中引用时间变量时，可以按数据的写入时间...
功能特性
挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据，建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
名词解释
TTL 〇 〇 TTL（Time To Live）用于设置数据的有效期，即数据可以在数据库中存储的时间。在宽表引擎中支持为多级别的对象设置TTL，例如Database、Table等。在时序引擎中仅支持为Database设置TTL。COMPACTION 〇 〇 Compaction（数据压缩）...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
概述
Federated引擎允许您访问远程 PolarDB MySQL版 集群或社区MySQL数据库中的数据，而无需使用复制或集群技术。本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL...
功能特性
通过DataWorks导入数据 通过Kafka导入数据 云数据库 SelectDB 版支持通过Kafka连接器（SelectDB Connector for Apache Kafka）自动订阅和同步Kafka中的数据。本文介绍SelectDB Connector同步数据至云数据库 SelectDB 版的基本原理和使用...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
OSS和NAS之间的数据迁移
如果您需要删除存储在OSS中的数据，请您确认迁移至NAS中的数据无误后，手动删除存储在OSS中的数据。关于Get类请求费用，请参见 OSS请求费用。NAS数据迁移至OSS，迁移过程中会涉及到OSS Put类请求费用。迁移完成后，存储在NAS中的数据不会被...
通过跨库Spark SQL任务将数据同步到OSS
一般通过把业务数据同步到离线库或存储的方式对在线业务进行分析，如果您不需要将分析结果同步回在线库，可以将在线业务的数据同步到专用于数据存储的OSS中进行数据加工，您可以直接在OSS中查看数据加工结果。说明 阿里云对象存储OSS是阿里...
DBS计费概述
仅在DMS中使用 数据归档 时，系统会创建按量付费的备份计划，只按实际备份的数据量进行收费。包年包月 包年包月也称为预付费，即在新建DBS备份计划时支付费用。您需要预先购买对应资源包，DBS会在每个计费周期内按资源使用量扣除资源包额度...
基本概念
冷存储 一种存储介质，可以存储数据库中的冷数据，从而降低存储成本。更多信息，请参见 冷存储介绍。冷热分离 Lindorm宽表引擎实现了数据的冷热分离能力，系统会自动根据用户设置的冷热分界线自动将表中的冷、热数据分类归档到冷、热存储中...
创建数据库
本文将介绍如何在 PolarDB-X 1.0 控制台上根据不同存储类型创建对应的数据库。前提条件 您需要 创建实例 后才能创建数据库。说明 创建实例时所选择的存储类型将决定您在创建数据库时所使用的存储类型，例如您在创建实例时选择的是 RDS ...
通过实时计算订阅数据
依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，在开发作业中引用目标表。通过 INSERT INTO 语句，将实时计算后的源表数据插入目标表中。说明 如果数据格式不匹配，需要进行相应的 ...
按扫描量付费
计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。如果您想通过DLA对OSS和RDS中的数据进行关联分析，根据扫描的数据量，您需要支付的费用为：28+28+28=84 元。针对上述计费示例，您可以...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
管理缓存
持久化数据是指将Alluxio存储中可能被修改过或未被修改过的数据写回UFS。通过将数据写回到UFS，可以保证如果Alluxio发生故障数据还是可恢复的。语法 alluxio fs persist示例：将Alluxio中 tmp 目录持久化到底层文件系统中。alluxio fs ...
产品简介
使用场景 DLA Ganos的最基本的应用场景就是将存储在不同的数据库系统或文件系统中的时空数据，通过ETL操作，实现数据源之间的数据流转与协同分析。如下图所示，用户通过DLA Ganos可以加载OSS上的GeoTiff文件为RDD模型，然后写入Lindorm...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
- 产品推荐
- 这些文档可能帮助您