归档为CSV或ORC格式
示例 将表 t 中的数据以 CSV 或 ORC 格式归档至OSS。在数据库 oss_test 中创建InnoDB表 t。CREATE TABLE t(a int,b int,c int,primary key(a))ENGINE=INNODB;在表 t 中插入数据。INSERT INTO t VALUES(1,2,3);通过 ALTER 命令归档冷数据。...
功能特性
客户端（odpscmd）或Studio DataWorks数据下载 MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成...
数据安全
启用TDE功能后，Lindorm通过密钥层级结构对数据文件进行加密，所有存储在文件系统中的数据都以密文形式存在。详细介绍及使用说明，请参见 开启透明数据加密（内测中）。数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复...
数据接入概述
物联网数据服务的数据解析、数据存储、数据指标等功能都需依赖已接入的数据源。设备数据源 设备数据源包含了设备上报的自定义Topic数据和物模型数据。默认情况下设备数据仅保留30天，通过配置数据源，可对数据进行备份，以便更长时间地存储...
冷数据分层存储计费规则
计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请参见 冷数据分层存储概述。当您开启了该功能并执行了冷数据...
冷数据分层存储计费规则
计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请参见 冷数据分层存储概述。当您开启了该功能并...
冷数据分层存储计费规则
计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请参见 冷数据分层存储概述。当您开启了该功能并...
冷数据存储计费规则（可选）
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
时空栅格
什么是时空栅格 栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题...
文件系统存储类型
如果您需要频繁访问低频存储或归档存储中的数据，则建议您创建数据取回任务，将指定文件或目录中的数据取回至标准存储，避免频繁访问产生读写流量费用。更多信息，请参见 生命周期管理策略。存储类型对比 对比指标 标准存储 低频存储 归档...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
概述
数据同步过程中，数据源中的数据存储在目标数据仓库OSS中，搭建数据仓库过程中不会对数据源端的业务系统产生任何压力。通过DLA控制台配置建仓任务，支持自定义设置定时数据投递。极致的计算能力，充分发挥DLA的计算能力，通过DLA的大内存、...
什么是OSS-HDFS服务
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。冷热分层存储 元数据转换 OSS-HDFS服务支持在未部署任何导入...
生命周期管理FAQ
如果需要频繁访问低频存储中的数据时，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间。执行数据取回任务将读取目标数据，并产生读流量费用。更多信息，请参见 创建数据取回任务。如何创建低频存储文件的数据...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
通过Logstash导入数仓版
AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。本文介绍如何使用Logstash将Kafka数据写入 AnalyticDB MySQL 数仓版（3.0）。Logstash组件介绍 输入-采集各种样式、大小和...
什么是数据安全中心
DSC 可根据预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储）、自建数据库等数据库中的数据，通过敏感数据规则中的命中次数来判断是否属于敏感数据。重要 DSC 仅对数据...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
数据归档至专属存储
专属存储中的数据转存至阿里云对象存储OSS 前提条件 OSS已录入至DMS。录入操作，请参见 录入对象存储OSS。费用说明 在DMS数据归档中进行转存数据操作不收取费用，但OSS会收取一定的存储费用，详细信息，请参见 存储费用。操作步骤 进入 ...
计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
更新分析存储的数据生命周期
如果希望分析存储中的数据永不过期，可以设置为-1。示例 以下示例用于更新test_timeseries_table时序表下名为test_analytical_store分析存储的数据生命周期为30天（即2592000秒）。public void updateAnalyticalStore(TimeseriesClient ...
创建分析存储
如果希望分析存储中的数据永不过期，可以设置为-1。您可以通过UpdateTimeseriesAnalyticalStore接口修改。syncOption 分析存储同步选项。取值范围如下：SYNC_TYPE_FULL表示同步全部数据到分析存储。SYNC_TYPE_INCR表示同步增量数据到分析...
外部数据
说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问。一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些...
创建分析存储
如果希望分析存储中的数据永不过期，可以设置为-1。您可以通过UpdateTimeseriesAnalyticalStore接口修改。syncOption 分析存储同步选项。取值范围如下：SYNC_TYPE_FULL表示同步全部数据到分析存储。SYNC_TYPE_INCR表示同步增量数据到分析...
更新分析存储的数据生命周期
如果希望分析存储中的数据永不过期，可以设置为-1。示例 以下示例用于更新test_timeseries_table时序表下名为test_analytical_store的分析存储配置信息，将数据生命周期更新为30天（即2592000秒）。func UpdateTimeseriesAnalyticalStore...
Lindorm实时入湖建仓分析
存储路径 DLA Lakehouse数据在Lindorm中的存储路径，限定以“/dla“开头。说明 请谨慎规划存储路径，创建后不允许修改。建议选择一个空目录，且不能与之前创建的湖仓目录有互相包含关系，防止历史数据被覆盖。编码 存储数据的编码类型，...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
设置数据冷热存储策略
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
元数据管理
在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-元数据表页面。2.找到想要删除的元数据表，点击右侧的删除按钮，点击确认窗口中的...
添加数据源概述
API类 添加API数据源 您可以在组件配置页面的 数据 面板中选择一种GET或POST任意一种请求方式，并将API地址直接粘贴到 URL 字段中。添加Open API数据源 无。添加阿里云API网关数据源 无。其它 DataV数据代理服务 DataV数据代理服务提供了...
数据存储
索引 索引（Index）是对表（Table）中一列或多列的值进行排序的一种结构，使用索引（Index）可以快速过滤表中的数据，提高数据的查询效率。目前云数据库Doris版主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。自建的二级...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
引擎功能
高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...
发起合并
当 MemTable 的大小超过一定阈值时，就需要将 MemTable 中的数据转存到 SSTable 中以释放内存，我们将这一过程称之为转储。有关转储的详细介绍，请参见 转储。转储会生成新的 SSTable，当转储的次数超过一定阈值时，或者在每天的业务低峰期...
数据合并
当 MemTable 的大小超过一定阈值时，就需要将 MemTable 中的数据转存到 SSTable 中以释放内存，我们将这一过程称之为转储。有关转储的详细介绍，请参见 转储。转储会生成新的 SSTable，当转储的次数超过一定阈值时，或者在每天的业务低峰期...
空间管理
TOP 20 数据表：以表格形式展示空间占用TOP 20的数据库中表信息。详细参数说明如下。参数 说明 表名称 由三个部分组成：数据库名 架构名 对象名 保留大小(MB)表总的占用空间，单位为MB。数据空间(MB)表中数据占用空间（单位为MB）和百分比...
空间管理
TOP 20数据表：以表格形式展示空间占用TOP 20的数据库中表信息。详细参数说明如下。表 5.TOP 20数据表参数说明 参数 说明 表名称 由三个部分组成：数据库名 架构名 对象名 保留大小（MB）表总的占用空间，单位为MB。数据空间（MB）表中数据...
对象命名
与传统文件系统中的层级结构不同，OSS内部使用扁平结构存储数据。即所有数据均以对象（Object）的形式保存在存储空间（Bucket）中。对象（Object）是OSS存储数据的基本单元，也被称为OSS的文件。OSS通过键名（Key）唯一标识存储的Object。...
概述
假设将1.2GB的数据以CSV、TSV或者LOG等格式存储在OSS中，通过DLA将CSV、TSV或者LOG格式转换为其他格式后，数据在OSS中所占用的存储空间如下表所示。存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据...
- 产品推荐
- 这些文档可能帮助您