迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
IoT数据源
类型分类 物联网平台存储表数据类型 数据集成配置类型 整数类 BIGINT BIGINT 布尔类 BOOLEAN BOOLEAN 日期时间类 TIMESTAMP BIGINT 浮点类 DOUBLE DOUBLE 字符串类 VARCHAR STRING 支持的存储表 数据表 表标识符 描述 产品表 system.iotx_...
数据备份概述
如果已备份的 表格存储 表数据出现误删、恶意篡改等问题，您可以从 云备份 的备份库恢复数据到。具体操作，请参见 恢复Tablestore数据。如果要监控备份计划的执行情况并在备份失败时报警，请为备份计划设置报警方式。具体操作，请参见 为...
时序数据生命周期
数据生命周期 时序模型中的数据包括时间线元数据和时序表数据，分别由时间线元数据表和时间线数据表存储。表格存储分别提供了时间线元数据生命周期和时序表数据生命周期用于管理相应数据。时序表数据生命周期 时序表数据生命周期是时间线...
数据可视化工具
DataV可用于展示表格存储数据表或者二级索引表中的数据，一般用于构建复杂的大数据处理分析展现的企业应用系统。对接DataV Grafana Grafana是一款开源的可视化和分析平台，支持Prometheus、Graphite、OpenTSDB、InfluxDB、Elasticsearch、...
配置冷存储
云原生多模数据库 Lindorm 搜索引擎支持配置表级别的冷存储功能，可以将表数据存储至冷存储介质中，从而降低存储成本。本文介绍搜索引擎配置冷存储的具体操作。前提条件 已下载并安装Search Shell，具体操作请参见 通过Search Shell连接并...
如何实现一键转冷存
如果 reserved_subparts_cnt 大于0，则按照子分区分表建立的时间顺序进行排序，保留时间最近的 reserved_subparts_cnt 个子分区表数据存储位置不变，其余子分区表数据转为OSS存储。polar_alter_subpartition_to_oss_with_indexes 该函数将...
功能特性
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。主键列自增 条件更新 局部事务 原子计数器 ...
实例选型和集群规划
采用MPP并行架构，在节点角色上区分为Master节点和Segment节点，其中Master节点是实例的入口，负责SQL请求、路由分发和结果集处理，Segment节点为计算节点，负责SQL处理和数据存储，每个Segment节点会处理并存储表一个分片的数据，即MPP...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
数据存储量
表格存储对单表数据存储量没有限制，用户可以根据自己的实际需求使用，按量付费。说明 表格存储会异步对各个数据分区过期的数据及超过最大版本号的版本数据进行清理操作，并在清理操作完成后统计该数据分区数据量。清理时长与总数据量相关...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确认已安装支持数据湖投递功能的表格存储Go SDK。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket。具体操作，请参见 开通OSS服务。已通过...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确保已安装支持数据湖投递功能的表格存储Java SDK。关于表格存储Java SDK版本的更多信息，请参见 Java SDK历史迭代版本。前提条件 已开通OSS服务且在表格...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
二级索引计量计费
索引表数据存储量 索引表数据存储量与数据表无区别。索引表的数据量是索引表中所有行的数据量之和，所有行的数据量是所有单行数据的主键和属性列数据量之和。更多信息，请参见 数据存储量。构建索引表的读吞吐量 为数据表创建二级索引时，...
管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
概述
PolarDB支持的数据冷存模式包含以下三种：将整表数据存储在OSS中，索引存储在云盘中，降本后还能有良好的访问性能；只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较...
概述
PolarDB支持的数据冷存模式包含以下三种：将整表数据存储在OSS中，索引存储在云盘中，降本后还能有良好的访问性能；只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较...
索引介绍
表引擎 宽表模型通过数据表存储数据。不同的数据分区可以加载到不同的机器上，实现水平扩展。如下图所示。表格存储的宽表模型包含多个主键列，多列主键列按照顺序共同构成一个主键，类似MySQL的联合主键，也可以把多个主键列拼接起来看作...
实例
具体操作，请分别参见 将表格存储数据表中数据同步到另一个数据表 和 将表格存储时序表中数据同步到另一个时序表。不论当前实例规格，使用多元索引时均会产生高性能存储量、预留读吞吐量与按量读吞吐等。更多信息，请参见 多元索引计量计费...
X-Engine引擎常见问题
X-Engine引擎中的表是基于LSM-Tree的索引组织表，表数据存储在主索引中。主索引LSM-Tree分为3层，大部分数据集中在第1层和第2层，其中第0层是从内存直接转储的数据，不进行数据压缩。因此，查询压缩率的SQL语句中使用 LEVEL in(1,2)来计算...
库表结构优化
冷热数据优化 分析数据表的使用情况，对长期未使用的数据表，建议将其迁移至冷盘存储，以减低数据表存储成本。此类型的优化建议针对数据表级别。迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该...
数仓规划概述
下图以默认的五层数据分层为例，数据分层规划完成后，后续的表数据存储可根据规划分别存储至不同的数据分层中。贴源层：用于数据库、日志、消息等基础源数据的引入。源数据经过一系列ETL操作进入贴源层，该层级只能挂载贴源表。公共层：...
2023年
创建实例 Master资源管理 支持数据存储冷热分层 云原生数据仓库AnalyticDB PostgreSQL版 支持冷热分层存储，可以将数据表存储到OSS中，以降低存储成本。数据存储冷热分层 2023年5月 功能 功能描述 相关文档 向量引擎优化 AnalyticDB ...
数据集成服务
具体数据源配置如下：源数据源：MaxCompute数据源 目标数据源：Tablestore数据源 同步表格存储数据表中数据到另一个数据表 表格存储数据表数据只支持迁移到表格存储另一个数据表中。迁移过程中会使用到表格存储的Reader脚本配置和Writer...
时序分析存储概述
分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果业务压力过大，分析存储会优先保证存储稳定性，同步延迟会略微增加。功能特性 分析存储支持的功能特性说明请参见下表。功能特性 说明 ...
数据湖投递概述
全量数据备份 数据湖投递可以自动将 表格存储 的全表数据投递到OSS Bucket中，作为备份归档数据。大规模实时数据分析 数据湖投递可以实时（每2分钟）投递增量的 表格存储 数据到OSS，投递的数据支持按系统时间分区、Parquet列存格式存储；...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
时序模型
表格存储 的Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
时序模型
表格存储 的Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
如何删除时序数据
时序模型中的数据包括时间线元数据和时序表数据，此外如果为时序表建立了分析存储，则还包括分析存储的数据。如果要删除时间线元数据，则您可以通过配置时间线元数据生命周期或者调用 DeleteTimeseriesMeta 接口进行删除。此操作不会删除...
Bucket Shuffle Join
小于常规Join方式的网络开销，其中Broadcast Join为 3倍的B表数据量，Shuffle Join为 A表数据量+B表数据量 内存开销：B表数据量。小于等于常规Join方式的内存开销，其中Broadcast Join为 3倍的B表数据量，Shuffle Join为 B表数据量。相比于...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据...说明 在DLF页面删除数据表后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。
什么是表格存储
同步表格存储数据表中数据 使用 通道服务、DataWorks或者DataX将 表格存储 数据表中数据同步到另一个数据表中。同步表格存储时序表中数据 使用DataWorks工具将 表格存储 时序表中的全量数据或者增量数据同步到另一个时序表。数据导出 同步...
准备工作
用于访问表格存储服务，将原始数据和聚合结果写入表格存储的数据表中。说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格...
如何查看表的数据存储量
介绍如何查看表的数据存储量。操作步骤 通过控制台在数据表的 基本详情 页签，可以查看表大小，即表的数据存储量。通过控制台在数据表的 监控指标 页签，选择 指标分组 为 表大小，可以查看表大小，即表的数据存储量。
概述
同步方案 说明 使用DataX同步 通过DataX，您可以将MySQL数据库（例如自建MySQL或RDS MySQL）中的全量数据同步到表格存储的数据表中。DataX只支持同步全量数据，不支持同步增量数据。使用DTS同步 通过数据传输服务DTS（Data Transmission ...
功能概述
宽表模型 功能特性 描述 相关文档 表操作 支持列出实例中的全部数据表、创建一张数据表、查询数据表的配置信息、更新数据表的配置信息以及删除一张数据表。表操作 基础数据操作 表格存储 提供了PutRow、GetRow、UpdateRow和DeleteRow的单行...
- 产品推荐
- 这些文档可能帮助您