迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
概述
使用canal同步 对于中小规模的数据库或者个人开发者，通过canal，您可以将MySQL数据库中的全量数据或者增量数据同步到表格存储的数据表中。canal部署简单，易于运维，适用于中小规模MySQL数据同步。使用Tapdata Cloud 通过Tapdata Cloud的...
数据类型
表格存储的Integer类型是一个64位的有符号整型，此数据类型在JavaScript中没有相应的数据类型可以对应，所以在Node.js中需要一个能表示64位有符号整型的数据类型，您可以对表格存储的Integer类型做如下转换。var numberA=TableStore.Long....
方案实现
步骤四：读取数据 数据读取包括如下两种方式：主键读取 通过getRow,getRange,batchGetRow等接口基于原生表格存储的主键列读取数据。主键读取用于索引（自动）反查，您也可以提供主键（文件编号md5）的单条查询的页面，亿量级下查询速度保持...
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
存储格式
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的 I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
表存储格式定义
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
外部表概述
现阶段MaxCompute SQL处理的主要是以 cfile 列格式存储在内部MaxCompute表格中的结构化数据。对于MaxCompute表外的各种用户数据（包括文本以及各种非结构化的数据），您需要通过不同工具导入MaxCompute表再进行计算。以OSS为例，如果您需要...
如何保留相同主键的多个版本数据
通过表格存储的数据多版本功能可以实现保留相同主键的多个版本数据。说明 关于数据多版本的更多信息，请参见 数据版本和生命周期。注意事项 使用数据多版本功能时，请注意如下事项：当前表格存储未限制最大版本数。但是出于性能与易用性...
使用教程
说明 表格存储的列名支持空白字符，所以空白也会被认为是表中列名的一部分。TBLPROPERTIES 表的属性配置。包括如下选项：tablestore.endpoint（必选）：访问表格存储的服务地址，您可以在表格存储控制台上查看实例的Endpoint信息。关于服务...
二级索引简介
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。覆盖索引 支持索引表中带有属性列。在创建数据表时预先定义一些列（称为预定义列）后，您...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
列存索引技术架构介绍
其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行查询框架（Parallel Query）可以在查询数据量到达一定阈值时，自动启动并行执行。在存储层将数据分片到不同的...
数据备份概述
为了防止由于误删、恶意篡改等导致重要数据不可用，您可以使用 表格存储 数据备份功能备份实例中宽表数据，并在数据丢失或受损时及时恢复。背景信息 云备份（Cloud Backup）作为阿里云统一灾备平台，是一种简单易用、敏捷高效、安全可靠的...
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。示例 创建数据表（不带索引）创建一个含有2个主键列，预留读/写吞吐量为(0,0)的数据表。...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。示例 创建数据表时不带索引 以下示例用于创建一个有2个主键列的数据表。该数据表中的数据...
什么是预留读写吞吐量
预留读吞吐量和预留写吞吐量的计量单位为读服务能力单元（读CU）和写服务能力单元（写CU），当通过表格存储的API对数据表进行读写操作时均会消耗对应的写服务能力单元和读服务能力单元。表格存储对高性能实例中所有数据表的预留读吞吐量...
背景
为什么需要表设计最佳实践 表设计最佳实践可以帮助您在快速上手表格存储的同时，将表格存储的强大性能发挥到最优状态。需要根据最佳实践进行表设计的原因如下：数据规模大，应对海量数据仍需在数据库功能或者表设计上做一些取舍。分布式...
方案设计
本章节主要为您介绍基于表格存储的海量气象格点数据解决方案的模型及方案设计。标准化格点数据模型 一个规整的五维网格数据为一个网格的数据集（GridDataSet），按照维度顺序五维分别为：维度 说明 variable 变量，例如各种物理量 time ...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。indexUpdateMode：索引更新模式。可选值包括IUM_ASYNC_INDEX和IUM_SYNC_INDEX。当不设置...
数据操作
通过命令行工具您可以在时序表中写入时序数据、导入时序数据、查询时序数据、检索时间线、扫描时间线以及更新时间线。写入时序数据 写入时序数据到时序表中。命令格式 putts-k '["measurement_name","data_source",["tagKey1=tagValue1",...
概述
增量数据同步到MaxCompute后，您可以在MaxCompute中使用merge_udf.jar包将表格存储的增量数据转换为全量数据格式。具体操作，请参见 将表格存储的增量数据转换为全量数据格式。准备工作 已确认和记录表格存储中要同步到MaxCompute的实例和...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
创建二级索引
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。include_base_data 索引表中是否包含数据表中已存在的数据。当设置include_base_data为...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。indexUpdateMode：索引更新模式。可选值包括IUM_ASYNC_INDEX和IUM_SYNC_INDEX。当不设置...
创建二级索引
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。IncludeBaseData 索引表中是否包含数据表中已存在的数据。当设置IncludeBaseData为true时...
创建投递任务
taskConfig 投递任务配置，包括如下选项：ossPrefix：OSS Bucket中的目录前缀，将表格存储的数据投递到该OSS Bucket目录中。投递路径中支持引用$yyyy、$MM、$dd、$HH、$mm五种时间变量。当投递路径中引用时间变量时，可以按数据的写入时间...
创建二级索引
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。indexUpdateMode：索引更新模式。可选值包括IUM_ASYNC_INDEX和IUM_SYNC_INDEX。当不设置...
创建二级索引
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。indexUpdateMode：索引更新模式。可选值包括IUM_ASYNC_INDEX和IUM_SYNC_INDEX。当不设置...
创建投递任务
TaskConfig 投递任务配置，包括如下选项：OssPrefix：OSS Bucket中的目录前缀，将表格存储的数据投递到该OSS Bucket目录中。投递路径中支持引用$yyyy、$MM、$dd、$HH、$mm五种时间变量。当投递路径中引用时间变量时，可以按数据的写入时间...
创建二级索引
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。include_base_data 索引表中是否包含数据表中已存在的数据，默认值为false。当设置include...
使用表格存储过程中返回503错误码
问题原因 表格存储使用共享存储的机制，以数据分区为逻辑单位，因此在负载均衡的过程中不会有实际数据的迁移，只是数据表元信息的变更。在元信息变更的过程中，为了保证数据的一致性，涉及到的数据分区会有短暂的不可用时间，正常情况下...
使用SDK
eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区，配置项包括时间列名和时间格式。其中时间格式（EventTimeFormat）的取值范围为RFC822、RFC850、RFC1123、RFC3339和Unix，请根据实际时间格式进行配置。如果不设置此参数...
环境准备
使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。安装JDK-7+下载并安装JDK-7+安装包。Linux/macOS系统：使用系统自带的包...
宽表模型介绍
当一个属性列数据的版本个数超过Max Versions时，表格存储会异步删除较早版本的数据。模型特性 宽表模型是Schema-free的，创建一张数据表只需要定义1~4个主键结构，无需定义属性列结构。在写入数据时添加任意多个属性列即可。主键列表中...
SQL查询计量计费
SQL查询功能为多数据引擎提供统一的访问接口。...数据表和索引配合使用 查询条件中的列为非主键列，如果数据表的索引中包含了查询条件中的列，则表格存储会自动选择索引来查询对应order_id。消耗的读吞吐量为1行*1 KB/4 KB，向上取整为1 CU。
表格存储建表注意事项
以为供应商提供服务为例，您有了一套基于表格存储的解决方案后，每加一个供应商就部署一组表格存储的表。这样，表的个数很快达到上限。如果您不断提高表个数的上限，会造成运维成本的不可控，也增加了后续全局数据分析的难度。建议在使用...
Tablestore HBase Client 支持的功能
Put 功能 支持情况 一次写入多列数据 支持 指定一个时间戳 支持 如果不写时间戳，默认用系统时间 支持 单行 ACL 不支持 ttl 不支持 Cell Visibility 不支持 tag 不支持 Get 表格存储保证数据的强一致性，在数据写入 API 收到 HTTP 200 状态...
- 产品推荐
- 这些文档可能帮助您