使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
局部事务
局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953（表格存储技术交流群-2）进行咨询。使用局部事务可以指定某个分区键值内的...
写入时序数据
表格存储 提供了PutTimeseriesData接口用于批量写入时序数据。时序数据由时间线元数据和时序表数据组成。如果未预先新建时间线元数据，当写入时序数据时，系统会自动提取该时间线的元数据信息并自动构建索引。说明 在表格存储的时序模型中...
错误处理
表格存储Go SDK目前采用“异常”的方式处理错误。本文介绍了表格存储错误处理方式、异常处理信息和出错时的重试策略。方式 表格存储Go SDK目前采用“异常”的方式处理错误，如果调用接口没有抛出异常，则说明操作成功，否则失败。说明 批量...
通过SDK使用时序模型
如果使用过程中遇到问题，请通过钉钉加入用户群11789671（表格存储技术交流群）或23307953（表格存储技术交流群-2）联系我们。接口 接口 描述 CreateTimeseriesTable 创建一张时序表。ListTimeseriesTable 获取当前实例下的时序表列表。...
将HBase数据同步到表格存储
使用DataX将HBase数据库中的全量数据同步到表格存储（Tablestore）中。准备工作 开通表格存储服务，并创建实例和数据表。具体操作，请参见 通过控制台使用宽表模型 或者 通过命令行工具使用宽表模型。说明 创建数据表时建议使用HBase原主键...
通道服务
通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。创建...
使用Kafka（离线与实时）
CREATE TABLE IF NOT EXISTS table_flatten(topic STRING,`partition` BIGINT,`offset` BIGINT,A BIGINT,B STRING,C JSON)PARTITIONED BY(pt STRING);配置并启动Kafka-connector服务 以Linux环境为例，在命令窗口执行以下命令或 下载链接，...
Table Group设置最佳实践
本文为您介绍Hologres中Table Group和Shard Count选定的基本原则、适用场景、设置策略以及常见问题，以助您获取更优的查询性能。实例规格推荐 在实践过程中存在数据量可预估，最适宜的Shard数区间应该设置为多少的问题，由于最适宜Shard数...
基本概念
当您的作品或者图表需要新增一个菜单实现自定义的功能时，您可以使用自定义菜单。本文为您介绍 Quick BI 自定义菜单的基础概念。1.自定义菜单 在 Quick BI 中,自定义菜单(CustomMenu)是一个包含了 bootstrap，mount，unmount，update 属性...
数据加密
为了保证表数据安全，表格存储 提供了数据落盘加密功能。您可以在创建数据表时配置数据表加密。背景信息 创建数据表时默认不加密，如果要配置数据表加密，需要在创建数据表时配置加密相关参数。表格存储 提供基于密钥管理服务（Key ...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
读取数据
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
局部事务
局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953（表格存储技术交流群-2）进行咨询。使用局部事务可以指定某个分区键值内的...
同步数据到时序表
已开通表格存储服务，创建实例以及创建时序表。具体操作，请参见 使用流程。说明 您也可以通过Tablestore Sink Connector自动创建目标时序表，此时需要配置auto.create为true。已获取AccessKey。具体操作，请参见 获取AccessKey。背景信息 ...
离线批量写入数据
表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表。具体操作，请...
同步数据到数据表
and some settings may differ from those used in a production system,especially#the `bootstrap.servers` and those specifying replication factors.#A list of host/port pairs to use for establishing the initial connection to ...
电子围栏
您可以基于Lindorm Ganos时空服务与Lindorm流引擎轻松实现电子围栏方案。背景信息 在车辆管理场景中，车辆电子围栏可以用于监控车辆的行驶范围、判断车辆是否偏离预定路线等，帮助管理人员更好地进行车辆调度和管理。通常管理人员会预先...
通过Kafka写入数据
创建Topic./kafka-topics.sh-bootstrap-server地址>-topic log_topic-create#写入数据./kafka-console-producer.sh-bootstrap-server地址>-topic log_topic {"loglevel":"INFO","thread":"thread-1","class":"com.alibaba.stream.test",...
通过控制台使用二级索引
常见问题 如何选择二级索引和多元索引 如何使用预定义列 创建二级索引时报错Don't support allow update operation on table with index and ttl 读取二级索引时报错OTSErrorMsg:Disallow read index table in building base state 相关...
创建数据表
表格存储会按照主键的大小为行排序，具体请参见 表格存储数据模型和查询操作。第一列主键作为分区键。分区键相同的数据会存放在同一个分区内，所以相同分区键下的数据尽量不要超过10 GB，否则会导致单分区过大，无法分裂。另外，数据的读/...
查询时序数据
表格存储提供了GetTimeseriesData接口用于查询某一时间线在指定时间段时序数据。查询时序数据时，如果不确定要查询时间线信息（例如度量名称、数据源信息），您可以先根据指定条件检索到时间线后再进行查询。功能概述 调用 ...
导出全量数据到MaxCompute
如果需要使用MaxCompute备份 表格存储 数据或者迁移 表格存储 数据到MaxCompute中使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到MaxCompute后，您可以使用DataWorks数据分析功能查看...
管理Kafka JSON Catalog
CREATE TABLE IF NOT EXISTS `some_catalog`.`some_database`.`some_table1` AS TABLE `kafka-catalog`.`kafka`.`topic1`/*+OPTIONS('scan.startup.mode'='earliest-offset')*/;CREATE TABLE IF NOT EXISTS `some_catalog`.`some_database`...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
使用Tapdata Cloud导入MySQL数据
通过Tapdata Cloud的可视化界面，您可以将自建MySQL、阿里云RDS MySQL、第三方云数据库的数据实时同步到表格存储。前提条件 使用Tapdata Cloud同步MySQL数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
盲区会车
技术实现 盲区会车涉及到地理围栏数据（盲区）、车辆实时位置数据以及最终的计算结果数据。地理围栏数据变化频率不大，可将其存储于Lindorm宽表引擎中。在计算过程中，流引擎会从宽表引擎中读取这些数据。车辆位置信息会实时上传，采用...
区域统计
您可以通过Ganos时空服务预先设定地理围栏，并根据业务需求灵活使用时空函数，结合Lindorm流引擎的实时计算能力，实现基于地理围栏的实时区域统计功能。背景信息 在很多基于时空位置的场景中，都有根据地理区域范围进行聚合查询的需求，...
写入数据
表格存储 提供了单行插入、单行更新和批量写入的写入方式用于写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。在高并发应用中写入数据时，您可以配置行存在性条件或者列条件实现按照指定条件更新数据...
条件更新
} } 计费说明 表格存储 包括预留模式和按量模式两种计费模式。使用不同的计费模式时，计算部分的计费方式不同。计费模式 计算部分的计费说明 预留模式 以包年包月方式预先购买计算能力。计算能力中涵盖使用条件更新的计算消耗。按量模式 ...
Create FJOB
FJOB（Flink Job，简称FJOB），用户可以在一个FJOB中通过Flink SQL语法实现业务的流计算处理逻辑（过滤、转换、增强、聚合），并将计算结果写入到Lindorm中。本文介绍通过Create FJOB语法在Lindorm流引擎中提交任务。语法 CREATE FJOB fjob...
数仓场景：增量数据实时统计
cd$KAFKA_HOME kafka-topics.sh-create-topic ods_order-replication-factor 1-partitions 1-bootstrap-server"192.168.*.*:9092,192.168.*.*:9092,192.168.*.*:9092"kafka-topics.sh-create-topic ods_customers-replication-factor 1-...
通过SDK使用多元索引
如何查看表的总行数 表格存储是否支持类似关系数据库的in和between.and查询 如何将多元索引Search接口查询数据的limit提高到1000 如何批量删除数据 使用多元索引时出现field:xx must enable enable_sort_and_agg异常 相关文档 您还可以通过...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
使用Hologres实现分页
分页决策树 分页SQL命令语法如下。SELECT.FROM.ORDER BY key LIMIT N OFFSET S SQL实现原理：对于扫描出来的记录，按照 key 排序，取 TOP N+S 条记录（通过部分排序 PARTIAL SORT 实现），然后丢弃前S条记录，返回剩下的N条记录。在分页...
SQL查询
CREATE TABLE table_name(`_m_name` VARCHAR(1024),`_data_source` VARCHAR(1024),`_tags` VARCHAR(1024),`_time` BIGINT(20),`column_name ` data_type,.`user_column_namen ` data_type,PRIMARY KEY(`_m_name`,`_data_source`,`_tags`,`_...
数仓场景：增量数据实时统计
kafka-topics.sh-create-topic ods_order-replication-factor 1-partitions 1-bootstrap-server"192.168.*.*:9092,192.168.*.*:9092,192.168.*.*:9092"kafka-topics.sh-create-topic ods_customers-replication-factor 1-partitions 1-...
- 产品推荐
- 这些文档可能帮助您