构建字典与表格做数据富化
字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。字典构建 直接构建 e_dict_map({"400":"error","200":"ok","*":"other"},"status","message")从任务配置...
方案背景
本文主要为您介绍基于表格存储的海量气象格点数据解决方案的背景及挑战。背景 气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的...
建表概述
一般情况下无需设置Table Group，使用默认Table Group即可，当实例规格较大（大于256 Core时），建议根据业务情况划分不同的Table Group和Shard数，带来更好的性能，使用详情请参见 Table Group与Shard Count操作指南。call set_table_...
使用函数计算
通过函数计算访问表格存储，对表格存储增量数据进行实时计算。背景信息 函数计算（Function Compute，简称FC）是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准备...
创建投递任务
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
创建投递任务
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
计算组Table Group授权管理
本文为您介绍Hologres中查看计算组访问Table Group权限、计算组加载Table Group、设置Table Group的主计算组等计算组Table Group授权相关命令。注意事项 开启计算组实例需要后台配置，如需使用，请您使用 实例升级 或加入Hologres钉钉交流...
数据备份概述
为了防止由于误删、恶意篡改等导致重要数据不可用，您可以使用 表格存储 数据备份功能备份实例中宽表数据，并在数据丢失或受损时及时恢复。背景信息 云备份（Cloud Backup）作为阿里云统一灾备平台，是一种简单易用、敏捷高效、安全可靠的...
使用SDK
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
错误处理
您也可以通过继承RetryPolicy类实现自定义重试策略，在构造OTSClient对象时，将自定义的重试策略作为参数传入。目前SDK中已经实现的重试策略如下。DefaultRetryPolicy：默认重试策略，只会对读操作重试，最大重试次数为20，最大重试间隔为...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
错误处理
您也可以通过继承RetryStrategy类实现自定义重试策略，在构造OTSClient对象时，将自定义的重试策略作为参数传入。目前SDK中已经实现的重试策略如下：DefaultRetryStrategy：默认重试策略，只会对读操作重试，重试间隔时间以10 ms指数增长，...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
为什么使用表格存储过程中会有少量的500错误
当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够检测到这种情况的发生，并将数据分区分裂成两个数据分区P1和P5，并将该两个数据分区调度到负载较低的服务节点上。表格存储使用上述的自动...
快速玩转Tablestore入门与实战
说明 本文中的经典场景都提供相应的实现代码。更多信息，请参见 表格存储Github仓库。基础入门-五分钟入门 如何免费使用一款免运维、无限容量的表存储服务 Tablestore数据模型-WideColumn和Timeline 亿级消息系统的核心存储：Tablestore...
表格存储和HBase的区别
Admin HBase中的接口 org.apache.hadoop.hbase.client.Admin 主要是指管控类的API，而其中大部分API在表格存储中是不需要的。由于表格存储是云服务，运维、管控类的操作都会被自动执行，用户无需关注。其他一些少量接口，目前暂不支持。...
数据复制
本文介绍如何在 开源大数据平台 EMR（E-MapReduce）集群上，使用Spark3将 表格存储 中一张表的数据复制到另一张表中，全程使用SQL语句实现表的创建以及数据的复制操作。前提条件 已创建 EMR 集群。具体操作，请参见 创建EMR集群。重要 创建...
通过Control Policy授权
如果要统一管理企业成员对表格存储服务的访问权限边界，企业管理人员可以通过自定义管控策略限制访问 表格存储 时使用的TLS版本以及限制只能创建非公网访问的 表格存储 实例。前提条件 已完成资源目录的开通，组织结构的搭建以及为企业成员...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
离线批量读取数据
表格存储提供了BulkExport接口用于在大数据场景下批量读取数据表中的数据。数据写入到数据表后，您可以根据指定条件进行数据读取。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。参数 参数 说明...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
数据分层存储
同时也支持表级别的冷热数据分层，可以使用Hologres提供的 CREATE PARTITION TABLE 功能动态的设置分区子表的存储介质。Hologres从 V2.1版本开始支持基于SSD的缓存加速，帮助您提高冷存访问速度，当前仅支持默认分配的缓存空间。缓存加速...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
ALTER TABLE
ALTER TABLE用来对表的信息进行修改。背景信息 目前ALTER TABLE支持的操作包括：添加分区。删除分区。添加列。修改列。注意事项 目前ALTER TABLE的操作只支持OSS表。不支持对 partition key 做修改。不支持修改内表的列类型。如果表中存在...
查询表的描述信息
如果由于数据表的属性列发生变化需要更新映射表相应的属性列，您可以通过 ALTER TABLE 语句实现。更多信息，请参见 更新映射表属性列。如果不再使用某个映射表，您可以使用 DROP MAPPING TABLE 语句删除映射关系。更多信息，请参见 删除...
删除映射关系
如果不再需要使用映射表，您可以通过drop mapping table语句删除映射关系。单次请求支持删除多个映射关系。说明 关于drop mapping table语句的更多信息，请参见 删除映射关系。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient...
表格（Pro版本）
表格Pro版本支持更强大的可视化功能，例如合并多个查询分析结果在同一个表格中展示、针对字段进行个性化设置等。本文介绍表格Pro版本的基本配置。简介 表格作为最常见的数据展示类型，是组织整理数据最基本的手段，通过对数据的整理，达到...
DescribeOtsTableSnapshots-查询表格存储备份详情
查询表格存储备份详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
列出映射表名称列表
} } 返回结果示例如下：response table schema:[Tables_in_$instanceName:STRING]response resultset:test_table response sqlutils resultset:test_table,相关文档 查询到映射表名称列表后，请根据需要执行相应操作。您可以使用 SELECT ...
SQL查询介绍
SQL查询为表格存储的多数据引擎提供统一的访问接口，兼容MySQL的查询语法，适用于在海量数据中进行在线数据访问类型的场景。您可以通过SQL查询功能对表格存储中的数据进行复杂的查询和高效的分析。背景信息 为了满足用户业务平滑迁移到表格...
DROP TABLE
使用说明 Lindorm宽表引擎版本为2.2.16至2.4.1时，需要先手动执行 OFFLINE TABLE，才能执行DROP TABLE。OFFLINE TABLE的用法，请参见 OFFLINE TABLE。Lindorm宽表引擎为2.4.1及以上版本时，无需手动执行 OFFLINE TABLE。DROP TABLE 时，...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
计量计费项
表格存储按实例计费。按量模式的计费项 包括读吞吐量、写吞吐量、数据存储量和外网下行流量四部分。按量模式适用于业务峰谷变化较大，不可预测的场景。如果实际业务中使用了多元索引、二级索引、SQL查询、时序模型、多版本、生命周期管理、...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
使用DataX同步
通过DataX，您可以将MySQL数据库中的全量数据同步到表格存储（Tablestore）的数据表中。DataX只支持同步全量数据，不支持同步增量数据。前提条件 已创建表格存储实例并在实例详情页面获取实例的服务地址（Endpoint）。具体操作，请参见 ...
动态修改schema
如果由于业务变更、性能优化等情况需要在多元索引中新增、更新或者删除索引列以及修改多元索引的路由键和预排序方式，您可以通过动态修改多元索引的schema实现。动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表...
- 产品推荐
- 这些文档可能帮助您