数据可视化工具
DataV可用于展示表格存储数据表或者二级索引表中的数据，一般用于构建复杂的大数据处理分析展现的企业应用系统。对接DataV Grafana Grafana是一款开源的可视化和分析平台，支持Prometheus、Graphite、OpenTSDB、InfluxDB、Elasticsearch、...
如何修改表格存储中已存在的表名称
不支持直接修改表名称。您可以通过新建一个表，然后将当前表中的数据迁移到新表中实现。请使用DataX、通道服务等工具进行数据迁移。具体操作，请参见 将表格存储数据表中数据同步到另一个数据表。
数据集成服务
具体数据源配置如下：源数据源：MaxCompute数据源 目标数据源：Tablestore数据源 同步表格存储数据表中数据到另一个数据表 表格存储数据表数据只支持迁移到表格存储另一个数据表中。迁移过程中会使用到表格存储的Reader脚本配置和Writer...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
将表格存储的增量数据转换为全量数据格式
示例 当 表格存储 数据表的主键为 pk1,pk2 且属性列为 col1,col2,col3 时，则在MaxCompute中创建的增量表Schema为 pk1,pk2,colname,version,colvalue,optype,sequenceinfo，如果要合并增量变更的属性列为 col1,col2,col3，设置参数列表为 2...
功能特性
同城冗余 产品生态 功能集 功能 功能描述 参考文档 数据可视化 DataV DataV可用于展示表格存储数据表或者二级索引表中的数据，一般用于构建复杂的大数据处理分析展现的企业应用系统。对接DataV Grafana Grafana可用于展示表格存储数据表...
二级索引简介
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。覆盖索引 支持索引表中带有属性列。在创建数据表时预先定义一些列（称为预定义列）后，您...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
数据复制
已创建 表格存储 数据表，且目标表的主键列应和需要复制的源表主键列保持一致（包括主键顺序和名称）。具体操作，请参见 通过控制台创建数据表 或 通过SDK创建数据表。已创建 RAM 用户，并授予 RAM 用户管理 表格存储 服务的权限...
对接DataV
注意事项 数据源只能是表格存储数据表或者二级索引表。步骤一：添加表格存储数据源 登录 DataV控制台。在 我的数据 页签，单击 数据源管理。在 数据源管理 页面，单击 添加数据。在 添加数据 对话框，选择 类型 为 TableStore 并配置表格...
数据读取
已创建 表格存储 数据表。具体操作，请参见 通过控制台创建数据表 或 通过SDK创建数据表。已创建 RAM 用户，并授予 RAM 用户管理 表格存储 服务的权限（AliyunOTSFullAccess）。具体操作，请参见 配置RAM用户权限。重要 由于配置时需要填写...
离线批量写入数据
表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的...通过DataWorks、DataX等工具同步其他数据源的数据到表格存储数据表中。更多信息，请参见 数据集成服务。
管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
实例
具体操作，请分别参见 将表格存储数据表中数据同步到另一个数据表 和 将表格存储时序表中数据同步到另一个时序表。不论当前实例规格，使用多元索引时均会产生高性能存储量、预留读吞吐量与按量读吞吐等。更多信息，请参见 多元索引计量计费...
管理离线数据归档
存储数据的归档周期必须小于实例下设备数据的备份周期。归档周期的最小值为 1个月，开启数据备份时，需保证备份周期大于 1个月。备份周期和归档周期中的1个月以30天计算，1年以365天计算。使用限制 仅以下类型的离线数据支持归档存储。存储...
配置冷存储
执行 RELOAD 操作，避免影响冷存储数据转移耗时。search-cli reload_collection-c collection_name 执行以下语句设置目标表的冷存储属性。search-cli modify_collection-c collection_name-s COLD 执行以下语句将目标表的数据迁移至冷存储...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
创建投递任务
如果要表格存储数据表中的数据投递到OSS Bucket中存储，您可以使用CreateDeliveryTask接口创建一个投递任务。重要 请确认已安装支持数据湖投递功能的表格存储Go SDK。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket。具体操作...
批计算
连接全局二级索引 Spark连接到表格存储数据表和全局二级索引后，通过Spark外表查询数据时，系统会根据查询条件中设置的列条件自动选择索引表进行查询。步骤一：在表格存储侧创建数据表或全局二级索引 创建表格存储的数据表。具体操作，请...
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
库表结构优化
冷热数据优化 分析数据表的使用情况，对长期未使用的数据表，建议将其迁移至冷盘存储，以减低数据表存储成本。此类型的优化建议针对数据表级别。迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
创建投递任务
如果要表格存储数据表中的数据投递到OSS Bucket中存储，您可以使用CreateDeliveryTask接口创建一个投递任务。重要 表格存储Java SDK从5.10.3版本开始支持数据湖投递功能，请确保已安装正确的表格存储Java SDK。关于表格存储Java SDK版本的...
Kafka数据接入
具体如下：如果 写入模式 为 put，选择任意一种删除模式，当Value中存在空值时，数据均覆盖写入 表格存储 数据表。如果 写入模式 为 update，选择 none 或 row 删除模式，当Value所有字段值均为空值时，数据作为脏数据处理。当Value部分...
导出全量数据到OSS
宽表模型：导出 表格存储 数据表中的数据到OSS时支持使用向导模式或者脚本模式。时序模型：导出 表格存储 时序表中的数据到OSS时只支持使用脚本模式。准备工作 已开通 OSS 服务并创建存储空间Bucket。具体操作，请参见 开通OSS服务 和 通过...
索引介绍
表引擎 宽表模型通过数据表存储数据。不同的数据分区可以加载到不同的机器上，实现水平扩展。如下图所示。表格存储的宽表模型包含多个主键列，多列主键列按照顺序共同构成一个主键，类似MySQL的联合主键，也可以把多个主键列拼接起来看作...
SQL查询常见错误排查
表格存储数据表是Free-Schema的，允许在同一个属性列中写入多种类型的数据，但是SQL是Strong-Schema的，每个字段必须具有特定的类型定义。使用SQL时，请确保数据表中属性列的数据类型与SQL中属性列的数据类型相匹配。您可以根据报错信息...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
使用SDK
创建投递任务后，表格存储数据表中的数据会自动投递到OSS Bucket中存储。注意事项 目前支持使用数据湖投递功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）和华北3（张家口）。数据湖投递不支持同步删除操作，表格存储中的删除...
将HBase数据同步到表格存储
说明 创建数据表时建议使用HBase原主键或唯一索引作为表格存储数据表的主键。获取AccessKey用来进行签名认证。AccessKey包括AccessKey ID和AccessKey Secret。具体操作，请参见 获取AccessKey。步骤一：下载DataX DataX 是一个异构数据源...
同步增量数据到OSS
宽表模型：导出 表格存储 数据表中的数据到OSS时支持使用向导模式或者脚本模式。时序模型：导出 表格存储 时序表中的数据到OSS时只支持使用脚本模式。使用Tablestore Stream增量同步数据时，要求每次写入Tablestore的数据必须是整行数据。...
时序数据生命周期
数据生命周期 时序模型中的数据包括时间线元数据和时序表数据，分别由时间线元数据表和时间线数据表存储。表格存储分别提供了时间线元数据生命周期和时序表数据生命周期用于管理相应数据。时序表数据生命周期 时序表数据生命周期是时间线...
表设计规范
分区表的分区列级数不能超过6级，即底层存储数据的目录层数不能超过6层。因此应为分区表设置合适的生命周期。当部分数据的生命周期与其它数据不同时，您可以通过细粒度分区实现对部分数据的管理。分区字段定义依据 按优先级高低排序如下：...
概述
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。PolarDB支持的数据冷存模式...
概述
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。PolarDB支持的数据冷存模式...
概述
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。PolarDB支持的数据冷存模式...
创建逻辑模型：明细表
存储策略 明细表存储数据的策略，可以选择 每日增量、每日全量 等多种策略。表名规则 选择已配置的检查器。用于检测表名称是否符合该检查器制定的表命名规则。配置检查器，详情请参见 配置及使用数仓分层检查器。表名 表的内部名称。若配置...
2023年
创建实例 Master资源管理 支持数据存储冷热分层 云原生数据仓库AnalyticDB PostgreSQL版 支持冷热分层存储，可以将数据表存储到OSS中，以降低存储成本。数据存储冷热分层 2023年5月 功能 功能描述 相关文档 向量引擎优化 AnalyticDB ...
实例选型和集群规划
行存储与列存储 云原生数据仓库AnalyticDB PostgreSQL版在表数据存储格式上支持行存储和列存储，二者在不同使用场景下各有优劣势，直接关系到实例的性能和存储空间。用户在创建表时，支持指定数据存储格式，即支持按行组织存储，也支持按列...
X-Engine引擎常见问题
PolarDB（X-Engine）采用分布式存储，数据库的高可用不再需要依赖Binlog复制，间接提高了写入性能。PolarDB MySQL版 5.6/5.7版本是否支持X-Engine引擎？不支持。X-Engine支持事务吗？支持事务。X-Engine支持OnlineDDL吗？支持，执行DDL变更...
- 产品推荐
- 这些文档可能帮助您