读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
2022年
行转列及列转行最佳实践 2022-03-18 支持开源格式数据 更新说明 补充PARQUET属性：parquet.file.cache.size parquet.io.buffer.size 创建OSS外部表 2022-03-18 复杂类型函数 更新说明 补充GET_JSON_OBJECT、JSON_TUPLE示例。复杂类型函数 ...
时序引擎版本说明
行协议写入时新增约束条件：tag列和field列不能有相同的列名。修复连续查询在开启权限管理后无法正常运行的问题。3.14.12 2022年03月30日 新特性 通过设置不同的TTL支持不同的预降采样。BIGINT类型的列写入DOUBLE类型的数据时支持默认转换...
PolarDB HTAP实时数据分析技术解密
在迭代器进行迭代的过程中，每获取一行数据都会引发多层的函数调用。同时逐行地获取数据会带来过多的 I/O，对缓存也不友好。MySQL采用树形迭代器模型，其受限于存储引擎访问方法，导致其很难对复杂的逻辑计算进行优化。在列存格式下，由于...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
通过LOAD DATA导入至数仓版
out.bak 文件中共有5000行数据，列分隔符为 \t，行分隔符，其中第8行数据存在问题，如下所示。1 bb 2 bb 3 bb 4 bb 5 bb 6 bb 7 bb bb 8 9 bb.连接AnalyticDB for MySQL集群，通过 CREATE DATABASE 和 CREATE TABLE，在 adb_demo 数据库下...
局部事务
使用局部事务写入一行数据 以下示例用于为表的指定分区键创建一个局部事务后，在局部事务内写入一行数据。private static void transactionPutRow(SyncClient client){/设置数据表名称。String tableName=";使用指定分区键值创建一个局部...
条件更新
以下示例用于在数据表中插入一行数据，该行的第一主键列值为“86”，第二主键列值为6771，属性列有name（string类型）和country（string类型）两列。无论此行是否存在均会插入新数据，如果之前行已存在，则写入数据时会覆盖原有数据。put-...
Tablestore Stream数据源
} 行模式导出的数据更接近于原始的行，易于后续处理，但需要注意以下问题：每次导出的行是从用户每次更新的记录中抽取，每一行数据与用户的写入或更新操作一一对应。如果用户存在单独更新某些列的行为，则会出现有一些记录只有被更新的部分...
Insert Into
如果必须这样使用，请将多行数据合并到一个Insert Into语句中进行批量提交，单个批次建议1000~1000000条数据。部分列更新。Insert Into的默认行为是整行写入。在Unique数据模型MOW实现方式中，客户可按需开启部分列更新功能，需要设置如下...
Routine Load
strip_outer_array-H"strip_outer_array:true"当导入数据格式为 JSON 时，strip_outer_array 为 true 表示JSON数据以数组的形式展现，数据中的每一个元素将被视为一行数据。默认为 false。json_root-H"json_root:$.RECORDS"当导入数据格式...
读取数据
读取最新版本数据和指定列 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据和读取指定的列。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder primaryKeyBuilder=...
行级管控
数据管理DMS行级管控可实现所有已接入DMS的非NoSQL数据库类型的统一行级权限管控，可以解决不同人员只允许访问不同数据行的问题。例如，销售经理只能查看本人所负责地域的数据，不能查看全部地域数据。前提条件 实例的管控模式为安全协同。...
宽表模型介绍
表格存储 会根据数据表中每一行分区键的值所属范围自动将一行数据分配到对应的分区和机器上来达到负载均衡的目的。具有相同分区键值的行属于同一个数据分区，一个分区可能包含多个分区键值。表格存储 服务会自动根据特定的规则对分区进行...
Tablestore数据源
行模式下每一行数据对应TableStore表中的一条数据。写入行模式的数据包含主键列列值、普通列列值两部分。Tablestore列由主键列 primaryKey+普通列 column 组成，源端列顺序需要和Tablestore目的端主键列+普通列保持一致，否则会产生列映射...
二级索引简介
说明 表格存储为Schema-free模型，原则上一行数据可以写入任意属性列，无需在SCHEMA中指定属性列。单列索引 只为某一列建立索引。组合索引 多个列组合成索引，组合索引中包含组合索引列1、列2。索引表属性列 被映射到索引表中的预定义列。...
Rowkey设计
无论是列族、属性和行键都会在数据中重复上亿次。列族 尽量使用较小的列族名，最好为一个字符（例如：f）。属性 详细属性名（比如myVeryImportantAttribute）易读，最好还是用短属性名（比如via）保存到HBase。行键长度 让行键短到可读即可...
列存索引常见问题
当原表上包含列存索引时，表数据重建的同时也需要重建列存索引的数据，而列存索引数据重建的过程需要写入Redo log，通常列存索引会覆盖比较多的列，从而列存索引数据重建Redo log与原表数据大小成正比。相比没有列存索引的表重建过程中会...
数据导入常见问题
当前系统会先转换，然后再过滤，因此如果首行字符串转其他数据类型失败的话，会返回 null。所以，该方式要求StarRocks表中的列不能设置为 NOT NULL。在Stream Load执行语句中加入-H"max_filter_ratio:0.01"，可以给导入作业设置一个1%或者...
过滤器
示例 使用SingleColumnValueFilter过滤数据 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据Col0列的值过滤数据。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder ...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
通过控制台使用多元索引
短语匹配查询 类似于匹配查询，但是分词后多个词的位置关系会被考虑，只有分词后的多个词在行数据中以同样的顺序和位置存在时，才表示行数据满足查询条件。如果查询列的分词类型为模糊分词，则使用短语匹配查询可以实现比通配符查询更快的...
COPY
反斜线字符（\）可以被用在 COPY 数据中来引用被用作行或者列定界符的字符。特别地，如果下列字符作为一个列值的一部分出现，它们 必须 被前置一个反斜线：反斜线本身、新行、回车以及当前的定界符字符。COPY TO 会不加任何反斜线返回指定...
HTAP中的行列混存查询优化
多个谓词关联的问题 IMCI中做了 数据列之间有关联性 的假设，计算多个谓词之间的选择率时，采用指数回退算法。即先按照各个谓词的选择率排序，之后按照如下公式计算选择率：该算法在基于现实数据的大部分数据集中能有效地减少估计误差。...
热点行优化
当一个事务对一行数据进行更新时，会对目标数据行加锁，直到事务提交或回滚时才释放。同一时段内，对于同一个数据行，只有一个事务能够进行更新，其它事务需要等待。由此可见，对单一热点行的更新请求其实是串行执行的，传统的分库分表策略...
DQL操作常见问题
如何将一行数据拆分为多行数据？在客户端的odps_config.ini文件中设置use_instance_tunnel=false，instance_tunnel_max_record=10，为什么Select还是能输出很多记录？如何用正则表达式判断字段是否为中文？在执行MaxCompute SQL过程中，报...
使用说明
插入12000行数据，触发commit in middle，前10000行数据已经提交。rollback;回滚只能把最后2000条数据回滚。SELECT COUNT(*)FROM t1;这里仍然能够查询到10000条数据。COUNT(*)|+-+|10000|+-+1 row in set(0.00 sec)假设开启一个需要修改且...
更新或删除数据（UPDATE|DELETE）
例如您通过Python脚本生成并提交了大量行级别更新作业，且每条语句只操作一行或者少量行数据，则每条语句都会产生与SQL扫描输入数据量对应的费用，并使用相应的计算资源，多条语句累加时将明显增加费用成本，降低系统效率。命令示例如下。...
交叉透视表
数据面板 配置字段说明 字段 说明 row1 第一行数据。row2（可选）第二行数据。column1 第一列数据。column2（可选）第二列数据。value1 表格的值说明。配置项说明 配置项 说明 受控模式 打开开关，资产 初始化状态下不请求数据，仅通过回调...
SHOW COLUMNAR STATUS
本文介绍了如何使用 SHOW COLUMNAR STATUS 语句查看当前库下的列存数据量情况。注意事项 实例版本需为 5.4.19-16989811及以上。语法 SHOW COLUMNAR STATUS 示例 SHOW COLUMNAR STATUS;TSO|SCHEMA_NAME|TABLE_NAME|INDEX_NAME|ID|ROWS|CSV_...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
概览
主键 是 单击 添加一行数据 增加主键列，填写完列信息后，单击 保存。需要填写以下列信息：列名称 类型：主键列的数据类型，支持的数据类型请参见 基础数据类型。排序方式：升序（ASC）和降序（DESC）。非主键 是 非主键列，需填写列名称和...
内建函数概述
每一行数据都会对应一个窗口函数的结果值，当前行是指在给哪一行数据计算窗口函数的结果。offset PRECEDING 指从当前行位置，向分区头部位置移动 offset 行的位置。例如 0 PRECEDING 指当前行，1 PRECEDING 指前一行。offset 必须为非负...
UPDATE
UPDATE语句用于更新目标表指定列的行数据。本文为您介绍在Hologres中UPDATE语句的用法。命令介绍 UPDATE命令的语法如下所示。UPDATE[*][[AS]]SET {<column>={<expression>}|([,.])=({<expression>}[,.])}[,.][FROM][WHERE]参数说明如下表所...
可视化图表常见问题
本文汇总了使用Quick BI可视化图表的常见问题。线柱类图表 为什么线图展示的数据比实际数据少？线图中“异常检测”规则是什么？如何将柱图和线图呈现在同一个图表中？柱图中呈现的是当年的数据，如何把去年每月的数据也呈现在该柱图中？柱...
文字标签
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
约束
另一个问题是我们可能需要根据其他列或行来约束一个列中的数据。例如，在一个包含产品信息的表中，对于每个产品编号应该只有一行。到目前为止，SQL允许我们在列和表上定义约束。约束让我们能够根据我们的愿望来控制表中的数据。如果一个...
Tablestore外部表
而且在这些Tablestore行上，也只会更新在创建外部表（ots_table_external）时指定的属性列，而不会修改未在外部表中出现的数据列。说明 将MaxCompute中的数据写入OTS时一次不能超过4MB，否则需要用户剔除掉超大数据再写入。此时可能会产生...
管理数据库资产
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
交叉透视表
数据源面板 字段 说明 row1 第一行数据。row2（可选）第二行数据。column1 第一列数据。column2（可选）第二列数据。value1 表格的值说明。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段...
- 产品推荐
- 这些文档可能帮助您