数据模型
对Aggregate模型而言，指定的所有Key列数据相同的行，多行数据会进行合并，Value列按照建表时字段定义中设置的AggregationType进行预聚合，最终只保留一行数据。这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据...
修改表
利用这些命令，我们可以进行以下操作：增加列 移除列 增加约束 移除约束 修改默认值 修改列数据类型 重命名列 重命名表 增加列 执行以下命令，增加一个列：ALTER TABLE products ADD COLUMN description text;新列将被默认值所填充（如果...
JSON索引
注意事项 JSON索引的列数据类型必须为JSON。一个JSON索引仅能包含一个JSON列。如需对多个列创建JSON索引，可创建多个JSON索引。创建JSON索引 创建JSON索引时，您还需注意以下内容：3.1.5.10及以上内核版本的集群，创建表后不会自动创建JSON...
何时选择虚拟列分区
虚拟列分区可以对表达式进行分区，该表达式可能使用来自其他列的数据，并使用这些列进行计算。虚拟列分区支持所有分区类型。如果查询条件不是某一个列上的原始数据，而是经过计算过的，又不想添加一个单独的列来存储计算过的正确值，可以...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
同步对象的选择粒度可以为库、表、列，您可以根据需要同步某几个表的数据，或者只同步表中的某几列数据。数据同步支持库、表、列名映射，您可以进行不同库名之间的数据或两个不同表名之间的数据同步。注意事项 配置同步链路 过程中，如果...
列存节点发布说明
上线日期：2024-04-18 产品版本：V2.4.0 组件版本：5.4.19 Release date：20240416 类别 ...新增数据列支持MySQL全部类型，主键、排序键和分区键支持常用类型。新增支持简单校验行列数据是否一致。新增支持状态监控、列存数据监控和异常告警。
批量数据合并
本文为您介绍批量数据合并组件。功能说明 批量数据合并组件是将两个输入的数据按照指定的索引进行合并。计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
Quick BI
观察集团商品销售总表中的几列数据，按订单编号分布较随机，因此用订单编号做分区键，用日期做二级分区，由于不再导入数据，在这里选择lifecycle为100。建表语句如下：Create Table `demo_orders`(`商品编号` varchar,`国家` varchar,`日期...
列存索引技术架构介绍
其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行查询框架（Parallel Query）可以在查询数据量到达一定阈值时，自动启动并行执行。在存储层将数据分片到不同的...
冷数据归档语法
name ON tbl_name[algorithm_option|lock_option]通过 MODIFY COLUMN、CHANGE COLUMN 进行列数据类型变更的说明：将支持为null的列修改成not null后，冷数据表中已有的null保持不变。列类型变更会在读取时将写入归档表的列类型直接转换为...
列存索引常见问题
RAW_DATA_SIZE 压缩前的列数据大小。单位：Byte。FILE_SIZE 压缩后的列数据大小。单位：Byte。说明 该参数适用于 PolarDB MySQL版 8.0.1.1.33之前的版本。CMP_DATA_SIZE 压缩后的列数据大小。单位：Byte。说明 该参数适用于 PolarDB ...
OpenSearch数据源
常见问题 列配置错误的处理 为保证写入数据的可靠性，避免多余列数据丢失造成数据质量故障。对于写入多余的列，OpenSearch Writer将报错。例如OpenSearch表字段为a、b、c，如果OpenSearch Writer写入的字段多于3列，OpenSearch Writer将报...
合并行（UNION）
Designer 仅支持通过可视化方式进行数据合并。参数 描述 左表输出列 进行联合操作时，左右表选择的列数需相同，对应列的类型需保证一致。输入左表的where条件 通过where条件实现数据过滤，与SQL类似，例如 age>40。说明 仅支持以下操作符：...
数据归档至RDS MySQL
本文为您介绍将数据归档至 RDS MySQL 的操作步骤。前提条件 支持如下类型的源数据...归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）
数据归档至PolarDB MySQL版
本文为您介绍将数据归档至 PolarDB MySQL版 的操作步骤。前提条件 源数据库为：...归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）
键值表格
图表样式 键值表格是表格组件的一种，支持以键值的形式自定义表格内容，能够将数据信息以表格的形式清晰地展示在可视化应用上，仅支持两列数据的展示，且无法新增列。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
键值表格
图表样式 键值表格是表格组件的一种，支持以键值的形式自定义表格内容，能够将数据信息以表格的形式清晰地展示在可视化应用上，仅支持两列数据的展示，且无法新增列。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 ...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
CREATE TABLE
开启动态列功能 创建宽表时将 DYNAMIC_COLUMNS 参数的值设置为 TRUE 后，支持在表中写入动态列数据。CREATE TABLE sensor(device_id VARCHAR NOT NULL,region VARCHAR NOT NULL,time TIMESTAMP NOT NULL,temperature DOUBLE,humidity ...
数据归档至AnalyticDB MySQL 3.0
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB MySQL版 查询归档数据 具体的查询操作，请参见 导入数据...
Beam排序优化（7.0版）
定义多维排序键 多维排序键为排序键中的每个列赋予相同的权重进行排序，尽量保持每列数据的维度具有邻近性。多维排序键对包含任意排序键列的查询都有一定数据过滤效果。创建带有多维排序键的Beam表，示例如下。CREATE TABLE beam_example_...
创建同步ElasticSearch
例如：DataHub Schema:f1 string,f2 string,f3 string,f4 string 数据:["test1","test2","test3",null]ID属性列 数据id ES自动生成唯一ID f1 test1 f1,f3 test1|test3 ff 创建失败 f4 创建成功，但是同步失败，脏数据 6.Router属性列 用户...
通过日志服务迁移日志数据至MaxCompute
说明 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列（数据列或分区列），不支持字段冗余，同一个字段名第二次使用时其投递的值为null，如果null出现在分区列会导致数据无法被投递。MaxCompute分区列 按顺序左边填写与...
RDS增量数据同步至MaxCompute
每天增量同步的优点是同步的增量数据量较小，但可能出现数据不一致的情况，并且需要通过额外的计算进行数据合并。如果不是必要情况，对持续更新的数据进行每天全量同步即可。如果希望历史数据仅保留一定的时间，自动删除超出保留时间的数据...
数据归档至Lindorm
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
整库离线同步至OSS
列分隔符 将源端每列数据写入OSS时所使用的列分隔符，默认值为（,）。行分隔符 将源端每行数据写入OSS时所使用的行分隔符，默认值为（）。编码 定义文件写入OSS的编码格式。null值 文本文件中无法使用标准字符串定义null（空指针），数据...
同步 OceanBase 数据库的数据至 RocketMQ
注意事项 当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 UPDATE...
云数据库MongoDB版同步至云原生数据仓库AnalyticDB ...
可选：配置列数据的 长度 和 精度。在 赋值 下方的文本框中填写 bson_value()表达式，详情请参见 赋值配置示例。重要 目标表的主键列必须赋值为 bson_value("_id")。单击 下一步高级配置，进行高级参数配置。配置 说明 选择调度该任务的专...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
注意事项 当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致...
云数据库MongoDB版迁移至云原生数据仓库AnalyticDB ...
可选：配置列数据的 长度 和 精度。在 赋值 下方的文本框中填写 bson_value()表达式，详情请参见 赋值配置示例。重要 目标表的主键列必须赋值为 bson_value("_id")。单击 下一步高级配置，进行高级参数配置。配置 说明 选择调度该任务的专...
权限说明
DLF数据权限：主要控制DLF内部资源的访问和使用权限，包括数据库，数据表，数据列，函数，数据目录等。以及数据权限的操作权限。DLF权限校验的示例图：第一层：RAM OpenAPI 权限 主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否可以...
同步 OceanBase 数据库的数据至 Kafka
当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 UPDATE 或 ...
pg_statistic
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
交叉表
交叉表可以显示表中某个字段的汇总值，并对同类数据合并。其中一组列在表的左侧，另一组列在表的上部。行和列的交叉处可以对数据进行多种汇总计算，例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
采集数据
重要 源数据表中只有一列数据，如果有其他映射过来的空列，您需要手动删除。单击工具栏中的 图标，在已有的脚本中手动修改"writeSingleObject":true，并添加"suffix":".txt。说明 writeSingleObject 和 suffix 参数仅支持脚本模式进行添加...
核心特性
一键升级指南 HTAP一体化 PolarDB-X 提供列存索引的形态（Clustered Columnar Index，CCI），行存表默认有主键索引和二级索引，列存索引是一份额外基于列式结构的二级索引（覆盖行存所有列），一张表可以同时具备行存和列存的数据。...
2022年
行转列及列转行最佳实践 2022-03-18 支持开源格式数据 更新说明 补充PARQUET属性：parquet.file.cache.size parquet.io.buffer.size 创建OSS外部表 2022-03-18 复杂类型函数 更新说明 补充GET_JSON_OBJECT、JSON_TUPLE示例。复杂类型函数 ...
项目编辑器页面管理
单击地图右上角的 图标，在弹出的合并对话框中，选择下拉列表中某个数据名称，将两个数据合并成以其中一个数据名称命名的全新数据区域，单击右下角的 OK 即可完成创建合集面数据。完成合集创建后面数据样式 创建面数据交集 在空间地图中，...
- 产品推荐
- 这些文档可能帮助您