如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
多表合并
本文介绍多表合并算子的使用方法及注意事项。用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表...勾选去重合并后，节点的输出数据将会过滤重复的记录。去重合并的效果示例参考 对齐字段 中的示意图。
两表并集
本文介绍两表并集算子的使用方法及注意事项。用途 两表并集算子可以将两张数据表按照设置的合并条件求取并集。适用场景 计算链路 计算...勾选去重合并后，节点的输出数据将会过滤重复的记录。去重合并的效果示例参考 合并条件 中的示意图。
2021年
新说明 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为...
过滤器
示例 使用SingleColumnCondition过滤数据 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据name列值过滤数据。def get_row_with_condition(client):#设置要读取行的主键。primary_key=[('uid',1),('gid',101)]#设置...
库表结构优化
说明 数据索引删除后，如果查询再次使用该数据列进行过滤操作，查询时间会变长。操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）页签下，单击目标 ...
设置列索引的排序键
而有序数据块集合则可以通过每个列数据块内存中元数据的最大值和最小值等信息过滤掉第一个列数据块，只需要针对第二个列数据块进行处理即可。SELECT*FROM t WHERE c>=8;说明 增量排序功能目前处于灰度发布阶段，您可以加入HTAP专家群来申请...
SQL 条件过滤数据
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
CREATE TABLE
说明 主键包含的列过多，可能导致：数据写入时，AnalyticDB for MySQL 检查主键是否重复，将消耗更多的CPU和IO资源。主键索引将占用更多的磁盘空间。您可以使用 空间分析 功能，查看主键索引占用的磁盘空间。主键包含的列越多，BUILD任务会...
Hudi概述
针对Merge On Read类型的表，查询时需要在线合并列存中的Base数据和日志中的实时数据；针对Copy On Write表，可以查询最新版本的Parquet数据。Copy On Write和Merge On Read表支持该类型的查询。Incremental Queries 支持增量查询的能力，...
事件仪表盘
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
列过滤
本文为您介绍如何使用数据传输提供的列过滤功能。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后，在 选择同步范围 区域右侧的 目标端对象 列表中，鼠标悬停至目标...
增量迁移源服务器
（可选）步骤一：过滤动态数据目录 为确保迁移更加稳定，建议您在增量迁移前，先排除动态数据目录（如大型数据库的数据目录等），等到业务暂停后再迁移。若无需过滤动态数据目录，可跳过本节步骤。在源服务器系统业务不暂停的情况下，过滤...
数据模型
对Aggregate模型而言，指定的所有Key列数据相同的行，多行数据会进行合并，Value列按照建表时字段定义中设置的AggregationType进行预聚合，最终只保留一行数据。这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
垂直分组柱状图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
基本散点图（v4.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
从PolarDB MySQL版同步至Elasticsearch
Type名称 过滤条件 您可以设置SQL过滤条件，过滤待同步的数据，只有满足过滤条件的数据才会被同步到目标实例，详情请参见 通过SQL条件过滤任务数据。是否分区 选择是否设置分区，如果您选择为 是，您还需要设置 分区列 和 分区数量。设置_...
区域图（v4.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
气泡图（v4.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
从ECS上的自建MySQL同步至Elasticsearch
Type名称 过滤条件 您可以设置SQL过滤条件，过滤待同步的数据，只有满足过滤条件的数据才会被同步到目标实例，详情请参见 通过SQL条件过滤任务数据。是否分区 选择是否设置分区，如果您选择为 是，您还需要设置 分区列 和 分区数量。设置_...
饼图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Array
3.1.1及以后版本的 AnalyticDB MySQL版 集群支持Array、Map数据类型。本文介绍了Array数据类型的定义、注意事项及使用示例。Array类型定义 Array类型，存储数组，可重复，含义类似Java中LIST。Array中数据为相同类型。例如，列A定义 array,...
分析数据
DataWorks的电子表格为您提供丰富、便捷的数据分析操作，其操作与Office Excel高度一致，大大降低您的学习成本。前提条件 已创建并导入数据至电子表格。详情请参见 创建电子表格 和 导入数据至电子表格。背景信息 您可以在电子表格的编辑...
过滤器
正则匹配并转换数据类型后再过滤结果 当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望过滤查询该列的某个子字段值，则可以通过正则表达式匹配并转换子字段值类型后，再使用过滤器来过滤需要的数据。例如列中存储的...
列存索引中TopK算子的实现
使用cutoff value进行过滤是Self-sharpening Input Filter中很重要的过程，涉及数据比较，操作简单重复但非常频繁，因此使用SIMD指令来加速这一过程。由于cutoff value过滤和TableScan中使用Predicate过滤是类似的，因此在具体实现中直接...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
合并行（UNION）
合并行（UNION）算法组件是将两张表的数据按行合并，左表及右表选择输出的字段个数以及类型应保持一致。整合了UNION和UNION ALL的功能。Designer 仅支持通过可视化方式进行数据合并。参数 描述 左表输出列 进行联合操作时，左右表选择的列...
PolarDB MySQL版迁移至Elasticsearch
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务待迁移的表数量超过1000时，建议您拆分待迁移的表，分批配置为多个任务，...
Stream Load
delete 仅在MERGE下有意义，表示数据的删除条件function_column.sequence_col：只适用于UNIQUE_KEYS，相同key列下，保证value列按照source_sequence列进行REPLACE,source_sequence可以是数据源中的列，也可以是表结构中的一列。exec_mem_...
PolarDB-X 2.0同步至MaxCompute
类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置...
饼图
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
时序引擎版本说明
功能优化 修复在PrepareStatement语句中将数据类型为Bigint的Field列作为过滤条件时可能会报错的问题。修复行协议对“\”的兼容性。修复使用lastest函数（最新值函数）查询可能返回非最新值的问题。优化查询性能。Lindorm ML：时序异常检测...
PolarDB-X 2.0同步至Elasticsearch
类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置...
过滤器
示例 使用SingleColumnValueFilter过滤数据 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据Col0列的值过滤数据。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder ...
PolarDB-X 2.0迁移至Elasticsearch
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
Broker Load
从HDFS导入一批数据 file1.txt，指定超时时间和过滤比例，并且将原有数据中与导入数据中 age的列相匹配的行删除，其他行正常导入，示例如下。LOAD LABEL test_db.test_05(MERGE DATA INFILE("hdfs:/hdfs_host:hdfs_port/example/file1.txt...
Tablestore数据源
列模式会将数据导出为（主键值，列名，时间戳，列值）的四元组格式，列模式下导入的数据也是（主键值，列名，时间戳，列值）的四元组格式。行模式：该模式将用户每次更新的记录，抽取成行的形式导出，即（主键值，列值）的格式。行模式下每...
Stream Load
如果原始表的src_c1列对应目标表dst_c1列，原始表的src_c2列对应目标表dst_c2列，原始表的src_c3列对应目标表dst_c3列，则写法为 columns:dst_c1,dst_c2,dst_c3。如果原始表的src_c1列对应目标表dst_c2列，原始表的src_c2列对应目标表dst_c...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
- 产品推荐
- 这些文档可能帮助您