过滤配置
PAI-REC 引擎已经内置了多个过滤模板，包括曝光过滤、状态过滤、数量调整过滤等。如何配置 过滤的配置对应配置总览中的 FilterConfs，FilterConfs 是一个[]object 结构，可以定义多个过滤策略。过滤公共配置一览 每种召回配置，都会用到...
质量规则参数配置
校验表数据过滤：默认关闭，开启后可配置校验表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中；如校验表有分区过滤需求，建议在调度配置中配置分区表达式，配置后会以校验分区为最小查看粒度查看质量报告。填写...
质量规则参数配置
校验表数据过滤：默认关闭，开启后可配置校验表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中；如校验表有分区过滤需求，建议在调度配置中配置分区表达式，配置后会以校验分区为最小查看粒度查看质量报告。填写...
MaxCompute SQL中的关联操作
当您编写MaxCompute的SQL语句，需要同时执行关联（JOIN）操作和对数据过滤时，您需要特别关注对于不同的JOIN类型，过滤条件所在位置不同，因为计算顺序的差异可能会导致查询结果不同。本文以一个具体示例介绍不同JOIN操作的过滤条件在不同...
分区裁剪
如果没有分区裁剪，分区大表和小表的JOIN可以简化为下图：当JOIN KEY为分区键，那么分区表中的所有分区都需要被扫描，然后和小表进行JOIN。而动态分区裁剪会先扫描小表，生成一个分区过滤器，并传给大表的Scan算子，这样只有一部分分区被...
镜像检测修复建议（Windows）
配置驱动可安装 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services注册表树记录着系统中的所有服务，其中一些服务可以控制驱动是否允许被安装，如果设置了不允许安装，用该镜像创建的实例将无法更新驱动。因此需要修改镜像的注册表...
镜像检测修复建议（Windows）
配置驱动可安装 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services 注册表树记录着系统中的所有服务，其中一些服务可以控制驱动是否允许被安装，如果设置了不允许安装，用该镜像创建的实例将无法更新驱动。因此需要修改镜像的注册表...
消息过滤
服务端：消费者获取消息时会触发服务端的动态过滤计算，云消息队列 RocketMQ 版 服务端根据消费者上报的过滤条件的表达式进行匹配，并将符合条件的消息投递给消费者。消息过滤分类 云消息队列 RocketMQ 版 支持Tag标签过滤和SQL属性过滤，...
Hive数据按行过滤
已创建按行过滤的表。操作步骤 说明 本文Ranger截图以2.1.0版本为例，其余版本请以实际界面为准。Hive组件配置Ranger，详情请参见文档 配置Hive集成Ranger。在Ranger页面，单击 emr-hive。配置Row Level Filter Policy。单击上方的 Row ...
生成代码精简版和完整版配置
enableSchema:false#(LikeTable)模糊表匹配(sql 过滤)likeTable 与 notLikeTable 只能配置一项 likeTable:#(LikeTable)模糊表排除(sql 过滤)likeTable 与 notLikeTable 只能配置一项 notLikeTable:#(String.)配置需要生成的表 include 与 ...
新建事实逻辑表
当前逻辑表没有主键，只能设置一个来源。若来源是多个表，请使用自定义SQL预先完成多表的关联。参数 描述 来源类型 支持 物理表、自定义SQL、逻辑表 三种来源类型。来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个...
新建事实逻辑表
当前逻辑表没有主键，只能设置一个来源。若来源是多个表，请使用自定义SQL预先完成多表的关联。参数 描述 来源类型 支持 物理表、自定义SQL、逻辑表 三种来源类型。来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个...
插入或覆写动态分区数据（DYNAMIC PARTITION）
如果目标表只有一级动态分区，则 select 子句的最后一个字段值即为目标表的动态分区值。源表 select 的值和输出分区的值的关系是由字段顺序决定，并不是由列名称决定的。当源表的字段与目标表字段顺序不一致时，建议您按照目标表顺序在 ...
动态过滤器（Dynamic Filter）
动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）从上图可知，在原始的执行计划中不存在过滤器，过滤器是由系统根据JOIN的特性自动产生的，它的作用就是判断B表中的元素是否存在于A表生成的集合中，如不存在，则过滤掉。...
动态过滤器（Dynamic Filter）
动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）从上图可知，在原始的执行计划中不存在过滤器，过滤器是由系统根据JOIN的特性自动产生的，它的作用就是判断B表中的元素是否存在于A表生成的集合中，如不存在，则过滤掉。...
优化器（Analyze）
数据过滤：当小表的ndv比大表小很多时，说明执行JOIN操作后，大表的数据会被大量过滤。优化器可以根据这些判断给出相关优化决策。场景2：JOIN排序。基于估算的输出记录数，优化器还可以自动调整JOIN顺序。例如把会有数据过滤的JOIN操作往...
常见问题以及改进措施
建议将过滤效果更好的表放在Join Sequence之前，可以更早更快的过滤掉不需要的数据。分布式Aggregation AnalyticDB MySQL版 提供分布式聚合计算能力，可以根据计算数据量分步做聚合计算。一般情况下，AnalyticDB MySQL版 的优化器可以选择...
配置转换组件
单击画布区域的 表记录过滤-1，根据页面信息配置转换组件。在 转换名称 右侧，输入转换名称。说明 建议配置具有业务意义的名称（无唯一性要求），便于后续识别。在 where条件 区域，您可以选择以下任意一种方法配置where条件。直接输入需要...
常见问题
是的，没有维度无法设置联动，但是在过滤器中随便放一个维度，就可以设置。仪表板可以创建事件吗？例如单击A图表，B图表也作出响应。可以。请参见 钻取。支持实现3级联动吗？不支持。跳转设置与展示，设置全局参数在哪里操作？仅在群空间下...
通用标题
案例演示 本案例通过Tab列表的轮播功能实现通用标题的动态展示。登录 DataV控制台。选择任一可视化应用，单击编辑，进入画布编辑器页面。添加 Tab列表 和 通用标题 两个组件到画布中。单击Tab列表，选择配置面板，打开Tab列表的轮播功能，...
高德在线底图（v2.x版本）
获取高德Key：登录 高德开放平台控制台，单击 应用管理>我的应用>创建新应用，输入 应用名称 并选择 应用类型，完成后单击 新建。单击应用列表右侧的 图标，在弹出框中输入 Key名称，选择 服务平台，并选中页面最下方的 阅读并同意服务条款...
SQL 条件过滤数据
使用限制 通过 SQL 条件过滤数据时，仅支持过滤当前表的字段，不支持跨表过滤。SQL 条件过滤数据的作用范围为全量迁移/全量同步和增量同步。SQL 条件过滤数据使用的列请勿执行 DDL 变更，否则可能导致数据迁移或数据同步异常。操作步骤 将...
功能发布记录
演练场景、演练方案、演练执行单展示优化 演练场景、演练方案、演练执行单展示优化，区分我的和全部。场景实例、系统原子操作展示优化 场景实例、系统原子操作展示关联演练执行单列表。演练执行单筛选能力优化 演练执行单支持按状态、演练...
通过SQL条件过滤任务数据
在配置任务对象时，您可以设置SQL过滤条件过滤任务数据。通过设置后，只有满足过滤条件的数据才会被同步或迁移到目标数据库。该功能可应用于数据的定期同步或迁移、拆分数据表等多种应用场景。前提条件 说明 新版控制台的操作步骤，请参见 ...
过滤待迁移数据
在配置数据迁移任务的迁移对象时，您可以设置过滤条件，过滤待迁移数据。只有满足过滤条件的数据才会被迁移到目标数据库。该功能可应用于数据的定期迁移、拆分数据表等多种应用场景。功能限制 仅支持过滤当前表的字段，不支持跨表过滤。如...
同数据库归档
需要归档的表必须存在主键或者唯一键。说明 建议表中包含修改时间的字段，以便将业务修改时间作为归档的过滤条件。注意事项 使用该功能不限制实例的管控模式。若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
pg_extension
extcondition text[]扩展的配置表的 WHERE 子句过滤条件的数组，如果没有则为 NULL。说明 与大部分具有一个“namespace”列的模式不同，extnamespace 不是用来表示扩展属于该模式。扩展的名字从不用模式进行限定。extnamespace 表明该模式...
Dataphin修改业务快照类事实逻辑表的过滤条件，提交...
修改过滤条件如下：预览SQL或者在物化代码中查看SQL发现有之前版本的过滤条件：问题原因 该事实逻辑表为业务快照类事实逻辑表且没有主键，无主键事实表配置了来源主表过滤条件后，脏数据未兼容导致。解决方案 联系Dataphin技术支持同学协助...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
请注意目前本项目仅支持具有主键或者非空唯一索引的表和视图，其他表和视图会自动过滤。在 选择迁移类型 页面，选择当前数据迁移项目的迁移类型。迁移类型支持 全量迁移、增量同步 和 全量校验。迁移类型 描述 全量迁移 全量迁移任务开始后...
连接条件下推
示例 原查询：原查询中，由于对 os 这个derived table需要全量物化且没有高选择率的过滤条件，因此 os 表的物化要花费大量的时间，该查询的执行时间大约为65秒。SELECT*FROM(SELECT*FROM sample_table.tb_order WHERE create_date>=DATE_...
数据查询最佳实践
维度表JOIN普通表，没有限制。多表关联查询WHERE条件中，需要明确写明每一个表的过滤条件。通常在传统数据库中，都是通过索引字段关联来快速检索数据。例如：Select count(*)from t1 C join t2 O on C.t1_id=O.t1_id where O.t2_time ...
2.0版SQL开发规范
维度表join普通表，没有限制。多表关联查询where条件中，需要明确写明每一个表的过滤条件。通常我们在传统数据库中，都是通过索引字段关联来快速检索数据。如下SQL：Select count(*)from customer_table C join order_table O on C....
算子功能详解
Filter过滤 过滤类型：表达式/数据表，其中数据表过滤仅支持KKV类型表。差级表：如果过滤时需要额外排出部分数据，可以设置差级表，存在差级表中的数据可不被过滤。举例 说明：过滤表为曝光数据，差级表可设置点击数据，可过滤掉没有被点击...
查询控件常见问题
当设定时间筛选范围的动态查询时间窗口为1个月，且查询条件中选定开始时间或结束时间，则对应的结束时间或开始时间无法修改。如果您需要查询其他月份时，可以将查询条件中选择日期先清除，再重新选择时间范围。复合查询控件可以来自多个...
批量创建质量规则
批量创建质量规则可帮助您为监控对象配置统一的质量规则，并设置异常告警信息，实时监控对象的动态。本文为您介绍如何批量配置质量规则。前提条件 已将数据表或指标发布至生产环境，发布详情请参见 管理发布任务。权限说明 超级管理员、...
批量创建质量规则
批量创建质量规则可帮助您为监控对象配置统一的质量规则，并设置异常告警信息，实时监控对象的动态。本文为您介绍如何批量配置质量规则。前提条件 已将数据表或指标发布至生产环境，发布详情请参见 管理发布任务。权限说明 超级管理员、...
创建指标质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建指标质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
算子
过滤条件中的相关字段没有索引（例如建表时指定了 no_index 关键字，或建表后执行 DROP INDEX 删除了索引）。此时 AnalyticDB MySQL版 会使用Filter算子来过滤数据。Filter算子包含了以下属性。属性 说明 Filter 过滤算子的过滤条件。Join ...
- 产品推荐
- 这些文档可能帮助您