Quick BI交叉表中怎样对文本字段去重计数
概述 Quick BI交叉表中怎样对文本字段去重计数。详细信息 1.维度字段不支持去重计数。当需要去重计数的字段是维度的时候，需要将该字段在数据集编辑页转换为度量字段，或者可以新建字段，字段表达式选择需要去重计数的字段，数据类型选择...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
算子功能详解
Trigger组件“Trigger组件”是“Recall召回”组件的前置组件，获取召回表的...去重字段：单选，Recall 组件返回字段+前面所有Join组件返回字段。插件参数：设置Sorter排序标识，可通过Query params设定一致的标识内容，进行不同的排序逻辑。
通过自定义集成方式接入告警
ARMS告警管理支持预览 事件映射 区域中的历史事件数据的去重分组结果，您可根据需要调整去重字段。说明 事件去重仅针对未恢复状态下的事件。在 事件去重 区域选择需要去重的字段。当选择的字段的值相同时，对应的多个事件将会合并为一个告...
规格明细
规格分类 规格描述 建议值 限制值 数据准备 数据准备数（单个工作空间）/100 数据准备预览数据行数/1000 数据准备变量数/5 数据准备组件数/20 数据准备组件数据字段数/200 数据准备输入组件数/5 数据准备输入组件数据字段数/200 数据准备...
Quick BI维度或度量字段如何重命名
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI中如何对报表中显示的数据字段重命名。问题描述 根据业务需求在报表显示的字段要重命名，但是不知道如何对仪表板中的度量字段进行重命名为自定义的别名？问题原因 没有找到...
Quick BI数据集的字段排序和数据库不一样，但是要求取...
概述 本文主要讲述了数据集的字段排序和数据库不一样，但是要求取数时的字段顺序和数据库一样的问题解决方法。问题描述 就是我建完数据集，字段会因为维度和度量的判定问题，排序打乱，字段的排序和我数据库里的不一致。在仪表板想排好序...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
权限常见问题
某字段设置为使用标签控制行级权限的字段，如何表示这个字段里的空值呢？每个城市的业绩在同一个报表中，能否发送给各个城市的人，这些人只看他们自己的城市业绩？授权账号最小权限是什么，才可以使用上传文件功能？如何管理组织权限？高级...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
数据建模
数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!字段规则说明：配置项 说明 最大值 对应分区，该字段的最大值与期望的固定值进行比较，符合规则则...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
MongoDB数据导入
查询ObjectId字段 示例数据 在数据库 test_mongodb 中创建名为 test_objectid 的集合，示例如下：db.createCollection("test_objectid");向 test_objectid 集合中插入文档，示例如下：db.test_objectid.insert({ 'id':1,})查询 test_...
配置SAP Table输入组件
批量条数 批量读取数据的条数，可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下的 图标，...
配置SAP Table输入组件
批量条数 批量读取数据的条数，可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下的 图标，...
正排索引特性
多值排重 可以在schema配置中，将多值正排字段配置为去重正排索引，引擎会通过将doc的正排字段取值进行Hash的方式，将值相同的doc对应的值存储在同一地址，从而达到共用存储空间，存储去重的目的。去重的效果依赖于字段的取值情况。单值正...
正排索引特性
多值排重 可以在schema配置中，将多值正排字段配置为去重正排索引，引擎会通过将doc的正排字段取值进行Hash的方式，将值相同的doc对应的值存储在同一地址，从而达到共用存储空间，存储去重的目的。去重的效果依赖于字段的取值情况。单值正...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置IBM DB2输出组件
输出字段 单击 字段管理，在 字段管理 对话框，添加输出字段：单击 图片，将 已选的输入字段 移入 未选的输入字段。单击 图片，将 未选的输入字段 移入 已选的输入字段。快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。...
配置IBM DB2输出组件
输出字段 单击 字段管理，在 字段管理 对话框，添加输出字段：单击 图片，将 已选的输入字段 移入 未选的输入字段。单击 图片，将 未选的输入字段 移入 已选的输入字段。快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。...
配置Impala输出组件
同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源。进行...
合作数据管理
添加数据至合作空间 在DataTrust首页，单击顶部菜单栏的 通用计算。进入 合作数据 页面。按照下图指引，进入 添加数据 对话框。在 添加数据 对话框中，配置参数。参数 描述 数据名称 选择已创建的数据。数据别名 可根据已选数据创建别名。...
配置PolarDB-X输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
图编辑
Inverted INDEX：需配置索引字段和pkey（主键）字段 字段结构 该数据表包含的字段属性 导入字段：如果是MaxCompute数据源，提前进行可读权限授权，具体请参考 离线存储授权 数据TTL及Done分区 数据TTL:数据生命周期 如果是API更新（即增量...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
写数据表
可在字段列表中对上游的输出字段的信息进行修改，比如：对字段重命名、修改注释等。同步模式 全表同步：先清空目标表里已有数据，然后重新插入新数据。增量同步：保留目标表中的已有数据，然后追加插入新数据。分区同步：向目标表的指定...
配置OceanBase输出组件
输出字段 单击 字段管理，在 字段管理 对话框，添加输出字段：单击 图片，将 已选的输入字段 移入 未选的输入字段。单击 图片，将 未选的输入字段 移入 已选的输入字段。快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。...
配置ElasticSearch输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为分隔符。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
配置MongoDB输出组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 字段 及选择 类型。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标...
配置HBase输出组件
同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，...
配置ElasticSearch输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为分隔符。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
配置MongoDB输出组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 字段 及选择 类型。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标...
重命名字段
您在使用Logtail采集日志时，可以使用processor_rename插件重命名字段。本文介绍processor_rename插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口 当您...
- 产品推荐
- 这些文档可能帮助您