新建普通维度逻辑表
④ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
丢弃字段
配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_drop，detail 说明如下...
查询及分析日志
通过实时查询与分析采集的日志数据，您可以准确把握网络活动的具体情况，并识别出流量的异常情况，从而实现安全监控的加强和安全事件响应效率的提升。本文将指导您如何运用查询和分析语句操作日志分析工具，并展示如何查阅和理解查询结果。...
查询和分析JSON日志的常见问题
本文介绍查询和分析JSON日志的常见问题。日志样例 本文中介绍的各个案例是基于如下JSON格式的订单处理系统日志。request 字段为订单请求信息，JSON格式。一个请求中包含一个用户的多个订单，订单中包含购买的商品和支付总价。response 字段...
通过控制台使用多元索引
当设置 Schema生成方式 为 自动生成 时，系统会自动将数据表的主键列和属性列作为索引字段，可根据需要选择字段类型以及设置是否开启数组。说明 在部分情况下如果要优化性能，则可以使用虚拟列。关于虚拟列的更多信息，请参见 虚拟列。如果...
查看并管理明细及汇总表实例
在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点，系统会按照当前物化拆分方式自动计算对应的物化节点，并按照数据一致性和正确性原则，为您提示需要连带操作的相关字段，无需关心物理实现方式，帮助您缩短操作路径，降低...
查看并管理明细及汇总表实例
在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点，系统会按照当前物化拆分方式自动计算对应的物化节点，并按照数据一致性和正确性原则，为您提示需要连带操作的相关字段，无需关心物理实现方式，帮助您缩短操作路径，降低...
手动修正数据
您可以查看已有的敏感字段类型是否满足需求：满足需求：则选择其他已有敏感字段类型，并单击右侧的 图标进入 数据识别规则 页面修改原敏感字段类型对应的识别规则和修改后的敏感字段类型对应的识别规则，以保证后续识别的准确性。...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
配置HBase输出组件
[{"index":0,"type":"string"},{"index":2,"type":"string"},{"index":1,"string","value":"_"}]表示由输出字段中的第1个字段和第3个字段，使用下划线（_）组成Rowkey。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
sort子句
子句说明 用户可以通过查询语句控制结果的排序方式，包括指定排序的字段和升降序。子句语法 排序子句格式为：+field1;field2 field为要排序的字段，+为按字段值升序排序，-为降序排序，默认降序排序。field也支持简单的算术运算，如+、-、*...
上传文档的方式创建应用结构
设置应用结构的字段名和字段类型：{"table_name":{"INT":1,"INT_ARRAY":[1,2,3,4],"FLOAT":12.5,"FLOAT_ARRAY":[12.1,12.2,12.3],"DOUBLE":12.6,"DOUBLE_ARRAY":[12.1,12.2,12.3],"LITERAL":"LITERAL类型","LITERAL_ARRAY":["OpenSearch",...
FieldMatchRatio
简介 计算查询词和字段的匹配程度，计算逻辑为查询词在字段上匹配的分词词组个数与该字段总词组个数的比值。例子：假设字段title分词之后为：fieldmatchratio使用手册，查询词分词后为：OpenSearch使用手册。那么查询词在title字段上的...
文本查询
查询控件支持查询文本字段，本文为您介绍如何设置一个文本查询控件，用于查询文本字段。前提条件 已创建好仪表板，并且仪表板图表中包含文本字段。已为该仪表板添加一个空的查询控件。请参见 新建查询控件。配置查询条件 请参见 新建仪表板...
数据脱敏
在数据集中设置需要脱敏的字段，系统将该字段中的敏感数据进行模糊化处理，使得该字段在仪表板、电子表格或自助取数中以脱敏的形式展示，保护数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。脱敏规则及效果展示 说明 本文档仅...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
列级权限
当某些字段值不能透传给用户时，您可以通过设置 禁止查看 来隐藏目标字段。在仪表板查询字段时，该用户仅可以查看规则范围内的字段值，从而保证数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。禁止规则及效果展示 禁止规则 ...
如何在报表中展示图片？
目标数据集中存在图片字段时，Quick BI支持在数据集中切换图片类型字段，并在制作仪表板时，将图片字段展示在报表中。前提条件 您已连接数据源，请参见 连接阿里云MySQL数据源。您已创建数据集，且目标数据集中存在图片字段，请参见 创建并...
FieldTermProximity
简介 计算查询词分词词组在指定索引和字段上分布的紧密程度。紧密度可以从一定程度上衡量查询词和字段的相关性，比如查询词为：用户手册，字段1的内容为：开放搜索用户手册，字段2的内容为：用户使用开放搜索手册解决问题。这时候查询词在...
创建并管理数据集
Quick BI支持丰富的字段计算，帮助您灵活的处理数据：聚合：例如通过客户名称统计客户数为 COUNT(DISTINCT[客户名称])四则运算：例如计算客单价为[成交金额]/[客户量]字符的分割与合并：例如将省份和城市拼接在一起为 CONCAT([省份],[城市]...
配置同步任务
调整字段：如果 来源字段 和 目标字段 的字段名一一对应，则系统默认匹配。如果 来源字段 和 目标字段 的字段名没有对应起来，则需手动调整。您可以删除不匹配的字段后，将鼠标悬停在字段列表的空白处，选择对应字段即可。配置 参数控制。...
字段值提取函数
本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
数据上传
说明 字段名称和字段类型不能为空，否则数据无法上传。EMR Hive、Hologres引擎不支持在数据上传新建表。您需在数据开发（DataStudio）新建表后，才可在数据上传中选择目标表。创建表，详情请参见 表管理。文件编码 若数据存在乱码，则可...
交叉表
在 行 上添加维度字段，在 列 上添加度量和维度字段，操作如下：在 数据 页签，选择需要的维度字段和度量字段：在 维度 列表中，找到 产品类型 和 产品包箱，依次双击或拖拽至 行 区域。在 维度 列表中，找到 省份，拖拽至 列 区域。在 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
KeyWordsMatched
简介 用于判断查询词的核心词与指定字段的匹配情况。该特征返回三档分数，所有查询词在字段上都没有出现返回0分，查询词中的核心词在字段上面出现返回0.5，所有的查询词都在字段上出现返回1.0。假设原始查询为A AND B RANK C，如果A、B、C...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
管理Schema
在Milvus中，Schema定义了向量数据库中数据的组织结构，包括字段名称和类型等。通过定义Schema来管理和查询数据，以支持高效的搜索和分析操作。本文为您介绍Collection和字段的Schema定义以及如何在Milvus中创建Schema。前提条件 已在本地...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
创建多物理表服务单元
多物理表服务单元用于关联多个物理表，并对关联后的字段进行元数据配置。后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的...
数组和嵌套类型
多元索引除了提供Long、Double、Boolean、Keyword、Text和GeoPoint等基本类型外，还提供了数组类型和嵌套类型两种特殊类型。如果想了解更多Array和Nested的对比，请参见 Array和Nested对比。数组类型 数组类型属于附加类型，可以附加在Long...
数据集填报
配置效果 如下图保险数据录入表所示，职业类别、性别、时间、险类1名称、保费、年达成率、保单数 均为数据集字段加载的数据，通过配置填报的形式，可以将数据集表格和填报结合，针对数据集中需要修改的数据，可以快速填报录入，如 保费、年...
独享集群高级功能
如何配置分列字段、倒排文档排序字段、超时时间。按列查询 适用场景及优势：有按列查询的需求；对单列超时比较敏感的业务；通过单列加大内存，将用户热数据进行高速缓存，减少集群的负载。配置流程：在 线下变更/配置应用>索引结构 配置中...
- 产品推荐
- 这些文档可能帮助您