查询和分析JSON日志
如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。配置字段索引。以下是JSON格式的日志示例和对应字段的配置。topic_、_source_、_tag_是系统的保留字段，更多信息请参见 ...
导入MySQL数据
如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。您需要等待1分钟左右，待索引生效后，才能在 原始日志 页签中，查看已采集到的日志。查询和分析日志的详细步骤，请参见 ...
查询和分析JSON日志的常见问题
如果您明确仅查询部分字段，可针对目标字段建立字段索引，减少索引费用。如果对字段有SQL分析需求，则必须对目标字段建立索引，并开启统计功能。说明 如果您同时配置了全文索引和字段索引，则配置了字段索引的字段，以字段索引的配置为准。...
如何降低索引流量费用？
仅对关键字段设置索引 如果原始日志中包含了大量字段信息，其中只有部分字段用于查询与分析，则您只需为这部分字段建立索引。关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能...
日志监控
说明 Detected fields key部分为Query支持的过滤字段，例如 es_available_zone 表示可用区、node 表示节点，具体请参见 日志查询内置字段。不同的日志属性支持的数据源不一样，不同的数据源支持的Query字段存在部分不同。例如：仅慢查询...
文本查询
查询控件支持查询文本字段，本文为您介绍如何设置一个文本查询控件，用于查询文本字段。前提条件 已创建好仪表板，并且仪表板图表中包含文本字段。已为该仪表板添加一个空的查询控件。请参见 新建查询控件。配置查询条件 请参见 新建仪表板...
Quick BI配置全局变量找不到某些字段
概述 当需要使用跳转时，配置全局参数，发现参数筛选字段只有部分字段，缺失一部分。详细信息 数据集原生是有以下名字带amt的字段，但是在全局参数设置搜索不到。此时需要将字段类型转换成维度类型，才可以作用与全局参数。适用于 Quick BI
URL函数
示例 从 url 字段值中提取查询部分的信息。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT url_extract_...
查看敏感数据血缘（公测）
筛选 在上图的模块②区域，支持您输入要查询的字段 所属项目、所属表 和 字段名，单击 查询，页面将为您展示对应字段的一层血缘关系，查询的字段会高亮显示。过滤条件 在上图模块③区域，您可以根据需求选择过滤条件：关联但识别结果不一致...
扫描（Scan）查询概述
日志服务扫描（Scan）查询功能支持免配置索引进行目标字段的扫描，用于查询相关日志，并且支持通过SPL语句对查询结果进行进一步的过滤、转换、解析等操作。本文介绍扫描查询功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询...
扫描（Scan）分析概述
字段值长度超过了索引限制，超出部分无法被查询。字段名较多，事先无法获取具体的字段名，无法建立字段索引。字段类型发生变化，无法查询。针对上述问题，日志服务推出扫描查询和扫描分析功能，用于查询和分析日志，无需对扫描的目标字段...
选型介绍
2）当业务使用场景为部分字段更新数据方式：由于部分字段更新链路采用GraphCompute内部补全方式，额外对集群进行信息查询而消耗资源，会导致在线查询QPS下降25%更集群的部分字段数据更新TPS=所选节点规格对应的更新TPS*分片数*副本数；...
Quick BI中查询报错“查询不存在的字段”
问题描述 Quick BI中查询报错“查询不存在的字段”。问题原因 在查询控件中选择的查询字段是"sum_order_amt"，该字段在数据集中已经被删除掉，所以查询时报错。解决方案 对数据集中其他存在的字段进行查询。适用于 Quick BI
事件分析
选择查询字段（可选）：选择需要查询的字段，并输入对应的值。当选择的字段为分值（score）时，可填写分值的范围（闭区间）。自定义列 除页面默认展示的列以外，用户可自行添加/删除需要展示的列，并编排列的顺序。点击页面最右侧的设置...
复合查询控件
本章节为您介绍复合查询控件，如何支持多层嵌套的或、且关系，实现对同源数据集下的图表组件的复合查询。前提条件 已在仪表板编辑页面。使用场景 多用于查询多个条件嵌套的情况，如查询某个地区某个产品类型的销量情况。操作步骤 单击导航...
Quick BI查询条件中下拉列表选择单个数据集时，需要...
产品名称 Quick BI 产品模块 可视化查询控件 概述 为您介绍设置查询控件时“查询字段值”、“显示名称字段”、“排序字段"的具体用法和意义。问题描述 客户发现在配置查询控件时，选择下拉列表形式，在点击单个数据集时需要配置“查询字段...
GDB+ES的DSL编写范例
即使是部分走ES查询，limit()所限定的返回数也是经由ES查询的返回条数。因此，您的查询需求如果是先通过 GDB+ES 的全文检索功能检索出特定的点，再对该点执行其他操作，需要适当调大 limit()。可以加上 hasLabel()限定。GDB#match 使用了ES...
分隔符模式解析
说明 Linux Logtail 1.0.28及以上版本或Window Logtail 1.0.28.0及以上版本支持配置分隔符模式的 允许部分字段 参数。处理超出字段方式 日志中提取的Value数量大于Key数量时的处理方法。展开：保留多余的Value内容，分别添加到_column$i_...
查询及分析日志
查询多字段 查询指定客户端 192.XX.XX.22 访问目的地址 192.XX.XX.54 的访问日志。src_ip:192.XX.XX.22 and dst_ip:192.XX.XX.54 查询字段是否存在 查询包含 cloud_instance_id 字段的日志。cloud_instance_id:*查询不包含 cloud_instance_...
Search
index：是否将该字段设置为索引字段，取值如下：true（默认）：索引字段，查询时仅能通过索引字段查找文档。Tair会在内存中存储所有索引字段的原始文档，若该字段在_source 中配置不存储原始文档，则在查询时返回的原始文档中不显示该字段...
提取字段
解析超出部分 选中该选项后，系统将解析超出部分的内容，并且通过 超出部分字段前缀 指定超过部分字段的命名前缀。如果您选中 保留超出部分，但未选中 解析超出部分，则超出部分的内容将被存储于_decode_preserve_字段中。说明 如果超出...
列级权限
在仪表板查询字段时，该用户仅可以查看规则范围内的字段值，从而保证数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。禁止规则及效果展示 禁止规则 配置分析师A禁止查看 客户名称 字段。效果展示 在交叉表中，分析师A无法查看 ...
共享
creator string 按共享者查询 owner string 按共享接收者查询 字段 类型 必选 说明 result IListRes 是 返回结果 IListRes 字段 类型 必选 说明 items IShareItem[]是 查询到的文件信息列表，items 中每一项的具体字段可查看下面关于 ...
日志查询
查询语句中使用WAF日志包含的字段作为查询字段，关于支持使用的查询字段，请参见 日志字段说明。如果您不了解日志查询语法，推荐您使用 高级搜索。您只需在语句输入框上方展开 高级搜索，设置搜索条件并单击 搜索，语句输入框即可自动生成...
SPL指令
extend server_protocol_version=regexp_extract(server_protocol,'\d+')示例3：提取JSON路径内容，并转换部分字段的数据类型。SPL语句*|extend a=json_extract(content,'$.body.a'),b=json_extract(content,'$.body.b')|extend b=cast(b ...
统计指标说明
多维分析 日志类型 Type 查询字段（通用指标字段：所有日志皆可查询过滤）PV日志 PV 在页面Onload的时候上传，用于计算PV和UV。PV、UV计算方式：PV：PV日志的条数。UV：对于PV日志，按照UID去重。性能日志 Perf 性能指标 慢加载日志（>8s的...
使用时序查询剪枝功能
根据指定时序字段查询数据 如下示例，根据指定的时序字段timestamp，过滤数据后再进行查询。POST index-1/_search {"query":{"bool":{"filter":[{"range":{"timestamp":{"format":"yyyy-MM-dd HH:mm:ss","gte":"2020-06-01 23:00:00","lt":...
搜索增强
配置索引 数据源表 字段名，描述，类型 字段名称,对采用oss文件格式作为数据源的实例，字段名称跟离线数据解析结果字段对应，离线解析结果默认的字段名称包括如下：字段名称 字段描述 字段类型 docId 主键、唯一标识id varchar name 文件...
Elasticsearch数据源
针对字符串类型的字段，ES会创建一个既有 text 类型的字段，又有 keyword 类型的字段，这是ES的multi fields特性。例如如下的mapping："k4":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256 } } } 对k4进行条件...
边缘脚本监控
边缘脚本EdgeScript是一种在CDN边缘节点上运行的JavaScript代码，用于实现自定义的...运行情况查询结果 异常情况查询结果 相关API API 描述 DescribeEsExecuteData 查询ES规则的运行情况。DescribeEsExceptionData 查询ES规则执行的异常情况。
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
创建元数据
Rowkey 配置 在读写HBase的数据时，需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。分隔符 基于业务数据中的分隔符选择对应的分隔符。当只有一个Rowkey字段时，也需要选择分隔符，这时分割符可以任意选一个即可。...
多轮对话搜索
字段名 字段名称,对采用OSS文件格式作为数据源的实例，字段名称跟离线数据解析结果字段对应，离线解析结果默认的字段名称包括：字段名称 字段描述 字段类型 docId 主键、唯一标识id varchar name 文件名称 varchar title 解析片段标题内容 ...
电话号码函数
示例 通过 mobile 字段查询电话号码所属运营商。字段样例 mobile:1881111*查询和分析语句*|SELECT mobile_carrier(mobile)查询和分析结果 mobile_city函数 mobile_city函数用于分析电话号码所属的城市。语法 mobile_city(x)参数说明 参数 ...
导入Elasticsearch数据
如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。单击 查询日志，系统将跳转至Logstore查询分析页面。您需要等待1分钟左右，待索引生效后，才能在 原始日志 页签中，查看...
通过自定义集成方式接入告警
系统收到事件后会根据恢复字段查询告警事件，包含指定字段的事件会自动进行恢复。用于指定恢复事件的字段必须选择原事件中等价于告警等级的字段，且不可使用$.severity 字段。例如恢复字段为 {$.eventType="resolved"}，则系统会自动恢复该...
集成日志服务告警
系统收到事件后会根据恢复字段查询告警事件，包含指定字段的事件会自动进行恢复。用于指定恢复事件的字段必须选择原事件中等价于告警等级的字段，且不可使用$.severity 字段。例如恢复字段为 {$.eventType="resolved"}，则系统会自动恢复该...
结果字段说明
说明 您可以通过_tag_:_job_name_和_tag_:_schedule_id_字段，查询对应任务的结果数据。tag_:_apply_time_:1638414250_tag_:_batch_id_:a8343*5b0fd_tag_:_data_type_:anomaly_detect_tag_:_instance_name_:29030-*7bcdd_tag_:_job_name_:...
通过Canal将MySQL数据同步到阿里云ES
esMapping.sql SQL语句，用来查询需要同步到ES中的字段。本文使用 select t.id as_id,t.id,t.count,t.name,t.color from es_test t。启动Canal-adapter服务，并查看日志。bin/startup.sh cat logs/adapter/adapter.log 说明 本文以MySQL 5....
- 产品推荐
- 这些文档可能帮助您