从RDS MySQL数据库获取数据进行数据富化
map(res_rds_mysql(address="rds-host",username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"content","name",multi_match=True,multi_join=",")加工结果 单行匹配 例如：匹配日志中字段值符合 ...
过滤处理
(INFO|DEBUG)).*，表示不采集 level 字段值中包含 INFO 或 DEBUG 的日志。设置 字段名 为 level，字段值 为^?(INFO|DEBUG)$).*，表示不采集 level 字段值为 INFO 或 DEBUG 的日志。设置 字段名 为 url，字段值 为.*?(healthcheck)).*，表示...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
查询语法
调试 查询 request method 字段值中包含 PUT 的日志。request method":PUT 重要 字段名 request method 中存在空格，在查询时需使用双引号（""）包裹。无 查询日志主题为HTTPS或HTTP的日志。topic_:HTTPS or __topic__:HTTP 无 查询采集于...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值为map类型，您可以使用下标运算符获取 etl_context 字段值中 project 的值。字段样例 etl_context:{ project:"datalab-148*6461-...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
数据规范
有且仅有一个分区字段，字段类型为 STRING，最新的数据分区的分区字段值必须是所有分区字段值中按字典序最大的。一般我们建议使用格式化的业务日期/时间作为分区字段值，例如 20210822 或 2021082214。对于已经产出完成暨可用的数据分区，...
数据脱敏
可选值：字段全文：全部提取，即替换目标字段值中的所有内容。正则指定：使用正则表达式提取敏感内容。替换字符串 用于替换敏感内容的字符串。设置 脱敏方式 为 字符串替换 时，必填。敏感内容前缀正则 匹配敏感内容前缀的正则表达式。设置...
追加字段
您可以使用processor_appender插件为指定的字段（可以为不存在的字段）追加特定的值，支持在字段值中添加模板变量。该插件通常与input_prometheus、input_system_v2等时序监控相关的插件结合使用，用于给拉取到的Prometheus数据追加特定的...
查询和分析JSON日志的常见问题
在上述基础上，如果要提取 clientIp 字段值中的第一部分，您需要先使用json_extract_scalar函数提取 clientIp 的值，然后使用split_part函数提取IP地址中的第一个数字。此处不支持使用json_extract函数，因为split_part函数的入参需为...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
字符串函数
示例 删除 instance_id 字段值中结尾的空格。字段样例 instance_id:i-01 查询和分析语句（调试）*|SELECT rtrim(instance_id)查询和分析结果 split函数 split函数用于通过指定的分隔符拆分字符串，并返回拆分后的子串集合。语法 通过指定的...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"FireResult":2}]查询和分析语句*|SELECT json_array_length(Results)查询和分析结果 示例2：计算 time 字段值中JSON元素的数量。字段样例 time:["time_local","request_time","upstream_...
管理数据集
代码示例如下：SELECT*FROM `example_table` WHERE 1=1$if(diyu)$and region=$diyu$/*条件1：若满足判断逻辑的其中一个层级，则判断表中字段值与变量默认值一致，返回表中符合条件的数据。elseif(date)$and order_date>$date$/*条件2：若...
恶意行为防御自定义规则最佳实践
进程MD5 填写为误拦截告警详情中的 恶意文件md5 字段值。例如d2f295a89555579c39a0507e96XXXXXX。动作 选择 加白。命令行 告警加白规则配置：收到如下图所示的进程启动、命令行误拦截告警，则加白规则配置参考下表。说明 系统通过 执行命令...
提取字段
忽略字段前置空格 选中该选项后，系统将忽略字段值中的前置空格。保留原始字段 选中该选项后，解析的日志中将保留原始字段。原始字段缺失报错 选中该选项后，如果日志中无您所指定的原始字段，系统将报错。配置示例 提取 csv 字段的值，...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
用户属性管理
数据字典配置 对于文本型属性，支持配置数据字典，指定编码中的字段值与显示值之间的对应关系，左侧为显示值。当字段值符合时，后续将显示为对应的显示值；若字段值不符合，将仍显示原字段值。单击 添加配置，如下图所示，输入显示值、编码...
文本查询
从数据库中搜索 在进行筛选查询时，当筛选项大于1000条时，默认展示前1000条的选项值，超出此范围可直接搜索，如果未搜索到您想要的选项值，您可尝试 从数据库中搜索。说明 仅展示类型为 下拉列表 且选项值来源为 自动解析 或 单个数据集 ...
字段过滤
单击 添加左侧全部字段值，将左侧全部字段值添加到右侧的 已添加 列表中。勾选左侧字段值，将选中的字段值添加到右侧的 已添加 列表中。单击 排除，添加到右侧的 已添加 列表中的字段值被排除。单击 清空，添加到右侧的 已添加 列表中的...
管理敏感数据
说明 开通免费试用后，系统会根据您提供的用户名和密码抽取目标数据库中的元数据和少量随机数据用于敏感数据分析，这些数据不会被存储和修改。您可以在页面中查看到数据库相关信息和数据库中敏感数据的扫描结果。如需对扫描出来的敏感数据...
配置图表数据
② 筛选数据 ③ 定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当有多个字段数据需要修改配置时，您可以...
修改任务字段生成重复字段
一、问题原因 情况一：当在管理后台或者项目中修改自定义字段内容（不包括字段名称）时，选择「同步修改所有引用该字段的场景」，此时出现的结果为：1、使用场景的项目中，修改者拥有修改字段权限，则新字段内容会直接覆盖旧字段；...
新建查询控件
通过查询控件可以生成一个或多个查询条件，帮助您查询单个或多个图表中的数据，一个仪表板中可以添加多个查询控件，但只支持一个查询控件置顶。前提条件 已创建好仪表板。请参见 新建仪表板 和 可视化图表概述。背景信息 查询条件 生效模式...
散点层
本文介绍散点层各配置项的含义。图表样式 散点层是3D地球的子组件，支持独立的样式和数据配置，包括散点的大小、颜色和类型以及经纬度等，能够以散点的形式表现地理...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
基本散点图
本文介绍基本散点图全量选择时各配置项的含义。图表样式 基本散点图是使用散点来展示数据的一种图表，适用于展示不同时间下离散数据的差异。基本散点图支持自定义x轴...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
分类玫瑰图（v4.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
路网轨迹层
本文介绍路网轨迹层各配置项的含义。图表样式 路网轨迹层是3D地球的子组件，支持独立的样式和数据配置，包括轨迹线的长宽、运动速度、颜色以及轨迹点经纬度等，适用...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
事件配置
变量 日志服务支持通过变量灵活修改目标快速查询的查询和分析语句，当此处添加的变量与目标快速查询的查询和分析语句中的变量相同时，会将查询和分析语句中的变量替换为触发事件的字段值。您可以在 变量 页签中配置变量。说明 如果选择添加...
轨迹层
本文介绍轨迹层各配置项的含义。图表样式 轨迹层是3D地球的子组件，支持独立的样式和数据配置，能够通过轨迹线来展示两个或多个地理位置之间的过渡效果，从而模拟...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
甜甜圈层
本文介绍甜甜圈层各配置项的含义。图表样式 甜甜圈层是3D地球的子组件，支持独立的样式配置，包括甜甜圈的半径、大小颜色和提示框配置等。样式面板 搜索配置：单击 ...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
散点层（线性渐变）
本文档为您介绍散点层（线性渐变）各配置项的含义。图表样式 散点层（线性渐变）是3D地球的子组件，支持独立的样式和数据配置，包括散点的大小、颜色、类型以及经纬...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
飞线层
本文介绍飞线层各配置项的含义。图表样式 飞线层是3D地球的子组件，支持独立的样式和数据配置，包括飞线的半径、弧度、类型以及起始点经纬度等，适用于OD数据的线型...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
热力线层
本文介绍热力线层各配置项的含义。图表样式 热力线层是3D地球的子组件，支持独立的样式和数据配置，包括线的长宽、渐变速度和颜色以及经纬度等，适用于绘制地理位置...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
柱状层
本文介绍柱状层各配置项的含义。图表样式 柱状层是3D地球的子组件，支持独立的样式配置，包括柱子的样式、柱子半径和颜色等。样式面板 搜索配置：单击 样式 面板右上...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
查询原始日志
可以设置为：预设：在原始日志页面中单击字段值，跳转到目标日志库查询页面后，保持日志服务的默认查询时间范围，即15分钟（相对）。继承当前时间：在原始日志页面单击字段值，跳转到目标日志库查询页面后，对应的查询时间范围为查询原始...
轨迹线层（v3.x版本）
本文为您介绍轨迹线层各配置项的含义。图表样式 轨迹线层是基础平面地图 3.0的子组件，支持独立的样式和数据配置，能够以一批轨迹点连线的形式表示人或物体移动的...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
- 产品推荐
- 这些文档可能帮助您