使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
行级管控
行权限：行级管控权限，通过管控表中字段的值（管控值）管控行级数据。单值行权限：针对一个或多个管控值进行单独管控。所有行权限：具备行级管控表中所有行的权限。配置组：具有相同管控值的管控字段可以添加为一个配置组。例如，表A和表B...
查询原始日志
在 原始日志 页签，您可以查看原始日志信息。...支持在过滤语句中插入 可选参数域，将对应字段的值作为过滤条件。例如单击输入${_topic_}，跳转后的日志库的查询语句中会拼接 AND 后查询。变量 暂不支持配置变量。单击 确认。
OpsDoc
如果字段没有在init阶段声明，在算分过程中无法正确的从文档中取出字段的值。参数列表：fieldName—属性字段名称，必须是常量。返回值：声明成功返回true，否则返回false。返回false的主要原因是声明的字段不是属性字段。代码示例：package...
查询和分析
无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。操作并发数 单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个...
结果字段说明
其中，result 字段的值取决于 result_type 字段。result 字段的详细说明如下所示。result_type 字段为 cluster_info 当 result_type 字段为 cluster_info 时，result 字段中包含日志类别信息，内容如下："result":{"cluster_id":"xxxx",...
概述
过滤日志 通过正则表达式匹配日志字段的值，从而实现日志过滤。更多信息，请参见 processor_filter_regex。通过正则表达式匹配日志字段名称，从而实现日志过滤。更多信息，请参见 processor_filter_key_regex。提取日志时间 解析原始日志中...
JSON函数
如果日志字段的值为JSON类型且需要展开为多行，请使用unnest语法。更多信息，请参见 UNNEST子句。如果字符串被解析成JSON类型失败，则返回null。如果在采集过程中，JSON日志被截断，则在使用JSON函数进行查询与分析时，系统将报错且中止...
数据集成侧同步任务能力说明
id、name 字段在源表、目标表中均存在，此字段默认使用源端表对应字段的值，不允许修改。add_col、batch_add_col 为手动调整后的Hologres表与源端表结构的DIFF字段，此字段允许进行赋值操作。以下图配置为例：手动赋值：输入固定字符串 ...
Map映射函数和运算符
示例 使用histogram函数获取各个请求方法对应的请求数量，然后通过element_at函数获取 DELETE 字段的值。查询和分析语句*|SELECT histogram(request_method)AS request_method,element_at(histogram(request_method),'DELETE')AS"count...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。indexSort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
事件配置
在 表格 或 原始 页签中，单击任意日志字段的值，会弹出 预设 窗口，提供的操作如下表所述。例如，您查询和分析框中的语句为*|SELECT status as dim,count(1)as c group by dim。当您单击原始日志字段host中的203.0.113.1时，查询和分析框...
事件检查函数
e_match_any 判断当前日志字段的值是否满足正则表达式，任意字段匹配返回True，否则返回False。e_match_all 判断当前日志字段的值是否满足正则表达式，所有字段匹配返回True，否则返回False。同时，事件检查函数可以与如下表达式函数配合...
查询和分析JSON日志的常见问题
使用查询语句过滤出请求成功的日志，然后在分析语句中使用json_extract函数提取出 orders 字段的值。and response:SUCCESS|SELECT json_extract(request,'$.param.orders')查询和分析结果如下所示。将上述提取的JSON数组（JSON类型）转换为...
字符串函数
字段样例 request_uri:/request/path-1/file-9 查询和分析语句（调试）*|SELECT split(request_uri,'/')查询和分析结果 示例2：使用正斜线（/）将 request_uri 字段的值拆分成3个子串，并返回子串的集合。字段样例 request_uri:/request/...
URL函数
示例 对 url 字段的值进行编码。字段样例 url:https://homenew.console.aliyun.com/home/dashboard/ProductAndService 查询和分析语句*|select url_encode(url)查询和分析结果 url_decode函数 url_decode函数对URL进行解码。语法 url_...
分析概述
字段值大小 单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明 默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置 统计字段（text）最大长度。具体操作，请参见 设置字段值的最大长度...
数据类型映射
多元索引的字段值来源于数据表中同名字段的值，两者的数据类型必须相匹配，多元索引字段数据类型与数据表中字段数据类型的匹配关系请参见下表。注意 表中的类型必须一一对应，否则数据会被当做脏数据丢弃，尤其是Geo-point和Nested拥有各自...
正则式函数
本文介绍正则式函数基本语法及示例。日志服务支持如下正则式...示例 使用正斜线（/）分割 request_uri 字段的值。字段样例 request_uri:/request/path-0/file-7 查询和分析语句（调试）*|SELECT regexp_split(request_uri,'/')查询和分析结果
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。IndexSort 索引预排序设置，包含Sorters设置。如果不设置，则默认按照主键排序。...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
特定结构化数据函数
restrict Bool 否 提取字段的值不是合法的JSON格式时，是否严格限制加工。默认值False。False：忽略报错，数据加工继续处理，返回 default 定义的值。True：直接报错，数据加工不再继续处理，直接丢弃该条日志。返回结果 返回提取到的值。...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
图表管理
数字 字符串 地理 固定值筛选 界面左侧会陈列出所选字段的值列表（distinct），您通过选择左侧的内容到右侧进行固定值筛选。字符串 地理 日期筛选 支持所选字段的动态和固定时间范围筛选。日期 其他配置：尺寸：用于散点图做节点大小编码，...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
CSV格式
存在同名字段时，系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。分隔符 支持半角逗号（,）、竖线（|）、空格和制表符，用于分割不同字段。转义符 当字段内出现分隔符时，需要使用转义符包裹该字段，避免读数据时造成字段...
查询语法
long或double类型 只有设置字段的数据类型为long或double后，才能通过数值范围查询该字段的值。如果字段的数据类型不被设置为double、long或者查询时数值范围的语法错误，那么日志服务会按照全文查询方式进行查询，这样查询到的结果可能与...
数据结构
时间字段修改 修改时间字段的值，就是修改日志的事件时间。可以用日期时间函数对其进行更多的操作。说明 如果删除了时间字段，在输出日志时，会取数据加工处理数据时的系统时间作为新的事件时间。标签 标签（tag）指日志存在标记，用于区分...
导入Elasticsearch数据
起始时间 指定起始时间后，当时间字段的值大于等于起始时间时，数据才会被导入日志服务。重要 只有设置了 时间字段 后，此配置才有效。结束时间 指定结束时间后，当时间字段的值小于等于结束时间时，数据才会被导入日志服务。重要 只有设置...
数据集填报
若您的入库配置表未包含全部字段，未绑定填报控件的字段值也会被清空，请谨慎操作。不包含数据集表格：纯普通单元格、纯填报表格、填报表格+普通单元格，提交类型只有 智能提交，写入方式只有新增，不能修改，不能删除，也不需要主键。写入...
散点图
点大小列 选择一个字段，日志服务将根据该字段的值动态设置点的大小。图形配置 参数 说明 线宽 散点图中线的宽度。透明度 散点图的透明度 点大小 散点图中点的大小。说明 如果您设置了 点大小列，则此处的 点大小 设置不会生效。x轴 参数 ...
分组评估
选择分组评估字段时，请选择具备标识监控实体特征的字段，字段的值可枚举。请勿选择不具备区分监控实体特征的字段。使用这些字段会产生很多分组，每个分组对应一个告警，造成告警风暴，导致错过重要的告警信息。例如：选择Nginx日志中的 ...
filter子句
1 fieldlen:获取LITERAL类型字段长度 举例：返回用户名usr_name不为空的文档 query=default:'关键词'&filter=fieldlen(usr_name)>0 in/notin:判断字段值是否（不）在指定列表中 举例：查询文档中包含"iphone"且type（int类型）为1或2或3的...
filter子句
1 fieldlen:获取LITERAL类型字段长度 举例：返回用户名usr_name不为空的文档 query=default:'关键词'&filter=fieldlen(usr_name)>0 in/notin:判断字段值是否（不）在指定列表中 举例：查询文档中包含"iphone"且type（int类型）为1或2或3的...
filter表达式
filter:"contain(nid,\"1|2|3\")"使用 notcontain，检索nid字段值 不在[1,2,3]范围内的所有记录 filter:"notcontain(nid,\"1|2|3\")"in/notin in和notin:判断字段值是否（不）在指定列表中 举例：查询文档中type（int类型）为1或2或3的文档...
- 产品推荐
- 这些文档可能帮助您