使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
分析概述
字段值大小 单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明 默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置 统计字段（text）最大长度。具体操作，请参见 设置字段值的最大长度...
字段操作函数
调用组合表达式函数，获取第一个存在的字段值，返回其小写格式并赋值给字段 result。e_set("result",str_lower(v("ret","return")))示例4：多次设置字段值。设置字段 event_type 的值。e_set("event_type","login event","event_info",...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
概述
数据编码与解码 对字段值进行解码。更多信息，请参见 BASE64解码。对字段值进行编码。更多信息，请参见 BASE64编码。对字段值进行MD5编码。更多信息，请参见 MD5编码。Log转为Metric 将采集到的日志转成 SLS Metric。更多信息，请参见 Log...
PolicyItem
请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，决定请求是否被路由到灰度版本上。11111 operator string operator 指定运算符。将请求中由参数 key 指定的字段的实际值和参数 value 指定的值，按指定...
数据编码与解码
您使用Logtail采集日志时，可以使用processor_base64_encoding、processor_base64_decoding或processor_md5插件对字段值进行编解码。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
创建多物理表服务单元
注意事项 只有当主物理表与非主物理表中某字段值和字段类型相同时，后续基于该多物理表服务单元创建的API才可以实现联合数据查询，否则无法实现联合数据查询。步骤一：选择服务单元类型 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入...
数据类型
重要 如果设置数据类型为long，而实际字段值为浮点数类型，则无法查询该字段。如果设置数据类型为long或double，而实际字段值为字符串类型，则无法查询该字段。如果设置数据类型为long或double，则不支持使用星号（*）或半角问号?进行模糊...
监控指标
doris_fe_meminfo{name="memory_available"} 该监控项为/proc/meminfo 中的 MemAvailable 字段值。真正的系统可用内存，系统中有些内存虽然已被使用但是可以回收的，所以这部分可回收的内存加上MemFree才是系统可用的内存。通常用于排查...
配置图表数据
图表数据区域介绍 ① 批量配置字段样式 ② 筛选数据 ③ 定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
新建查询控件
说明 如果您配置默认值时选择排除该字段值，又将下拉列表的样式切换为平铺，则在查询控件中选择该字段值，表示排除该字段。如果您先配置的平铺样式，又在配置默认值时选择排除该字段值，则将普通平铺样式替换成平铺排除的样式。单击 清空，...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最...kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化函数，根据不同的算分将数值归一化至[0,1]in和notin:判断字段值是否（不）在指定列表中
如何降低索引流量费用？
如果是全文索引，则日志字段名（Key）和字段值（Value）都将作为text类型存储，字段名和字段值都被计入在索引流量中。如果是字段索引，long类型和double类型的字段名不计入在索引流量中。使用字段索引，可降低索引流量费用。例如：对 ...
字段加密
如果未选中该选项，则加密失败后，字段值将被替换为 ENCRYPT_ERROR。JSON配置方式 配置 type 为 processor_encrypt，detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey String数组 是 原始字段名。EncryptionParameters Object 是...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
过滤日志
参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达式，则采集该日志。支持添加多个键值对，键值对之间为与关系。丢弃日志 输入日志字段和该字段值匹配的正则表达式。如果日志中...
事件配置
可以设置为：预设：在原始日志页面中单击字段值，跳转到目标日志库查询页面后，保持日志服务的默认查询时间范围，即15分钟（相对）。继承当前时间：在原始日志页面单击字段值，跳转到目标日志库查询页面后，对应的查询时间范围为查询原始...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"FireResult":2}]查询和分析语句*|SELECT json_array_length(Results)查询和分析结果 示例2：计算 time 字段值中JSON元素的数量。字段样例 time:["time_local","request_time","upstream_...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最优结果给用户。业务排序表达式允许用户为应用自定义搜索结果排序方式，通过在查询...根据不同的算分将数值归一化至[0,1]in/notin:判断字段值是否（不）在指定列表中
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
比较运算符
示例 对同一行中的 request_time 字段值和 status 字段值进行对比，获取其中的最小值。字段样例 request_time:77 status:200 查询和分析语句*|SELECT LEAST(request_time,status)查询和分析结果 NULL运算符 NULL运算符用于判断 x 是否为...
findOneAndUpdate
object):Promise请求参数 字段名 类型 是否必选 说明 filter Object 是 数据库操作时的查询条件。update Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 是否必选 说明 sort Object 否 排序...
设置流量标记
网站业务接入DDoS高防后，您可以通过设置高防流量标记，开启获取客户端真实端口功能，以及使高防转发到源站的流量中包含特定的自定义Header字段值，方便您的后端服务器对高防转发的流量进行统计分析。本文介绍了设置高防流量标记的具体操作...
数据序列化和持久化
使用 Schema 持久化数据 简介 开发智能合约时，经常需要将某些数据持久化存储，或者从持久化存储中读取数据内容。为方便您以比较友好地方式实现数据持久化，以及支持复杂的数据结构（比如 map 类型嵌套），智能合约平台引入基于 Schema 的...
insertOne
说明_id 字段为系统保留字段，在插入数据时请勿指定该字段值，系统将会自动分配。如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为...
单选
②自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置控件 的选项展示名称 关联 对应的ID值字段。支持 新增选项、批量新增、编辑、删除 操作。③选项展示名称：支持添加选项、编辑选项名称、以及删除操作。④默认值：根据设置 选项...
updateMany
示例 在 users 集合中查找所有 name 字段值为jerry的记录，并将其 age 字段更新为10。mpserverless.db.collection('users').updateMany({ name:'jerry' },{$set:{ age:10 } }).then(res=>{}).catch(console.error);在 users 集合中查找所有...
findOneAndReplace
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。replacement Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 排序规则...
查询原始日志
可以设置为：预设：在原始日志页面中单击字段值，跳转到目标日志库查询页面后，保持日志服务的默认查询时间范围，即15分钟（相对）。继承当前时间：在原始日志页面单击字段值，跳转到目标日志库查询页面后，对应的查询时间范围为查询原始...
分页类接口结果聚合
该选项包含以下四个字段：字段名 描述 PageNumber 字段值对应API返回结果中描述列表当前页码的字段，默认值：PageNumber。PageSize 字段值对应API返回结果中描述每页返回的最大结果数量的字段，默认值：PageSize。TotalCount 字段值对应API...
数据规范
对于已经产出完成暨可用的数据分区，需要产出一个标识分区，分区字段值为对应数据分区的分区字段值后加.done，例如数据分区为 20210822，则对应的标识分区为 20210822.done。定时执行 如果您设置的全量调度策略为“定时执行”，则aime会...
updateOne
示例 在 users 集合中查找 name 字段值为jerry的第一条记录，并将其 age 字段更新为10。mpserverless.db.collection('users').updateOne({ name:'jerry' },{$set:{ age:10 } }).then(res=>{}).catch(console.error);在 users 集合中查找 ...
添加字段
参数 说明 添加字段 待添加的字段名和字段值，支持添加多个。忽略重复字段 存在相同的字段名时，是否忽略重复的字段。配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
- 产品推荐
- 这些文档可能帮助您