引擎简介

场景案例 任意多个字段组合查询 例如物流订单场景,需要存储大量轨迹物流信息,需要基于多个字段检索查询订单详情。地理位置检索 例如交通监控场景,保存大量过车记录,同时会根据车辆牌照、位置信息等条件组合检索查询感兴趣的记录。文本...

基于日志服务的日志说明

本文介绍SLS中日志字段请求方法字段说明 查询的日志字段说明如下表所示。表 1.日志字段说明 参数 描述 Action 操作对应的请求方法。取值描述请参见 请求方法。Queue 订阅或者消息对应的Queue。描述如下:Action 为 PushMessage、...

如何降低索引流量费用?

如果是全文索引,则日志字段名(Key)和字段值(Value)都将作为text类型存储,字段和字段值都被计入在索引流量中。如果是字段索引,long类型double类型的字段名不计入在索引流量中。使用字段索引,可降低索引流量费用。例如:对 ...

数据探查

数据输入、合并、清洗加工、聚合关联节点支持数据探查。本文为您介绍数据探查的操作。入口 您可以通过图示的方式进入数据探查界面。说明 合并、清洗加工、聚合关联节点进入 数据探查 的方式同上。预览设置 数据探查支持快速采样、随机...

SPL指令

field-pattern FieldPattern 是 需要保留的字段名称或字段和通配符组合(处理匹配到的所有字段)。output Field 是 需要重命名的新字段名称,不支持多次重命名至相同的目标字段。重要 如果新字段与输入数据中字段重名,其结果取值策略,请...

日程类型配置

日程类型已升级到企业维度,...新增字段可以编辑字段信息、锁定字段以及设置字段是否为必填。最后点击「保存」,设置日程类型的名称并选择图标,确定即可完成日程类型的保存。icmsDocProps={'productMethod':'created','language':'zh-CN',};

Kafka数据接入

自动识别字段类型:将JSON消息体中的StringBoolean字段分别转化为 表格存储 中对应的StringBoolean字段。JSON消息体中的IntegerFloat数据类型,将被转化为 表格存储 中的Double类型。全部作为String写入 主键模式 指定主键模式。支持...

约束与限制

数据一致性说明 由于读写分离架构设计,插入Doc、更新Doc、插入或更新Doc 操作后,对应的Doc可能无法立即被 检索Doc 获取Doc 操作获取到;同样,删除Doc 操作后,对应Doc可能无法立即对 检索Doc 获取Doc 不可见。DashVector会保障...

自定义表格模板

用户仅需通过一张模板数据的可视化拖拉拽配置参照字段、识别字段或表头&待识别的列表区域,字段属性等,无需进行数据标注模型训练,即可实现相同版式数据的自定义结构化识别抽取。经过配置调优的模板识别准确率可达85%以上。同时 工具箱 ...

添加字段

配置示例 添加 aaa2 字段和 aaa3 字段,配置示例如下:原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_add_fields,detail 说明如下表...

自定义表格模板

用户仅需通过一张模板数据的可视化拖拉拽配置参照字段、识别字段或表头&待识别的列表区域,字段属性等,无需进行数据标注模型训练,即可实现相同版式数据的自定义结构化识别抽取。经过配置调优的模板识别准确率可达85%以上。同时 工具箱 ...

字段操作函数

本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。函数列表 函数 说明 v 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持其他函数组合使用。相关示例,请参见 调用函数清洗数据。e_set ...

字段映射

以下为表达式的常见用法:使用字段范围之外的字段:钉钉用户岗位:idpUser.title 钉钉用户办公地点:idpUser.work_place 钉钉部门负责人:idpOrganizationalUnit.org_dept_owner 钉钉的全部字段请参考《钉钉用户字段》、《钉钉部门字段》。...

自定义KV模板

如有对特定字段的后处理需求(如日期的归一化、金额的纯数字提取、符号的正则替换等),可以通过字段类型高级配置实现,在调用时生效。提示建议 如何框选识别字段?逐个框选所需抽取字段的文字所在区域。识别字段框尽量覆盖该字段文字...

虚拟列

使用虚拟列功能时,您可以通过修改多元索引Schema或者新建多元索引来实现新字段新数据类型的查询功能,而无需修改表格存储的存储结构及数据。功能概述 虚拟列功能支持用户在创建多元索引的时候将表中一列映射到多元索引中的虚拟列。新的...

自定义KV模板

如有对特定字段的后处理需求(如日期的归一化、金额的纯数字提取、符号的正则替换等),可以通过字段类型高级配置实现,在调用时生效。提示建议 如何框选识别字段?逐个框选所需抽取字段的文字所在区域。识别字段框尽量覆盖该字段文字...

字段设置

日志服务字段设置提供了一键式交互查询体验,帮助您快速分析某一字段在指定时间内的分布情况。前提条件 已开启对应字段的索引统计功能。具体操作,请参见 创建索引。例如,访问日志中存在 request_method request_time 字段,可参考...

DMS分类分级扫描原理介绍

DMS分类分级扫描能够对数据库中的敏感数据进行检测,并自动为符合识别规则的字段打上相应的分类分级标签,还可以保护高敏感等级的字段,并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...

数据加工

复制字段 针对已有字段,复制一个 字段表达式 字段类型 相同的字段,方便您快速创建同类型字段,提高数据准备的效率。删除字段 针对多余字段,完成数据的清洗加工。查看数据详情。支持查看 数据探查、数据详情 字段列表。聚合 根据...

配置数据聚合

重要 该节点的输出字段为分组字段和聚合结果字段列表,上一节点的其他字段不会作为该节点的输出字段。后续操作 配置完相邻消息计算节点后,您可以继续配置其他处理节点,也可以配置目标节点完成整个解析任务配置。配置数据计算数据过滤 ...

事件处理

使用ARMS告警管理集成多个告警源后,您可以通过设置事件处理流将告警源产生的事件进行过滤分类。本文介绍如何创建事件处理流。新建事件处理流 登录 ARMS控制台。在左侧导航栏中选择 告警管理>事件处理流。在 事件处理流 页面单击右上角的...

映射富化函数

函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。支持其他函数组合使用。相关示例,请参见 使用e_dict_map、e_search_dict_map函数进行数据富化。e_table_map 与目标表格进行映射,...

数据注册与字段配置

比如 L1#EG1#E1,L2#EG2#E2 维度字段 比如操作系统 os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称,比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式:yyyyMMdd hh 小时字段 否 24小时制...

配置图表字段

在仪表板编辑页面的 字段 页签,您可以为仪表板添加维度度量字段,并配置图表样式分析设置:说明 不同的数据源字段、图表类型会导致设置图表数据时,字段类型、图表样式分析选项与本文部分描述存在差异,请以实际环境为准。...

新建镜像表

镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三:预览镜像关系 在镜像表开发页面,页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板,查看实时表、离...

新建镜像表

镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三:预览镜像关系 在镜像表开发页面,页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板,查看实时表、离...

创建字段

本文介绍如何在决策引擎中创建字段。背景信息 什么是字段?...字段分类:包括业务字段和设备字段字段描述:字段的描述信息,非必填。点击 保存 按钮,字段新建成功。字段可在 创建事件 时与事件关联或在 变量中心 中用于衍生新的变量。

新建离线物理表

按照下图操作指引,单击所需的字段类型后,并在字段区域填写 字段名称、数据类型 字段说明 信息。参数 描述 字段名称 您可输入字段名称或中文关键词,将自动匹配标准预置的字段名。支持128个字符以内的数字、字母下划线(_)。数据...

新建离线物理表

按照下图操作指引,单击所需的字段类型后,并在字段区域填写 字段名称、数据类型 字段说明 信息。参数 描述 字段名称 您可输入字段名称或中文关键词,将自动匹配标准预置的字段名。支持128个字符以内的数字、字母下划线(_)。数据...

概述

Logtail处理插件具体可分为原生处理插件扩展处理插件。原生插件:性能较优,适用于大部分业务场景,推荐优先使用。扩展插件:功能覆盖更广,当您的业务日志过于复杂以致于无法使用原生插件完成处理,您可以考虑使用扩展插件完成日志解析...

通过Logstash实现多字段数据整合

在使用Logstash传输数据时,如果您需要通过合并字段来整合数据,例如将a字段和b字段合并为一个新的c字段,然后移除a字段和b字段,可以通过logstash-filter-mutate插件的多个模块实现。此插件为系统默认安装插件,无须再安装,且不支持卸载...

表详情

用户可在表管理,表列表中操作一栏中的查看,查看表的详情信息:表详情页中展示表信息、字段、索引结构等信息:其中向量字段和索引的高级版配置,可点击 查看按钮 进行查看。

新建事实逻辑表

字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号:表字段序号。每新增1个字段,自增+1。字段名称:表字段名称。您可...

打包字段

您在使用Logtail采集日志时,可以使用processor_packjson插件将一个或多个字段打包为JSON Object格式的字段。本文介绍processor_packjson插件的参数说明配置示例。重要 表单配置方式:采集文本日志容器标准输出时可用。JSON配置方式:...

新建事实逻辑表

字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号:表字段序号。每新增1个字段,自增+1。字段名称:表字段名称。您可...

新建普通维度逻辑表

字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号:表字段序号。每新增1个字段,自增+1。字段名称:表字段名称。您可...

sort子句

子句说明 用户可以通过查询语句控制结果的排序方式,包括指定排序的字段和升降序。子句语法 排序格式为:expression:field field为要排序的字段 field也支持简单的算术运算,如+、-、*、\等,但参与运算的字段类型必须一致。field部分也...

丢弃字段

配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段,配置示例如下:原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_drop,detail 说明如下...

查询及分析日志

通过实时查询与分析采集的日志数据,您可以准确把握网络活动的具体情况,并识别出流量的异常情况,从而实现安全监控的加强安全事件响应效率的提升。本文将指导您如何运用查询分析语句操作日志分析工具,并展示如何查阅理解查询结果。...

管理识别结果

系统根据识别规则的数据分类数据分级对字段打标,您可以手动添加识别结果、Excel上传识别结果,本文为您介绍如何创建及管理识别结果。前提条件 完成识别规则的创建,详情请参见 创建、配置及手动触发识别规则。权限说明 安全管理员可以...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
智能媒体管理 云数据库HBase版 OpenAPI Explorer 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用