从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
错误码映射插件
BodyJson:{JPath} 以 JSONPath 方式获取请求/应答包体中的JSON字段值 System 应答 使用 System:{Name} 获取名字为 {Name} 的系统参数值 Token 应答 当处于 jwt,oauth2 授权场景是，使用 Token:{Name} 获取token中名字为 {Name} 的值 ...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"RawResultCount":1}]查询和分析语句*|SELECT sum(cast(json_extract_scalar(Results,'$.1.RawResultCount')AS bigint))查询和分析结果 SPL 从 Results 字段中获取 RawResultCount 字段的值。...
接入指南
假设已经获取到orthomap.json中的vectorMap字段值数据。var palette=new Palette({ width:900,height:900,plottingScale:1,containerId:"brush",backgroundImg:'https://img.alicdn.com/tfs/TB1C8SZGQT2gK0jSZPcXXcKkpXa-900-900.png',data...
过滤且表格化输出结果
output 包含以下字段：字段名 描述 补充说明 cols 表格的列名，需要与 JSON 数据中的字段相对应。例如，ECS DescribeInstances 接口返回结果中的字段 InstanceId 以及 Status。rows 指定过滤字段所在的 JMESPath 路径。通过 jmespath 查询...
配置图表数据
图表数据区域介绍 ① 批量配置字段样式 ② 筛选数据 ③ 定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当...
用户属性管理
当标签字段映射了用户属性时，用户属性值将采用该字段的值。例如：用户属性包括年龄、性别、生日、城市，导入用户标签表时，将相应的字段与这些用户属性映射。当来源于不同表的标签字段映射了同一个用户属性时，同一个用户的用户属性值可能...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
JSON类型
JSON 基本类型和相应的本数据库类型 JSON 基本类型 本数据库类型 注释 string text \u0000 是不允许的，因为 Unicode 转义表示数据库编码中不可用的字符 number numeric 不允许 NaN 和 infinity 值 boolean boolean 只接受小写 true 和 ...
行级管控
行权限：行级管控权限，通过管控表中字段的值（管控值）管控行级数据。单值行权限：针对一个或多个管控值进行单独管控。所有行权限：具备行级管控表中所有行的权限。配置组：具有相同管控值的管控字段可以添加为一个配置组。例如，表A和表B...
新建查询控件
通过查询控件可以生成一个或多个查询条件，帮助您查询单个或多个图表中的数据，一个仪表板中可以添加多个查询控件，但只支持一个查询控件置顶。前提条件 已创建好仪表板。请参见 新建仪表板 和 可视化图表概述。背景信息 查询条件 生效模式...
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
字段过滤
您在制作仪表板或电子表格时，如果您的数据量较大，可以启用过滤器功能，将需要的某一类或者某几类数据从数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。字符类 您可以通过设置过滤器将直辖市从省份字段里过滤出来。以...
字符串函数
字段样例 request_uri:/request/path-1/file-9 查询和分析语句（调试）*|SELECT split(request_uri,'/')查询和分析结果 示例2：使用正斜线（/）将 request_uri 字段的值拆分成3个子串，并返回子串的集合。字段样例 request_uri:/request/...
正则式函数
本文介绍正则式函数基本语法及示例。日志服务支持如下正则式...示例 使用正斜线（/）分割 request_uri 字段的值。字段样例 request_uri:/request/path-0/file-7 查询和分析语句（调试）*|SELECT regexp_split(request_uri,'/')查询和分析结果
JSON格式导入
因为JSON中字段名称并不等同于表结构中字段的名称，所以需要显式的指定这两者之间的映射关系。导入语句2 curl-v-location-trusted-u root:H"format:json"-H"jsonpaths:[\"$.k2\",\"$.k1\"]"-H"columns:k2,k1"-T example.json ...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
事件操作函数
返回结果 返回日志列表，列表中字段的值都是源列表中的值。函数示例 原始日志_topic_:age:18 content:123 name:maki_topic_:age:18 content:123 name:maki 加工规则 e_set("_topic_","V_SENT,V_RECV,A_SENT,A_RECV")e_split("_topic_")加工...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
创建IP地址机器组
info.json Windows（32位操作系统）Logtail（32位程序）C:\Program Files\Alibaba\Logtail\app_info.json 查看app_info.json文件中的 ip 字段值。Logtail自动获取的服务器IP地址记录在app_info.json文件的 ip 字段中，如下图所示。登录 ...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
Logtail机器组问题排查思路（主机场景）
Logtail将获取的IP地址记录在app_info.json文件的 ip 字段中，该文件在不同系统下的默认路径说明如下表所示。操作系统 Logtail app_info.json文件路径 Linux Logtail（64位程序）/usr/local/ilogtail/app_info.json Windows（64位操作系统...
小地图渲染
map",backgroundImg:'',/非必要 data:JSON.parse(JSON.stringify(vectorMap)),/orthomap.json的vectorMap字段值 refs:{/非必要 url:'',},rotation:0,ratio:1,styleOptions:{ wallColor:0x959595,},});2、ratio字段说明 小地图和可编辑户型...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
映射富化函数
函数示例 示例1：根据原始日志中 pro 字段的值和目标数据字典，输出新字段 protocol。原始日志 data:123 pro:1 加工规则 e_dict_map({"1":"TCP","2":"UDP","3":"HTTP","6":"HTTPS","*":"Unknown"},"pro","protocol",)加工结果 data:123 pro...
findOneAndDelete
mpserverless.db.collection('users').findOneAndDelete({ age:18,}).then(res=>{}).catch(console.error)查询 users 集合中 age 字段值等于18的一条记录，将其删除并返回该记录的 name 字段。如果有多条则返回删除其 name 字段升序排列的...
数据类型
SELECT ip_to_province(client_ip)as province,count(*)AS pv GROUP BY province ORDER BY pv long和double类型 设置字段的数据类型为long或double后，您才能通过数值范围查询该字段的值。如果日志字段的值为整数类型，建议您在配置索引时...
字段值提取函数
函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者...
解析与更新JSON数据
原始日志 data:{"k1":"v1","k2":{"k3":"v3","k4":"v4"}} 加工规则 e_json("data",depth=1)加工结果 data:{"k1":"v1","k2":{"k3":"v3","k4":"v4"}} k1:v1 k2:{"k3":"v3","k4":"v4"} 示例2：完全展开JSON对象 例如，完全展开 data 字段值中的...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
JSON索引
参数说明 参数 说明 db_name 数据库名称。table_name 表名称。index_name JSON索引名称。重要 索引名称唯一，不能相同。column_name|column_name->'$.json_path' column_name：JSON索引的列。column_name->'$.json_path'：JSON索引的列及其...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
查看内置规则模板
取该字段的空值数与固定值进行比较。说明 是否为空值，是通过转换为SQL的is null进行判断。空值个数/总行数，固定值。空值的个数与行总数的比率与一个固定值进行比较。说明 该固定值是一个小数。重复值个数/总行数，固定值。重复值个数与...
- 产品推荐
- 这些文档可能帮助您