创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
数据编码与解码
原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。JSON配置方式 配置 type 为 processor_base64_encoding，detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey String 是 原始字段名。NewKey ...
常见问题
可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段，注意计算字段表达式中只能使用数据库中原始字段，不能引用之前创建的计算字段，您也可以使用前计算字段的表达式来代替。日期类型的字段，在不转换文本的情况下是否支持...
JSON解析
重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。配置示例 输入日志 {"url":"POST/PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek*&Date=Fri%2C%2028...
Nginx模式解析
Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化，解析为多个键值对形式。...重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。
正则解析
重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。配置示例 输入日志 127.0.0.1-[16/Oct/2023:12:36:49+0800]"GET/index....
打包字段
原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key，配置示例如下：原始日志"a":"1""b":"2"Logtail插件处理配置 处理结果"a":"1""b":"2""d_key":"{...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
展开JSON字段
参数 说明 原始字段 待展开的原始字段名。JSON展开深度 JSON展开的深度。默认值为0，表示不限制。1表示当前层级，以此类推。JSON展开连接符 JSON展开时的连接符，默认值为下划线（_）。JSON展开字段前缀 JSON展开时，对字段名附加的前缀。...
IIS模式解析
Logtail IIS模式插件支持根据IIS日志格式定义将日志内容结构化，解析为多个键值对形式。IIS日志简介 Windows...重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。
字段加密
失败保留原始数据 选中该选项后，如果加密失败，系统将保留原始字段的值。如果未选中该选项，则加密失败后，字段值将被替换为 ENCRYPT_ERROR。JSON配置方式 配置 type 为 processor_encrypt，detail 说明如下表所示。参数 类型 是否必选 ...
Apache模式解析
Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化，解析为多个键值对形式。...重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。
转换IP地址
配置说明 说明 Logtail安装包中没有GeoIP数据库，您需要手动下载GeoIP数据库到Logtail所在服务器并配置，建议下载精确到 City 粒度的数据库。更多信息，请参见 MaxMind GeoLite2。请确保数据库格式为MMDB类型。表单配置方式 参数说明 配置 ...
重命名字段
原始字段缺失报错 选中该选项后，如果日志中无您所指定的原始字段，系统将报错。配置示例 将 aaa1 字段重命名为 bbb1，将 aaa2 字段重命名 bbb2，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置...
配置值转化
如果需要输出原始字段数据，则用${字段名称} 表示。您可以单击 添加条件分支，配置多个条件分支。说明 一个值转化节点中：最多包含10个条件分支。不同条件分支间按从上到下顺序匹配，如果有多个分支匹配，节点会按照第一个匹配到的分支进行...
提取字段
参数 说明 原始字段 原始字段名。正则表达式 正则表达式。您需要使用半角圆括号()标注待提取的字段。结果字段 为提取的内容指定字段名。支持添加多个字段名。原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报...
CREATE STREAM
physical_column_definition 是 物理列，指通常意义下的数据库字段，包括字段名称、字段类型和字段顺序等。外部系统根据物理字段读取或写入数据。column_name：物理列的列名。column_type：物理列的数据类型。column_constraint：物理列...
字段值映射处理
参数 说明 原始字段 原始字段名。结果字段 映射后的结果字段名。映射字典 映射字典。设置键和值，将键映射到值上。映射字典较小时，可直接通过此参数完成设置。不需要提供本地的CSV字典文件。重要 当您设置了 本地字典 后，映射字典 配置不...
通用参考
SPL读取存储在SLS的LogGroup结构数据作为输入（LogGroup定义详情请参见 数据编码方式），如果原始写入日志服务的数据不符合标准LogGroup编码规范，即某些保留字段并未按照标准编码在对应位置，而是放在LogContent中，则SPL在读取此类保留...
提取日志时间
高级参数>原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。高级参数>提取失败报错 选中该选项后，如果提取日志时间失败，系统将报错。示例 原始时间（s_key 字段）的格式为 2006-01-02 15:04:05（东八区...
分隔符模式解析
重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。附录 Logtail分隔符模式解析插件支持单字符分隔符和多字符分隔符。单字符 单字符的日志示例如下所示。05/May/...
离线同步读取MongoDB数据
本实践使用阿里云云数据库MongoDB作为示例。以下为准备MongoDB数据集合的主要代码示例。创建一个名称为 di_mongodb_conf_test 的数据集合。db.createCollection('di_mongodb_conf_test')向数据集合中插入本实践的示例数据。db.di_mongodb_...
脱敏处理
配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。脱敏方式 脱敏方式，包括：const：将敏感内容替换成您所修改的字符串。md5：将敏感内容替换为其对应的MD5值。替换字符串 选择 脱敏方式 为 const，需输入字符串...
Quick BI中计算字段展示方式
概述 本文介绍计算字段在数据集中展示方式。详细信息 非聚合计算字段显示的就是No...只有在原始字段组合后再用聚合函数才算是聚合计算字段。比如有a,b两个字段，sum(a)-sum(b)就是非聚合计算字段;sum（a-b）就是聚合计算字段。适用于 Quick BI
新建元表
如果此种数据源的Flink SQL字段类型与原始字段类型为一对多，则先选择原始字段类型，选择原始字段类型后允许编辑，可手动添加精度，例如MySQL、Oracle、PostgreSQL、SQLServer、Hive等数据源。单击 确定，完成字段的添加。步骤四：配置元表...
新建元表
如果此种数据源的Flink SQL字段类型与原始字段类型为一对多，则先选择原始字段类型，选择原始字段类型后允许编辑，可手动添加精度，例如MySQL、Oracle、PostgreSQL、SQLServer、Hive等数据源。单击 确定，完成字段的添加。步骤四：配置元表...
过滤处理
配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。白名单 只采集符合白名单条件的日志，您需要设置目标字段名称和用于过滤的正则表达式。此处的正则表达式仅支持全文匹配，不支持关键词部分匹配。如何配置正则...
Quick BI字段修改中无法使用case when表达式
问题描述 Quick BI数据集中，对字段修改时，无法使用case when表达式。问题原因 编辑字段中无法使用case ...2.在新建计算字段页面，字段表达式中可以使用case when 及其他功能的表达式对原始字段进行计算加工生成新的字段。适用于 Quick BI
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
数据类型映射
当该列为虚拟列时，必须设置此列映射的原始字段。关于虚拟列的更多信息，请参见 虚拟列。如果为false，则该列不为虚拟列。此时该列的数据类型必须和数据表的数据类型相匹配。说明 Array和Nested的区别请参见 Nested和Array对比。数据类型和...
配置数据计算和数据过滤
在画布中单击 数据计算 节点，在右侧配置面板，显示原始字段列表。根据实际场景需要，修改 字段名称、数据类型、精度、小数位 或是否 输出到下个节点。说明 只有选中 输出到下个节点 复选框的字段，才能用于后续节点配置。（可选）单击 ...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
虚拟列
重要 创建虚拟列时，原始字段名必须在数据表中存在，且原始字段的数据类型必须和虚拟列的字段类型相匹配。单击 添加索引字段。输入 字段名 和 字段类型。打开字段对应 虚拟 列的开关，并输入 原始字段名。如果要配置多元索引的路由键、数据...
CSV格式
因此您在投递时，只能使用原始字段名 request_time。存在同名字段时，系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。分隔符 支持半角逗号（,）、竖线（|）、空格和制表符，用于分割不同字段。转义符 当字段内出现分隔符...
字段操作函数
原始日志 test1:123 test2:456 test3:789 加工规则 e_pack_fields("test")加工结果 test:{"test1":"123","test2":"456","test3":"789"} 示例2：将日志所有字段打包到 test 字段，不删除被打包的原始字段。原始日志 test1:123 test2:456 ...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
没有约束的列修改长度
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 ...
- 产品推荐
- 这些文档可能帮助您