LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。...
配置消息通知
content表单字段结构说明 启用回调通知后，内容安全将按照回调配置发送OSS违规检测的回调通知。回调通知中包含content表单数据。下表描述了content表单字段的结构。表 2.content表单字段结构说明 名称 类型 是否必选 说明 bucket String 是...
通用参考
使用星号（*）表示Logtail采集的全部原始数据作为输入，比如*|parse-json content 敏感 不支持 特殊字段处理 时间字段 在SPL执行过程中，SLS日志时间字段类型始终保持为数值类型 INTEGER 或者 BIGINT。SLS日志字段包括数据时间戳字段_time_...
字段值映射处理
配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理，相关参数说明如下表所示。参数 说明 原始字段 原始字段名。结果字段 映射后的结果字段名。映射字典 映射字典。设置键和值，将键映射到值上。映射字典较小时，可直接通过此参数...
错误码说明
Tair连接失败，请检查configId或namespace是否有效 7510 keyvalue插件（KeyValueExtractor）处理字段出错，推送失败 7515 过滤条件执行错误 7523 StringConnector插件处理出错，推送失败 7524 geo字段内容超范围，range字段内容超出经纬度...
错误码说明
6306 函数参数类型错误 6307 函数未定义 6308 函数参数个数错误 6309 非法的数组操作 6310 可过滤字段不存在 6311 数组字段被错当作单值使用 6312 单值字段被错当作数组使用 6313 数组字段下标越界（小于0）6314 不支持的字段类型 6315 ...
Quick BI v4.1.1.1版本说明
仪表板级别的字段处理能力，让可视化的分析能力更上一层楼，支持新建计算字段、分组字段、维度组、以及维度、度量相互转换。更高效的可视化字段属性编辑，包括图表字段批量配置格式、批量快捷键选择。动态面板沉浸看数，可以单个收起和展开...
Kafka数据接入
String JSON消息字段转化 JSON消息的字段处理方式。消息 Key 格式 或 消息 Value 格式 选择JSON时显示该参数。取值范围如下：全部作为String写入：将所有字段转化为 表格存储 中对应的String。自动识别字段类型：将JSON消息体中的String和...
字段加密
配置说明 表单配置方式 配置 处理器类型 为 字段加密，相关参数说明如下表所示。参数 说明 原始字段 指定需要加密的原始字段，支持添加多个。密钥 设置密钥，格式为64个十六进制字符。初始向量 设置加密的初始向量，格式为32个十六进制字符...
提取字段
表单配置方式 参数说明 配置 处理器类型 为 提取字段（正则模式），相关参数说明如下表所示。参数 说明 原始字段 原始字段名。正则表达式 正则表达式。您需要使用半角圆括号()标注待提取的字段。结果字段 为提取的内容指定字段名。支持添加...
数据编码与解码
您使用Logtail采集日志时，可以使用processor_base64_encoding、processor_base64_decoding或processor_md5插件对字段值进行编解码。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
丢弃字段
表单配置方式 参数说明 配置 处理器类型 为 丢弃字段，相关参数说明如下表所示。参数 说明 丢弃字段 指定待丢弃的字段，支持配置多个。配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2...
添加字段
表单配置方式 参数说明 配置 处理器类型 为 添加字段，相关参数说明如下表所示。参数 说明 添加字段 待添加的字段名和字段值，支持添加多个。忽略重复字段 存在相同的字段名时，是否忽略重复的字段。配置示例 添加 aaa2 字段和aaa3字段，...
配置ArgoDB输入组件
ArgoDB输入组件用于读取ArgoDB数据源的数据。...如果需要删除大批量字段，则可以单击 字段管理，在字段管理页面选择多个字段后，单击 图标，将已选的输入字段移入到未选的输入字段。单击 确认，完成ArgoDB输入组件的属性配置。
打包字段
表单配置方式 参数说明 配置 处理器类型 为 打包字段，相关参数说明如下表所示。参数 说明 原始字段 待打包的原始字段。结果字段 打包后的字段。保留原始字段 选中该选项后，解析后的日志中将保留原始字段。原始字段缺失报错 选中该选项后...
0006-00000226
问题描述 PostObject请求policy表单域中Conditions部分使用了不存在的表单域字段。问题原因 您发起了PostObject请求来上传文件，但是请求Post Policy中的conditions部分存在某个匹配条件所需的表单域在请求体中不存在，导致请求报错。问题...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
展开JSON字段
表单配置方式 参数说明 配置 处理器类型 为 展开JSON字段，相关参数说明如下表所示。参数 说明 原始字段 待展开的原始字段名。JSON展开深度 JSON展开的深度。默认值为0，表示不限制。1表示当前层级，以此类推。JSON展开连接符 JSON展开时的...
CRM初始化
必填 客户行业：非必填 联系人信息：包含上述联系人表单所有字段 归属人：非必填 备注：非必填 个人客户表单：进入 云商机工作台，选择【设置】-【业务流程管理】，进入【表单配置】，点击表单中个人客户表单的【配置】，默认字段如下：...
管理明细及汇总表任务字段
查看消费链路：查看逻辑表单个字段被依赖的情况，以便您运维该字段时，分析对下游节点的影响。您也可以单击下游节点，查看节点信息。包括 任务概览、操作日志、节点代码 等，不同节点类型，支持查看的节点信息不同，具体以实际页面为准。④...
管理明细及汇总表任务字段
查看消费链路：查看逻辑表单个字段被依赖的情况，以便您运维该字段时，分析对下游节点的影响。您也可以单击下游节点，查看节点信息。包括 任务概览、操作日志、节点代码 等，不同节点类型，支持查看的节点信息不同，具体以实际页面为准。④...
过滤日志
表单配置方式 参数说明 配置 处理器类型 为 正则过滤日志（匹配日志字段的值），相关参数说明如下表所示。说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 ...
LLM数据处理
本文以开源项目RedPajama在GitHub中的少量数据为例，为您介绍如何使用PAI提供的LLM大语言模型数据处理组件，对GitHub代码数据进行数据清洗和处理。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，...
Quick BI仪表板无新建字段功能如何处理
概述 本文描述了Quick BI仪表板无新建计算字段的处理方法。详细信息 用户没有保存仪表板，需要保存仪表板后，重新打开仪表板即可。适用于 Quick BI 4.1.3
NOT
NOT算法组件只能对单个字段进行处理，支持“true”、“false”、“1”、“0”值的字段。计算逻辑原理 对值取逻辑非。使用流程说明 将组件拖入画布，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口选择...
Quick BI新建计算字段想要再次被引用的时候备选字段中...
问题描述 Quick BI新建计算字段想要再次被引用的时候备选字段中无法找到。效果如下图，确认有的字段无法被计算字段使用。问题原因 计算字段引用计算字段最多不能超过5层，且不能有环。解决方案 在数据源中将多层计算的字段进行处理后放入...
时间字段转换示例
在查询分析中，往往需要对日志中的时间字段进行处理，例如将时间戳转换成指定格式等，本文档介绍时间字段的常用转换示例。日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、...
DataSource
plugins Object 字段数据处理插件 plugins.*Object 插件详情，具体说明查看下文 Plugin*：字段名 keyField String 主键 parameters Object 数据源信息不同数据源的配置信息各不相同，具体说明查看相关下文：rds-odps-opensearch-polardb ...
DataSource
plugins Object 字段数据处理插件 plugins.*Object 插件详情，具体说明查看下文 Plugin*：字段名 keyField String 主键 parameters Object 数据源信息不同数据源的配置信息各不相同，具体说明查看相关下文：rds-odps-opensearch-polardb ...
Quick BI计算字段数值计算错误
新建计算字段"新增金额_处理",字段表达式如下：CASE WHEN[计量单位]='万元' THEN[新增金额]*10000 ELSE[新增金额]END 这样一个计算逻辑在数据集新增字段后没有*10000，且它不管元和万元都做了处理：目前单位是万元时，乘以100,000,000 单位...
系统内置基础特征
基础特征 结构示意图 基础特征类型介绍 基础特征总体分为两大类：item和user item：字段特征：首先选择需要处理的特征字段，默认支持当前应用下的所有字段。然后选择具体的处理方式，如对于文本类型可以选择分词、向量化等，对于数值类型，...
数据脱敏
123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标字段值中的敏感内容，...
字符串替换
表单配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：处理结果："content":"10.10.239.16","new_ip":"10.10.239.*/24",JSON配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：{"processors":[{"type":...
日志字段详情
本文介绍OSS日志类型及相关的日志字段详情。OSS日志类型 日志类型 说明 访问日志 记录相关OSS Bucket的所有访问日志，实时采集。批量删除日志 记录批量删除日志时具体的删除信息，实时采集。说明 当您调用DeleteObjects接口时，访问日志中...
重命名字段
配置示例 将 aaa1 字段重命名为 bbb1，将 aaa2 字段重命名 bbb2，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"bbb1":"value1""bbb2":"value2""aaa3":"value3"JSON配置方式 参数配置...
概述
Logtail提供处理插件用于将原始日志进一步解析为结构化数据。Logtail处理插件具体可分为原生处理插件和扩展处理插件。原生插件：性能较优，适用于大部分业务场景，推荐优先使用。扩展插件：功能覆盖更广，当您的业务日志过于复杂以致于无法...
转换IP地址
表单配置方式 参数说明 配置 处理器类型 为 转换IP地址，相关参数说明如下表所示。参数 说明 原始字段 待进行IP地址转换的原始字段名。GeoIP数据库路径 GeoIP数据库的全路径。例如/user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb。...
提取日志时间
在使用Logtail采集日志时，可以使用 processor_gotime 插件或 processor_strptime 插件解析原始日志中的时间字段。本文介绍两种插件的参数说明和配置示例。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置...
分隔符模式解析
处理超出字段方式 日志中提取的Value数量大于Key数量时的处理方法。展开：保留多余的Value内容，分别添加到_column$i_格式的字段中，其中$i 代表多余字段序号，从0开始计数。例如_column0_、_column1_。保留：保留多余的Value内容，并整体...
自定义表格模板
每个识别字段包含字段名、Value值、字段类型等必选项，每个表格包括表头字段、识别列字段、列名、表头值、字段类型等必选项，以及高级配置作为可选项。字段名：识别字段对外透出的名称，即API接口中对应的名称，且字段名需全局唯一。Value...
- 产品推荐
- 这些文档可能帮助您