PAI端到端文字识别训练
INT 160 recognition_norm_type 否 编码器和文字行特征抽取器的Norm类型，取值包括：batch_norm group_norm STRING group_norm recognition_bn_trainable 否 编码器和文字行特征抽取器的Batch norm是否可以训练。当 norm_type 取值为 batch...
概述
原生插件 插件名称 说明 正则解析 使用正则表达式提取日志字段，并将日志解析为键值对形式。更多信息，请参见 正则解析。JSON解析 将JSON日志解析为键值对形式。更多信息，请参见 JSON解析。分隔符模式解析 将分隔符模式的日志结构化，解析...
触发器管理
表达式触发：基于正则表达式来进行Tag的过滤，只有当符合正则表达式的Tag才会继续触发触发器。可以填写简单的正则表达式，如 release-v.*，则只有Tag为 release-v 开头的镜像版本在构建后，才会触发后续持续集成的流程；否则为未触发状态，...
2018年
2018年12月 API的出参可以在场景调试中直接基于响应体进行调试校验，方便用户测试正则表达式的准确性。采样日志中可以查看请求的核心生命周期耗时情况，方便问题的定位和解决。2018年11月 新增功能：PTS原生压测功能支持已有的JMeter脚本...
UpdateLogtailPipelineConfig-更新Logtail流水线配置
如果 map 中的 value 不为空，则：若 value 以^开头并且以$结尾，则当容器环境变量中存在以 key 为环境变量名且对应环境变量值能正则匹配 value 的情况时，相应的容器会被匹配；其他情况下，当容器环境变量中存在以 key 为环境变量名且以 ...
CreateLogtailPipelineConfig-创建Logtail流水线配置
如果 map 中的 value 不为空，则：若 value 以^开头并且以$结尾，则当容器环境变量中存在以 key 为环境变量名且对应环境变量值能正则匹配 value 的情况时，相应的容器会被匹配；其他情况下，当容器环境变量中存在以 key 为环境变量名且以 ...
语言简介
表达式函数 提供两百多个内置的表达式函数，以便转换事件或控制全局函数的行为，覆盖主流的数据加工需求，主要包括以下函数：事件检查函数 提供类似Lucene语法、完整的正则表达式，字符串、泛字符、数值比较、and/or/not等组合的条件过滤...
日志服务采集数据常见的错误类型
一般由于过滤器的正则表达式非法导致，请根据提示修复。INPUT_CANAL_ALARM MySQL Binlog运行异常。根据错误提示排查。在配置更新时，canal服务可能重启，服务重启的错误可以忽略。CANAL_INVALID_ALARM MySQL Binlog内部状态异常。此错误...
接入Kubernetes JVM监控数据
JMX采集范围过滤器 支持通过JMX Bean范围、JMX Bean正则、JMX Bean类型以及采集JMX属性范围进行采集过滤。接入案例 例如在名为default的命名空间下启动SpringBoot Demo服务，然后通过环境变量 ILOGTAIL_JMX_PORT 声明暴露9999端口，在环境...
Canal
canal-json.database.include 选填(none)String 一个可选的正则表达式，通过正则匹配Canal记录中的database元字段，仅读取指定数据库的changelog记录。正则字符串与Java的 Pattern 兼容。canal-json.table.include 选填(none)String 一个可...
表达式函数概览
正则表达式函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。regex_match 判断是否匹配正则表达式。regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个...
SingleColumnValueFilter
单个条件，例如column_a>5等，适用于ConditionUpdate（条件更新）和Filter（过滤器）功能。数据结构 message SingleColumnValueFilter { required ComparatorType comparator=1;required string column_name=2;required bytes column_value...
采集主机文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。自定义：自定义日志主题。高级参数 Logtail配置的部分参数需要手动输入，请参见 创建Logtail...
函数总览
正则表达式函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。regex_match 判断是否匹配正则表达式。regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个...
错误编码：HSF-0024
总体的计算过程如下：接口级路由规则（正则式）最终地址列表会和同机房规则结果地址列表作交集。方法级路由规则（正则式）最终地址列表会和接口级地址列表作交集。参数级路由规则（正则式）最终地址列表会和方法级地址列表作交集。步骤五：...
常见问题
浏览器支持WebRTC API，但不支持H.264编码，仅支持VP8（如部分安卓手机系统自带浏览器）。为什么Safari/iOS报错：Failed to set remote answer sdp 如果遇到如下报错：Failed to set remote answer sdp:The order of m-lines in answer ...
数据类型
数据成员 描述 on_key_frame_req 请求关键帧回调，收到该请求后设置编码器生成关键帧。on_disconnected 网络连接断开回调，由于网络异常等导致连接断开。on_publish 推流建连是否成功回调，建连过程是异步的，需要回调通知用户是否成功。...
视频拼接
说明 该参数与 ab 互斥，若都不设置则按照编码器默认码率进行编码。ab int 否 音频比特率（码率）。单位为比特/秒（bps）。取值范围：1000~10000000。abopt string 否 音频码率选项。取值：0（默认值）：始终使用目标音频码率。1：拼接列表...
匹配查找告警
当不需要整条日志内容作为告警内容时，可用正则方式提取部分日志内容作为告警内容。六、配置告警 匹配查找告警 的告警内容为整条日志内容。在 告警配置 区域中，配置以下信息：告警标题：输入自定义的告警标题。告警内容附带最大日志条数：...
导入Kafka数据
提取时间正则 如果您选择的 数据格式 为 极简模式，您需要设置正则表达式提取Kafka数据中的时间。例如，数据内容为 message with time 2022-08-08 14:20:20，则您可以设置 提取时间正则 为 \d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d。时间字段...
匹配条件说明
User-Agent 等于、不等于 等于多值之一、不等于任一值 包含、不包含 包含多值之一、不包含任一值 存在、不存在 内容为空 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 发起访问请求的客户端的浏览器标识、渲染...
Logtail限制说明
正则默认最大处理能力为20 MB/s（与正则表达式的复杂度有关）。分隔符日志最大处理能力为40 MB/s。JSON日志最大处理能力为30 MB/s。通过启动参数 process_thread_count 设置多个处理线程，可提升1.5~3倍性能。最大监控目录及文件数 与内存...
Logtail
正则默认最大处理能力为20 MB/s（与正则表达式的复杂度有关）。分隔符日志最大处理能力为40 MB/s。JSON日志最大处理能力为30 MB/s。通过启动参数 process_thread_count 设置多个处理线程，可提升1.5~3倍性能。最大监控目录及文件数 与内存...
数据脱敏
在日志服务数据加工服务中，常见的脱敏方法有正则表达式替换（关键函数 regex_replace）、Base64转码（关键函数 base64_encoding）、MD5编码（关键函数 md5_encoding）、str_translate映射（关键函数 str_translate）、GROK捕获（关键函数 ...
字符串函数
REGEXP_EXTRACT_ALL 在字符串中查找所有出现的正则表达式匹配的子字符串，并把找到的字符串以数组形式返回。REGEXP_INSTR 返回字符串从指定位置开始，与指定规则匹配指定次数的子串的起始或结束位置。REGEXP_REPLACE 将字符串中，与指定...
匹配条件字段说明
等于、不等于、等于多值之一、不等于任一值 包含、不包含、包含多值之一、不包含任一值 存在、不存在 内容为空 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 发起访问请求的客户端的浏览器标识、渲染引擎标识和...
超低延时直播常见问题
浏览器支持WebRTC API，但不支持H.264编码，仅支持VP8（如部分安卓手机系统自带浏览器）。为什么Safari/iOS报错：Failed to set remote answer sdp 如果遇到如下报错：Failed to set remote answer sdp:The order of m-lines in answer ...
基础概念
压缩视频的时候给这个视频指定码率参数，用以告诉视频编码器期望的压缩后视频的大小。在一定范围内，码率越高，视频越清晰，文件也越大。建议码率：清晰度 建议码率 480P 1000000~2000000 540P 2000000~3000000 720P 2000000~4000000 1080P...
更新RTS自定义转码配置
AudioCodec String 否 aac 音频编码器。取值：aac。mp3。说明 如果要使用opus编码，把Opus选项参数置为true即可。AudioRate Integer 否 44100 音频采样率。取值：22050，32000，44100，48000，96000。其中44100比较常用。单位：Hz。说明 ...
mkdir（创建目录）
如果不指定该选项，则表示目录名称未经过编码。使用示例 按如下步骤将目标文件上传至指定目录。创建目录。创建单级目录./ossutil64 mkdir oss:/examplebucket/dir/以下输出结果表明已在目标存储空间examplebucket下成功创建名为dir/的目录...
音视频转码
从人眼视觉模型出发，凭借阿里云技术算法，将编码器的优化目标从保真度更高调整为主观体验更好，突破视频编码器的能力上限，在节省码率的同时，也能提供更加清晰的观看体验。相比窄带高清 TM 1.0，码率更低，分辨率更佳。目前仅上海、北京...
函数概览
正则式函数 函数名称 说明 支持SQL 支持SPL regexp_extract_all函数 提取目标字符串中符合正则表达式的子串，并返回所有子串的合集。提取目标字符串中符合正则表达式的子串，然后返回与目标捕获组匹配的子串合集。regexp_extract函数 提取...
分钟统计/无 Key
目前暂时不支持正则填写。四、配置日志筛选 日志筛选 提供 新增白名单筛选 或 新增黑名单筛选 两种方式进行日志关键字筛选：白名单 相当于 SQL 里的［Where Field=?语义。黑名单 相当于 SQL 里的［Where Field< >?语义。默认关闭。如需筛选...
新建和管理标准集目录
如果未选择，则作为一级目录。目录名称 自定义目录名称。命名规则如下：不能超过128个字符。全局唯一。不支持正斜线（/）。目录编码 自定义目录编码。命名规则如下：仅支持英文、字母和数字。不能超过12位。全局唯一。目录编码在实际展示上...
过滤器
SingleColumnValueRegexFilter：支持对类型为String的列值，使用正则表达式进行子字符串匹配，然后根据实际将匹配到的子字符串转换为String、Integer或者Double类型，再对子值使用过滤器进行过滤。CompositeColumnValueFilter：根据多个...
GetTranscodeJob-查询转码任务
H.264/AVC/MPEG-4 AVC/MPEG-4 part 10 Profile string 编码器预设。High Codec_time_base string 编码时基。1/50 Codec_tag_string string 编码格式标记文本。[27][0][0][0]Codec_tag string 编码格式标记。0x001b Width string 宽。848 ...
添加RTS自定义转码配置信息
AudioCodec String 否 aac 音频编码器。取值：aac。mp3。说明 如果要使用opus编码，把Opus选项参数置为true即可。AudioRate Integer 否 44100 音频采样率。取值：22050~96000，其中44100比较常用。单位：Hz。说明 如果音频编码AudioProfile...
基本概念
Two-Pass：编码器执行两次来精准分配码率，以获取体积更小质量更高的编码结果。first pass用于分析视频并生成log文件，second pass会根据分析结果执行编码以获得最佳编码质量。Two-Pass相比One-Pass模式需要花费更多时间，所以无法使用在...
配置同步任务
系统支持枚举形式、类正则形式及两者混合形式，例如：table_[001-100];table_102。单击 图标。在 确认匹配详情 对话框中，选择匹配的表。单击 确认。切分键 当数据源类型为MySQL、Oracle时，支持设置。您可以将源数据表中某一列作为切分键...
图片水印
例如，作为图片水印的Object为Bucket内 image 目录下的 panda.png，则需要编码的内容为 image/panda.png，编码后的字符串为 aW1hZ2UvcGFuZGEucG5n。说明 水印图片只能使用当前存储空间内的Object。Base64编码后的字符串。水印图片预处理...
- 产品推荐
- 这些文档可能帮助您