原图保护
设置自定义分隔符后，可使用分隔符代替样式参数，进一步简化图片处理URL。例如，使用携带样式参数的图片处理URL访问图片时，格式为 https://BucketName.Endpoint/ObjectName?x-oss-process=style/StyleName 。将自定义分隔符设置为感叹号!...
分隔符
简介 分隔符组件用于展示一条分割布局的分隔符，可以配置显示线条类型和分隔符方向。属性配置 图片组件属性由以下部分组成：分类 样式 示例 说明 样式 线条类型 此配置项规定了分隔符组件显示的线条类型，可选择显示实线或者虚线。方向 此...
样式访问
是样式的分隔符，URL后带了这个分隔符，图片处理服务就会把该分隔符后面的内容当成样式的名称。StyleName 表示样式的名称。创建样式、删除样式和修改样式都在前端控制台实现。当访问的样式在指定频道（Channel）不存在时，将返回...
内容模板语法（新版）
{#this is a comment#} 清除空字符 默认情况下，在分隔符内部，分隔符与表达式之间的空格会被忽略。例如 {{ 23 }}等同于 {{23}}，渲染结果都为 23。但是分隔符外部的空字符（空格、Tab、换行等）会被保留，例如 {{ 23 }}的渲染结果为 23，...
创建自定义监控
一般空格做为分隔符的，建议选中关键字后，自动生成空格分隔。也可以用 ASCII 码，实现隐型符号的分隔，写法如：char(1,2)。白名单列值 同一个列值位的白名单，支持多个值的选取，可以用“,”分隔，如：aaaa,bbbb,cccc。多个“白名单筛选列...
Tunnel命令
返回结果+-+-+-+-+-+|shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|shopx|x_id|300.0|201312|hangzhou|shopy|y_id|400.0|201312|hangzhou|+-+-+-+-+-+-rd 指定本地数据文件的行分割符。默认值为 \r。s 指定是否扫描...
Tunnel命令
返回结果+-+-+-+-+-+|shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|shopx|x_id|300.0|201312|hangzhou|shopy|y_id|400.0|201312|hangzhou|+-+-+-+-+-+-rd 指定本地数据文件的行分割符。默认值为 \r。s 指定是否扫描...
导入中特殊符号处理
OSS高速并行导入 在数据导入过程中，一般是将文件的每行作为一个元组，通过在每行中规定分隔符来分割每一列的数据。下文将介绍分隔符的使用方法和约束，以及每列中遇到特殊符号的处理方法。分隔符 在创建OSS外部表语法中，您可以通过在...
数字翻牌器
分隔符背景 打开开关，分隔符显示背景色样式。默认位数 翻牌器默认显示几位数字。说明 如果 默认位数 比数据长度小，那么头部超出部分会省略。反之，则会在头部补0。数据四舍五入 打开开关，数值直接四舍五入为整数进行显示；关闭开关，...
配置监控告警
说明 请确保key与value的冒号后存在空格分隔符。Params 可选，请求参数，格式为 key:value。说明 请确保key与value的冒号后存在空格分隔符。Body 必填，请求体，用来存放post的参数和参数数据。您可以在Body字符串中使用$content占位符输出...
数字翻牌器
分隔符背景 打开开关，分隔符显示背景色样式。默认位数 翻牌器默认显示几位数字。说明 如果 默认位数 比数据长度小，那么头部超出部分会省略。反之，则会在头部补0。数据四舍五入 打开开关，数值直接四舍五入为整数进行显示；关闭开关，...
SplitAnalyzerParameter
表示多元索引中分词类型为分隔符分词时的可选配置。数据结构 message SplitAnalyzerParameter { optional string delimiter=1;} 名称 类型 是否必选 说明 delimiter string 否 分隔符，默认是空白字符，可以自定义分隔符。当自定义的分隔符...
文档管理
separators：处理大型数据切分策略的分隔符，一般无需指定。文档理解 document_loader_name会根据文档名后缀来自动决定使用哪个loader：UnstructuredHTMLLoader：....
分隔符
使用场景 当页面需要对不同章节的文本段落，以及对行内文字或链接进行分割时，您可以使用 分隔符 组件。使用说明 分隔符 组件包括以下两种类型：水平分隔符：对不同章节的文本段落进行分割。垂直分隔符：对行内文字或链接进行分割，例如...
Dataphin在同步任务中报错“java.lang....
2.用户设置的分隔符和源表分隔符一致，但是源表类型为TEXTFILE，某个字段为文本字段包含了分隔符，导致识别出多个分割位置。解决方案 1.修改同步任务设置的分隔符和源表的分隔符保持一致。2.源表使用ORCFILE格式建表。适用于 Dataphin
Quick BI富文本设置数据格式千位分隔符未生效
问题描述 Quick BI富文本中使用的度量值，对其数据格式设置了千位分隔符，但是预览时未生效是什么原因？问题原因 度量字段用的是文本类型，富文本中的度量设置千位分隔符需要度量为数值类型。解决方案 将富文本中使用的度量转换为数值类型...
提取字符串动态键值对
不同提取场景的三种方案如下：方案 关键字提取 值提取 关键字加工 值加工 e_kv 使用特定正则表达式 支持默认的字符集、特定分隔符或者带(、)或（"）分隔 支持前后缀 支持文本escape e_kv_delimit 使用特定正则表达式 使用分隔符 支持前后缀...
STRING_SPLIT
本文为您介绍如何使用STRING_SPLIT函数，根据指定的分隔符将目标字符串拆分为子字符串，并返回子字符串列表。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持STRING_SPLIT函数。语法 string_split(string,separator)入参 参数 数据类型 ...
Quick BI中上传本地文件中的字段转为度量不显示
问题原因 转化率带%，金额有千位分隔符，且两个字段在本地文件中均为文本格式，上传到BI中创建数据集时会自动解析为文本类型存在维度中，当转度量时由于不是数值型数据，会解析失败，无法正常显示。解决方案 1.将本地文件中的字段类型从...
LLM-计数过滤
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
分词
分隔符分词（Split）表格存储提供了基于通用词典的分词，但是有些特殊行业需要一些自定义的辞典做分词，为了解决此问题，表格存储提供了分隔符分词，也叫自定义分词，用户先按照自己的方式分词，再按照特定分隔符分隔后写入表格存储。分隔...
LLM-长度过滤
无 是否根据样本长度过滤 否 文本分隔符：根据分隔符将文本进行拆分，并统计拆分后的列表长度，默认为空。如果为空，则不做拆分，直接统计文本的长度。分隔符需用半角双引号（""）括起来。长度最小值：文本长度小于该值将被过滤掉。长度...
Logtail配置
file：通过固定模式（正则模式、分隔符模式等）采集文本文件中的日志。inputDetail JSON object 是 无 日志输入的相关配置。更多信息，请参见 inputDetail参数说明。outputType string 是 LogService 日志输出的方式，只支持LogService，即...
同步增量数据到OSS
您需要使用数据中不存在的分隔符作为行分隔符。如果要使用Linux或Windows平台的默认行分隔符（、\r）建议置空此配置，平台能自适应读取。编码 当设置 文本类型 为 text 或 csv 时才能配置该参数。写入文件的编码配置。null值 当设置 文本...
导出全量数据到OSS
您需要使用数据中不存在的分隔符作为行分隔符。如果要使用Linux或Windows平台的默认行分隔符（、\r）建议置空此配置，平台能自适应读取。编码 当设置 文本类型 为 text 或 csv 时才能配置该参数。写入文件的编码配置。null值 当设置 文本...
列数据转KV
算法简介 将数据格式从多列转成Key:Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔符。转换之后，多列数据转换为一列。可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 无 读数据...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
日志采集支持纳秒精度时间戳
时间解析插件需要配置时间格式，例如分隔符插件解析后的字段 time 为 2023.10.26-20.58.12.123456，时间转换格式 应调整为%Y.%m.%d-%H.%M.%S.%f，其中%f 为秒的小数部分，精度最高支持为纳秒。时间转换格式需要与原始日志中的时间格式保持...
分隔符日志
本视频向您展示数据加工结构化数据分隔符日志的解析。
列运算
todict 将字符串按分隔符拆分为一个Dict，传入的两个参数分别为项目分隔符和Key-Value分隔符（返回dict,string>类型）。strptime 格式化时间，时间格式和Python标准库相同，详情请参见 Python 时间格式化。时间相关操作 对于DATETIME类型...
数据源插件说明
例如 literal_array字段类型：{“tags”:[“a”,”b”,”c”]} 或 int_array字段类型：{“tags”:[1,2,3]} MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的...
MULTI_KEYVALUE
当split1的长度>1时，split1仅表示分隔符的集合，每个字符都表示一个有效的分隔符。split2 VARCHAR KV的分隔符。当split2为NULL时，表示按照空格作为KV的分割符。当split2的长度>1时，split2仅表示分隔符的集合，每个字符都表示一个有效的...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
hive输出组件配置截图：任务运行日志没有报错，如下图：hive库中查询集成的数据的字段都为空值NULL：问题原因 客户创建hive表时没有指定分隔符，管道中分割符填写不对导致。解决方案 该问题是由于选择的hive目标表创建时没有指定分隔符，...
管理平台系统表和时序/快照表
导出CSV文件分隔符 仅支持选择 竖线。单击 确定。创建导出任务成功后，可单击操作列 查看，查看导出任务日志。任务运行成功后，单击操作栏 下载，会下载CSV文件到本地。开启实时数据集成（Flink）仅 产品属性时序表 和 产品事件表 支持开启...
KeyValue函数
按照指定的分隔符split2拆分split1分隔后的字符串，如果没有指定，按照冒号（:）拆分。否，如果填写，必须填上split1。key TEXT 字符串按照split1和split2拆分后，返回匹配到的key值对应的value。是 返回值说明 返回TEXT类型。返回规则如下...
KEYVALUE
本文为您介绍如何使用KEYVALUE函数，将目标字符串按照split1分隔符拆分成Key-Value（KV）对，然后按照split2分隔符将Key-Value对分开，返回Key对应的Value。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持KEYVALUE函数。语法 VARCHAR ...
数据源插件说明
例如 literal_array字段类型：{“tags”:[“a”,”b”,”c”]} 或 int_array字段类型：{“tags”:[1,2,3]} MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的...
区域图（v4.0以下版本）
千分位分隔符：选中后，当数据位数大于4时，系统会使用您设置的分割符进行分隔显示。千分位分割符符号：千分位分割符的符号，仅当 千分位分隔符 配置项为true时有效，不支持数字作为分割符。小数分割符符号：小数分割符的符号，仅当 数据四...
添加云产品数据源
行分隔符 可选：系统默认分隔符、逗号、竖线、空格、制表符、自定义。选择 系统默认分隔符 时，会自动匹配使用当前系统的分隔符。选择 自定义 时，需输入一个可见字符。说明 数据格式 为 JSON 时，行分隔符 不支持设置为 逗号。数据格式 为...
如何在日志样例中设置不可见字符
在某些场景下，需要使用不可见字符作为日志的 分隔符 或 引用符，本文档主要介绍如何在日志样例中填写不可见字符。背景信息 如果需要保留日志的原始格式，而且日志内容中本身存在逗号（,）、分号;等字符，使用这些字符作为 分隔符 或 引用...
- 产品推荐
- 这些文档可能帮助您