文本向量场景快速入门
字段配置 OpenSearch会根据您选择的场景模板，预置相关字段，并会将全量数据来源中的字段（如有），自动导入字段列表中：设置字段：‘向量文本搜索’模板必须至少包含4个预置字段，id（主键）、vector_source_text（向需要文本向量化的文本...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
原生存证接口
类型 说明 from Identity 交易结果日志中的字段，代表交易发送者 to Identity 交易结果日志中的字段，代表交易接收者 topics List交易结果日志中的字段，交易执行的事件主题 logData byte[]交易结果日志中的字段，交易执行中的日志数据 ...
原生存证接口
类型 说明 from Identity 交易结果日志中的字段，代表交易发送者 to Identity 交易结果日志中的字段，代表交易接收者 topics List交易结果日志中的字段，交易执行的事件主题 logData byte[]交易结果日志中的字段，交易执行中的日志数据 ...
创建多元索引
sourceFieldName（可选）：数据表中的字段名称，类型为String。当设置isVirtualField为true时，必须设置此参数。dateFormats（可选）：日期的格式，类型为String。当字段类型为Date时，必须设置此参数。更多信息，请参见 日期数据类型。...
字段过滤
单击 排除，添加到右侧的 已添加 列表中的字段值被排除。单击 清空，添加到右侧的 已添加 列表中的字段值被清空。设置完成后，单击 确定。单击 更新，系统会按照过滤器的设置，重新绘制图表。数值类 您可以在过滤器中，设定一个过滤范围，...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
配置Kafka输出组件
当写入模式为JSON时，目标表字段名将决定源端读取记录的列值在JSON结构中的字段名，例如源头表字段有两列，值为a和b，目标表字段配置为col1和col2，那么写入Kafka的记录Value为字符串{"col1":"a","col2":"b"}。单击 确认，完成Kafka输出...
配置Kafka输出组件
当写入模式为JSON时，目标表字段名将决定源端读取记录的列值在JSON结构中的字段名，例如源头表字段有两列，值为a和b，目标表字段配置为col1和col2，那么写入Kafka的记录Value为字符串{"col1":"a","col2":"b"}。单击 确认，完成Kafka输出...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
通用版快速入门
字段配置 OpenSearch会根据您选择的场景模板，预置相关字段，并会将全量数据来源中的字段（如有），自动导入字段列表中：设置字段，必须包含至少两个字段，主键字段 和 向量字段（向量字段需要设置为多值float类型）:如果需要带有类目的...
图搜场景快速入门
字段配置 OpenSearch会根据您选择的场景模板，预置相关字段，并会将全量数据来源中的字段（如有），自动导入字段列表中：设置字段：‘向量图片搜索’模板必须至少包含4个预置字段，id（主键）、vector（向量字段）、cate_id（类目字段）、...
扫描（Scan）分析概述
根据SQL语句中的字段，扫描上述查询结果，提取这些字段对应的数据。执行SQL语句，对上述提取到的字段数据进行聚合分析，并返回最终的分析结果。扫描分析与索引分析的对比 对比项 索引分析 扫描分析 语法 查询语句|分析语句（标准SQL）查询...
配置HBase输出组件
同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，...
提取字段
PreserveOthers Boolean 否 待分割的字段数量大于 SplitKeys 参数中的字段数量时，是否保留超出部分。true：保留。false（默认值）：不保留。ExpandOthers Boolean 否 是否解析超出部分。true：解析。您可以通过 ExpandOthers 参数解析超出...
字段操作函数
原始日志 age:18 content:123 name:twiss 加工规则 e_if(e_search("content=123"),e_keep_fields("content","age"))加工结果 age:18 content:123 e_pack_fields 调用e_pack_fields函数将日志字段进行打包，并输出到新的字段中。函数格式 e_...
全局操作函数概览
本文介绍日志服务提供的全局操作函数清单。日志服务LOG DSL（Domain Specific Language）提供近三十种全局操作函数，您可以在数据加工中...增值内容函数 e_threat_intelligence 获取日志字段中IP地址或域名的威胁情报信息并输出到指定字段。
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
查询语法
JSON类型 针对JSON对象中的字段，您可根据其值，将数据类型设置为long、double或text，并开启统计功能。根据JSON对象中的字段的类型使用不同的运算符。运算符 重要 in运算符只能小写，其他运算符不区分大小写。日志服务保留以下运算符的...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
设计阶段
表设计的步骤如下所示：设计表名、字段名：要求相同的字段在不同表中的字段名相同，相关规范请参见 命名规范。设计主键和外键。设计字段注释：通过标注字段注释、枚举值来表明字段含义，如果枚举值过多，建议为枚举值创建维表。设计表分区...
控制台错误日志说明
本文主要介绍OpenSearch行业算法版和高性能检索版控制台各类错误日志的使用场景以及触发条件。索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时...字符串拼接插件 字符串拼接插件涉及的字段中配置了array类型的字段
Quick BI维度或度量字段如何重命名
问题描述 根据业务需求在报表显示的字段要重命名，但是不知道如何对仪表板中的度量字段进行重命名为自定义的别名？问题原因 没有找到字段重命名的功能按钮，也可以使用新建计算字段来对原有字段重命名。解决方案 1.进入仪表板编辑页面，在...
函数总览
e_csv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。默认分隔符为半角逗号（,）。e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。默认分隔符为 \t。e_psv 使用自定义的分隔符与预定义的字段名，...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
数据加工
主表（数据输入1）中的字段和数据将全部展示，次表（数据输入2）中相同的字段对应的数据将在行上进行扩展，不同的字段与数据不会展示。字段列表：展示主表数据输入1的字段。清洗加工 去掉数据表中不需要的列和行，并新增需要的列和行。从...
云数据库查询优化
EMAS Serverless云数据库使用的是MongoDB。在数据量比较大的情况下，有时候查询操作会报错 operation exceeded time limit。本文介绍如何进行查询优化以避免此类问题。设置合适的索引 如果您的查询操作包含了过滤条件（包含等值测试和范围...
控制台错误日志说明
本文主要介绍OpenSearch行业算法版和高性能检索版控制台各类错误日志的使用场景以及触发条件。索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时...字符串拼接插件 字符串拼接插件涉及的字段中配置了array类型的字段
查询与分析日志的常见报错
ErrorType:SyntaxError.ErrorPosition,line:1,column:19.ErrorMessage:line 1:19:Expression"data"is not of type ROW 报错原因 查询和分析语句中所使用的字段的数据类型错误。解决方法 检查及修改查询和分析语句，然后重新执行。ErrorType...
表格函数
设置该参数后，再使用映射富化函数时，映射富化函数的 field 参数中的字段应与此处保持一致。关于映射富化函数的更多信息，请参见 映射富化函数。返回结果 返回映射后的表格数据。函数示例 示例1：直接构建，并映射字段的值。原始日志 city...
SPL概述
SPL数据处理过程中的数据类型转换说明，请参见 通用参考。SPL指令表达式 指令表达式语法 cmd-option=<option>-option.,.as,.参数说明 参数 说明 cmd 指令名称。option 指令执行参数，可选。使用时必须指定参数名，参数名以中划线（-）开头...
扩展字段
可编辑：用户可以对自己在该字段中的值进行查看和编辑。可编辑。填写扩展字段 创建完新字段，确保字段处于启用状态后，即可使用。管理员可以来到【账户与组织】菜单，点击【创建账户】按钮。在弹出的表单上方，即可切换到【扩展字段】标签...
分隔符模式解析
例如分隔符为半角逗号（,），引用符为双引号（"），且日志字段内部包含双引号（"）和半角逗号（,），需要将包含半角逗号（,）的日志字段用引用符包裹，同时将日志字段中的双引号（"）转义为"。处理后的日志格式为：1999,Chevy,"Venture"...
字段值提取函数
分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。e_csv：默认分隔符为半角逗号（,）。e_psv：默认分隔符为竖线（|）。e_tsv：默认分隔符为\t。支持和其他函数组合使用。相关示例，请参见 ...
IIS模式解析
日志提取字段 根据 IIS配置字段 中的内容自动生成日志字段（Key）。解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始字段 选中 解析成功时保留原始字段，则解析成功时，将保留原始...
数据类型映射
多元索引的字段值来源于数据表中同名字段的值，两者的数据类型必须相匹配，多元索引字段数据类型与数据表中字段数据类型的匹配关系请参见下表。注意 表中的类型必须一一对应，否则数据会被当做脏数据丢弃，尤其是Geo-point和Nested拥有各自...
创建多元索引
sourceFieldName（可选）：数据表中的字段名称，类型为String。当设置isVirtualField为true时，必须设置此参数。dateFormats（可选）：日期的格式，类型为String。当字段类型为Date时，必须设置此参数。更多信息，请参见 日期数据类型。...
MySQL分库分表同步至Hologres（方案1.0）
为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在...
用户信息录入配置
指住户录入信息页面中直接可查看的字段内容 扩展数据，指住户录入信息页面中点击“”后可查看的字段内容 排序，指字段出现在用户入驻页面中的顺序 配置完成后可在小程序中查看住户信息录入的展示 说明 配置限制 姓名、身份、手机号三项为不...
- 产品推荐
- 这些文档可能帮助您