通过数据同步功能同步Kafka至湖仓版（推荐）
JSON解析层级 设置JSON的嵌套解析层数，取值说明：0：不做解析。1（默认值）：解析一层。2：解析两层。3：解析三层。4：解析四层。JSON的嵌套解析策略，请参见 JSON解析层级和Schema字段推断示例。Schema字段映射 展示样例数据经过JSON解析...
JSON_PARSE
将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 string：必填，待处理的STRING字符串。返回值说明 返回JSON类型。使用示例 示例1：字符串转换为JSON类型。select json_parse('{"a":1,"b":2}...
字段值提取函数
exclude_path="",jmes="",output="",jmes_ignore_none=False,mode='fill-auto')说明 使用e_json解析目标数据，如果需要解析的字符串不符合JSON数据结构，则不会进行字符串解析，而返回原字符串。参数说明 参数名称 参数类型 是否必填 说明 ...
数据编码与解码
原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。JSON配置方式 配置 type 为 processor_base64_encoding，detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey String 是 原始字段名。NewKey ...
使用Android SDK请求OSS资源时出现No ...StatusCode报错
No value for StatusCode org.json.JSONException:No value for StatusCode 问题原因 该报错是Android SDK对于JSON数据解析的错误，错误是在请求STS服务端时，STS服务端返回ststoken信息中参数问题导致发生报错。解决方法 Android SDK请求...
上下游存储
Hologres 报错：BackPressure Exceed reject Limit 报错：remaining connection slots are reserved for non-replication superuser connections 报错：no table is defined in publication 日志服务SLS 报错：Caused by:...
JSON解析
Logtail JSON解析插件支持将Object类型的JSON日志结构化，解析为键值对形式。使用限制 JSON日志构建于两种结构，包括Object类型（键值对的集合）和Array类型（值的有序列表）。Logtail JSON解析插件是原生插件，支持解析Object类型的JSON...
ALTER TABLE
为JSON列中的指定属性键创建索引时，若该JSON列已存在INDEX索引，需先删除该列的INDEX索引，否则会报错。注意事项 增加JSON索引后，需要等待BUILD完成后，JSON索引才能生效。自动BUILD、手动BUILD以及BUILD任务的进度，请参见 BUILD。通过 ...
MaxCompute JSON类型使用指南
需要将客户端安装路径下的 conf\odps_config.ini 文件中的参数 use_instance_tunnel 设置为false，否则查询会报错。Studio只支持查询JSON类型的操作，不支持上传、下载JSON类型数据。如果表存在其他引擎读取情况，比如Hologres等，目前不...
JSON_EXTRACT
解析JSON表达式中对应json_path的数据，注意json_path非法时会报错。命令格式 json json_extract(<json>,<json_path>)参数说明 json：必填，待处理的JSON。json_path：必填，需要返回的值的JSON路径。返回值说明 返回JSON类型。使用示例 ...
API&SDK常见问题
您需要解析阿里服务器发送的测试内容：{"json":"test-content"}，这个测试内容是JSON格式，不是Json Array格式。在设置回调地址进行测试的时候，需要您本地按照JSON格式进行校验；测试完成后，实际接收回执消息的时候，需要按照Json Array...
JSON函数
ARRAY_APPEND JSON_ARRAY_INSERT JSON_INSERT JSON_MERGE JSON_MERGE_PATCH JSON_MERGE_PRESERVE JSON_REMOVE JSON_REPLACE JSON_SET JSON_UNQUOTE JSON属性 JSON_DEPTH JSON_LENGTH JSON_TYPE JSON_VALID JSON工具 JSON_PRETTY JSON_...
Quick BI上传文件，报错“Excel 表单解析失败”
问题描述 用户上传Excel文件，发现报错“Excel 表单解析失败”。问题原因 用户上传的文件拓展名与文件格式不一致，Quick BI现行兼容拓展名为xslx的Excel文件。解决方案 需要在本地修改文件拓展名为xslx。适用于 Quick BI
日志服务采集数据常见的错误类型
单击错误查看详细报错，根据其中的日志数量、缓冲区大小、解析时间来确定是否正常。如果不正常，检查Logtail所在节点是否有其他进程占用了过多的CPU资源或是存在效率较低的正则表达式等不合理的解析配置。REDIS_PARSE_ADDRESS_ALARM redis...
Hologres SQL语句的常见问题
报错：Creating publication with table that without binlog is not supported now 报错：bigint out of range 报错：too many shards in this instance 报错：Feature not supported:insert into parent table 报错：timestamp out of ...
Spark SIMD JSON使用说明
使用Spark SIMD（全称Single Instruction Multiple Data，单指令多数据流）JSON，可以比Spark原生JSON解析更快。本文为您介绍如何开启Spark SIMD JSON，以及使用示例。开启Spark SIMD JSON 您可以在E-MapReduce开启Spark SIMD JSON。针对...
最佳实践
解析Syslog标准格式数据 解析Nginx日志 解析Java报错日志 提取字符串动态键值对 特定格式文本数据加工 解析CSV格式日志 复杂JSON数据加工 转换Log为Metric 从其他Logstore获取数据进行数据富化 从OSS获取IPIP库进行IP地址数据富化 从OSS...
解析JSON格式日志
例如：如果标准输出日志为JSON格式，添加前缀后，JSON解析就会失败。本文介绍如何通过阿里云日志服务SLS的Processor能力解决日志的JSON格式解析问题。问题现象 ACS底层组件记录的标准输出日志与原生K8s日志格式一致，在每行标准输出日志前...
解析JSON格式日志
例如：如果标准输出日志为JSON格式，添加前缀后，JSON解析就会失败。本文介绍如何通过阿里云日志服务SLS的Processor能力解决日志的JSON格式解析问题。问题现象 ECI底层组件记录的标准输出日志与原生K8s日志格式一致，在每行标准输出日志前...
配置Kafka输入
预置取值方式：提供6种可选预置从kafka记录中取值的方式：value：消息体 key：消息键 partition：分区号 offset：偏移量 timestamp：消息的毫秒时间戳 headers：消息头 JSON解析取值：可以通过.（获取子字段）和[]（获取数组元素）两种语法...
SQL常见问题
开发报错 报错：undefined 报错：Object '*' not found 报错：Only a single 'INSERT INTO' is supported 报错：The primary key is necessary when enable 'Key:'scan.incremental.snapshot.enabled',default:true(fallback keys:[])' to ...
复杂类型函数
JSON_EXTRACT 解析JSON表达式中对应json_path的数据，注意json_path非法时会报错。JSON_EXISTS 查看json_path对应的JSON值是否存在。JSON_PRETTY 美化JSON，增加换行及空格。JSON_TYPE 返回JSON数据所属的数据类型名称。JSON_FORMAT 将JSON...
特定结构化数据函数
原始日志 content:this is not json 加工规则 e_set("json",json_parse(v("content"),default="FFF",restrict=False))加工结果 content:this is not json json:FFF xml_to_json 将xml数据转成JSON数据。函数格式 xml_to_json(source)参数...
云函数支持固定出网IP
示例 const result=await ctx.httpProxyClient.get('https://api.weixin.qq.com/cgi-bin/token',{ grant_type:'client_credential',appid:'xxxx',secret:'xxxx' })/result 格式为字符串，需要做一次JSON解析 return JSON.parse(result)输出...
OSS上传回调时出现“The callback ...json format”报错
发生报错的原因是在您将callbackBodyType设置为 application/json 后，callbackBody参数没有使用有效的JSON格式。解决方案 发起回调请求的Content-Type，支持 application/x-www-form-urlencoded 和 application/json，默认为前者。...
展开JSON字段
原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。将原始字段名作为展开字段名前缀 选中该选项后，系统会将原始字段名作为所有JSON展开字段名的前缀。解析失败保留原始日志 选中该选项后，如果解析日志...
cjson
更正文档 概述 cJSON是符合ANSI C标准的极轻量级JSON解析器。版权说明 说明 The MIT License 目录结构├─src│├─cJSON.c#源文件（必需）│└─cJPath.c#源文件（必需）├─include│└─cJSON.h#包含cJSON API├─package.yaml#编译配置...
0007-00000103
问题原因 您发送的请求中用于上传回调的 callback-var 参数Base64解码后不是合法的JSON结构，导致接口报错。callback-var 参数即URL中的 callback-var 参数，或是请求头中的 x-oss-callback-var 字段，或是Post请求中名为 callback-var 的...
解析JSON格式日志
ECI的标准输出日志为原生K8s日志，每行日志前会增加时间戳、来源等信息，这会导致系统无法正常解析JSON格式日志。本文介绍如何通过阿里云日志服务SLS的Processor能力解决ECI日志的JSON格式解析问题。问题现象 ECI底层组件记录的标准输出...
解析JSON格式日志
ECI的标准输出日志为原生K8s日志，每行日志前会增加时间戳、来源等信息，这会导致系统无法正常解析JSON格式日志。本文介绍如何通过阿里云日志服务SLS的Processor能力解决ECI日志的JSON格式解析问题。问题现象 ECI底层组件记录的标准输出...
解析JSON格式日志
ECI的标准输出日志为原生K8s日志，每行日志前会增加时间戳、来源等信息，这会导致系统无法正常解析JSON格式日志。本文介绍如何通过阿里云日志服务SLS的Processor能力解决ECI日志的JSON格式解析问题。问题现象 ECI底层组件记录的标准输出...
JSON_TUPLE
在需要对同一个JSON字符串多次解析的情况下，相比于多次调用GET_JSON_OBJECT，JSON_TUPLE可以一次输入多个Key，且JSON字符串只被解析一次，效率更高。JSON_TUPLE是UDTF，在需要选取其他列时应配合 Lateral View 使用。使用示例-创建一张表...
Quick BI如何解析JSON格式
概述 本文主要介绍Quick BI如何解析JSON文件格式。详细信息 当前Quick BI解析JSON格式使用的是API数据源。使用方式可以参考产品文档 API数据源 适用于 Quick BI 说明：本文是基于Quick BI公有云专业版4.4.1版本进行验证。
0007-00000008
问题原因 您发送的请求中用于上传回调的Callback参数Base64解码后会得到一个JSON结构，如果其中callbackUrl内的URL解析出来如果不是正常可访问的公网地址，就会导致接口报错。callbackUrl参数表示的是文件上传成功后，OSS发送回调请求的...
打包字段
原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key，配置示例如下：原始日志"a":"1""b":"2"Logtail插件处理配置 处理结果"a":"1""b":"2""d_key":"{...
QuickBI自定义SQL创建数据集运行报错“Unexpected ...
问题原因 此类报错通常是因为自定义SQL关联了很多张表，从而导致运行失败。而且，查询表数量过大会导致数据集查询变得很慢。解决方案 建议先在数据库里做好数据清洗，优化SQL，如删掉不需要的字段，多添加索引。适用于 Quick BI 说明：本文...
0007-00000003
问题原因 您发送的请求中用于上传回调的Callback参数Base64解码后不是合法的JSON结构，导致接口报错。Callback参数即URL中的callback参数，或是请求头中的 x-oss-callback 字段，或是Post请求中名为callback的表单域。该参数是由一段经过...
提取字段
正则不匹配报错 选中该选项后，如果您所指定的正则表达式与原始字段的值不匹配，系统将报错。保留原始字段 选中该选项后，解析后的日志中将保留原始字段。解析失败保留原始字段 选中该选项后，如果解析日志失败，解析后的日志中将保留原始...
Quick BI数据集预览报错："Unexpected token< inJSON ...
问题描述 Quick BI数据集预览报错："Unexpected token< inJSON at position 0。问题原因 查看接口报错信息是502，是由于查询超时导致的。解决方案 配置odps数据源时需要开启查询加速。适用于 Quick BI
转换IP地址
解析失败报错 选中该选项后，如果IP地址无效或在数据库中未匹配到该IP地址，系统将报错。语言 语言属性。默认值为 zh-CN 。重要 请确保您的GeoIP数据库中包含对应的语言。配置示例 将日志中的IP地址转换成对应的地理位置，示例如下：原始...
- 产品推荐
- 这些文档可能帮助您