字段值提取函数
JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。相关示例，请参见 复杂JSON数据加工。分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，...
数字水印（暗水印）
从视频文件中提取视频版权水印信息 在需要确认版权归属时，可以通过下述步骤，提取指定视频文件中的版权水印信息：提交视频版权水印提取作业。通过SubmitCopyrightExtract接口，提交需要提取版权水印信息的视频文件信息。接口详细说明请...
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
查询和分析JSON日志的常见问题
json_extract函数和json_extract_scalar函数都是用于从JSON对象或JSON数组中提取内容，用法类似，主要区别如下：json_extract函数的返回值是JSON类型，json_extract_scalar函数的返回值是varchar类型。说明 此类型是指SQL语法中的数据类型...
函数总览
e_json 对日志特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。e_kv 通过quote提取多个源字段中的键值对信息。e_kv_delimit 通过分隔符提取源字段中的键值对信息。e_csv 使用自定义的分隔符与预定义的字段...
Quick BI中上传本地文件中的字段转为度量不显示
将本地文件中的字段类型从文本改为数值型，同时去掉%和千位分隔符，再重新上传本地文件。2.上传后使用此本地文件数据源创建数据集，可以看到字段会自动解析成为度量。3.点击度量后的设置按钮，单击默认展示格式，选择转化率字段格式为...
创建事件运维任务
选择从事件消息体选择参数时，可以配置jq表达式，从事件消息体中提取字段。从事件消息体中提取字段，使用$开头，加上jq表达式。比如我们要从ECS的 生命周期状态变化 事件消息体中提取事件详情（content）中的resourceId，应该使用$.content...
配置user.xml参数
背景介绍 ClickHouse集群有若干参数，参数默认值通常配置在config.xml和user.xml文件中，您可以通过修改参数帮助进行实例优化，其中：config.xml配置文件中的参数，您可以通过控制台进行在线修改并重启实例使修改后的参数生效。详情请参见 ...
自有App自定义多国语言
复制一份SDK中的xml文件中的所有string字段到自己刚刚创建的文件中。把需要的自定义的key对应的value值修改为自己想要的值即可。注意 如果这样自定义，不能删除任意一个string，否则会编译报错。开发iOS自定义多国语言 OA语言切换 自定义...
挂载文件存储 HDFS 版文件系统
export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。name>fs.defaultFS</name><value>dfs:/f-xxxxxxxx....
安装文件系统SDK
vim etc/hadoop/core-site.xml 在core-site.xml文件中，配置如下信息。name>fs.defaultFS</name><value>dfs:/f-xxxxxxxx....
表达式函数概览
GROK函数 grok 根据正则表达式提取特定的值。特定结构化数据函数 json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse 将值解析为JSON对象。xml_to_json 将xml数据转成JSON再做展开操作。IP解析函数 geo_parse 根据IP地址...
快速开始
工程配置 配置 AndroidManifest 在 AndroidManifest.xml 文件中添加以下权限：在 AndroidManifest.xml 文件中添加以下配置。将通配符${applicationId} 替换为真实的包名。例如，将${applicationId}.fileprovider 替换为 ...
常见问题排查
No FileSystem for scheme:dfs 信息 执行 hadoop 命令行或者任务失败，提示 No FileSystem for scheme:dfs 信息时，请按如下步骤进行排查：确认如下 文件存储 HDFS 版 相关配置已经添加到所有Hadoop环境的core-site.xml文件中。...
access-monitor（访问跟踪）
使用示例 在本地XML文件中配置开启或关闭访问跟踪。开启访问跟踪状态?xml version="1.0"encoding="UTF-8?Status>Enabled</Status></AccessMonitorConfiguration>关闭访问跟踪状态?xml version="1.0"encoding=...
restore（解冻文件）
exampleobject1.jpg dir1/exampleobject2.png dir2/exampleobject3.txt 在 config.xml 文件中配置解冻状态时间为3天。Days>3</Days></RestoreRequest>解冻多个归档类型Object。结合-object-file 选项解冻目标存储空间...
resource-group（资源组）
使用示例 在本地XML文件中设置Bucket所属资源组。xml version="1.0"encoding="UTF-8?ResourceGroupId>rg-aekz*</ResourceGroupId></BucketResourceGroupConfiguration>为examplebucket设置所属资源组...
性能优化最佳实践
调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。name>alidfs.default.write.buffer.size</name><value>8388608</value>...
字段提取模式
本文介绍函数中字段提取模式参数的取值以及含义。相关函数 以下为使用字段提取模式mode参数的函数列表及其参数默认值。分类 函数 mode的默认值 字段值赋值函数 e_set overwrite 字段值提取函数 e_regex fill-auto e_json fill-auto e_kv ...
快速入门
export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。name>fs.defaultFS</name><value>dfs:/f-xxxxxxxx....
特定结构化数据函数
函数列表 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse 将值解析为JSON对象。XML xml_to_json 将xml数据转成JSON数据。json_select 根据JMES语法提取或计算JSON表达式中特定的值。函数格式 ...
style（设置图片样式）
使用示例 在本地XML文件中配置样式文件。xml version="1.0"encoding="UTF-8?Content>image/resize,p_50</Content></Style>通过以下示例为examplebucket设置名为examplestyle的样式。ossutil64 style-method put oss:/...
通过元数据发现导入至湖仓版
重要 如果文件类型相同，但文件中字段的数据类型不一致，也不能进行映射。oss:/adb/Table2/year/month/day/file3.json oss:/adb/Table2/year/month/day/file4.json oss:/adb/映射到 AnalyticDB MySQL 的表为分区表，表名为 Table2，分区...
数据源插件说明
配置项名称 说明 示例 JsonKeyValueExtractor 从JSON格式的来源字段中提取指定的键值，提取出来的键值作为目标表字段的内容，只能抽取某个key中的值。{“title”:”the content”,”body”:”the content”} 中提取出键值title的内容，若...
数据源插件说明
配置项名称 说明 示例 JsonKeyValueExtractor 从JSON格式的来源字段中提取指定的键值，提取出来的键值作为目标表字段的内容，只能抽取某个key中的值。{“title”:”the content”,”body”:”the content”} 中提取出键值title的内容，若...
通过AlbConfig配置ALB监听
详情见下表：序号 条件 结果 对象是否在对象配置文件中 对象是否在现有对象配置文件中 对象是否在last-applied-configuration字段中 ① 是 是-（无需关注）将对象配置文件中的值应用于现有配置文件，来更新现有对象的特定字段。② 是 否-...
语言简介
字段值提取函数 支持通过正则表达式、GROK、KV、KV分隔符、CSV、TSV、PSV、Syslog等方式提取字段中的多个值或键值对。支持JSON数据提取并进行富化。映射富化函数 支持基于字典、表格进行映射或搜索。支持从规则配置、外部OSS Bucket、RDS ...
通过AlbConfig配置ALB监听
详情见下表：序号 条件 结果 对象是否在对象配置文件中 对象是否在现有对象配置文件中 对象是否在last-applied-configuration字段中 ① 是 是-（无需关注）将对象配置文件中的值应用于现有配置文件，来更新现有对象的特定字段。② 是 否-...
导入Amazon S3文件
说明 针对其他类型的数据格式，如果您只需提取时间字段中的部分内容，也可通过正则表达式提取。时间字段格式 指定时间格式，用于解析时间字段的值。支持Java SimpleDateFormat语法的时间格式，例如 yyyy-MM-dd HH:mm:ss。时间格式的语法...
自定义开发组件蓝图说明
在当前 publicHandler 字段中自定义设置 显示 和 隐藏 的描述，但是需要与 index.js 文件中的方法名保持一致。说明 动作逻辑都可自定义多个，自定义设置越多，蓝图编辑器节点页面显示动作越多。打开 index.js 文件，设置代码中的 container...
如何使用蓝图编辑器自定义开发组件
在当前 publicHandler 字段中自定义设置 显示 和 隐藏 的描述，但是需要与 index.js 文件中的方法名保持一致。说明 动作逻辑都可自定义多个，自定义设置越多，蓝图编辑器节点页面显示动作越多。打开 index.js 文件，设置代码中的 container...
导入OSS数据
说明 针对其他类型的数据格式，如果您只需提取时间字段中的部分内容，也可通过正则表达式提取。时间字段格式 指定时间格式，用于解析时间字段的值。支持Java SimpleDateFormat语法的时间格式，例如 yyyy-MM-dd HH:mm:ss。时间格式的语法...
Terraform类型模板结构
如果.tf文件中定义的参数未在Parameters中定义，则ROS会自动从.tf文件中提取参数，并在Parameters中生成定义。如果.tf文件中定义的参数已经在Parameters中定义，则不会提取参数，使用Parameters中已有的定义。Parameters中的参数类型必须与...
查询及分析日志
在 显示字段 区域，单击目标字段后的 图标，将索引字段从显示字段中清除，在右侧日志信息中不再显示。说明 未添加任何 显示字段 时，右侧日志信息展示系统默认配置的字段。单击字段后的 图标，查看字段的 基本分布情况、统计指标 等信息。...
错误码映射插件
.condition 中的条件表达式使用的参数，与 parameters 字段中定义的字段必须对应，否则会报错，关于参数定义与条件表达式，参考 参数与条件表达式的使用 文档 errorCode 字段中使用的参数必须为 parameters 中定义的字段 mappings 列表记录...
消息通知功能说明
Authorization签名经过Base64 Decode后，再用从X509证书中提取的公钥对其进行解密。比较第二、三两步的结果是否一致。如果一致，则表明请求来自MNS，访问合法。其他：用来签名的字符串为utf-8格式。签名的方法用 RFC 3447 中定义的sha1...
添加HTTP监听
数据压缩 开启该配置会对特定文件类型进行压缩，关闭该配置则不会对任何文件类型进行压缩。目前Brotli支持压缩所有类型，Gzip支持压缩的类型包括：text/xml、text/plain、text/css、application/javascript、application/x-javascript、...
FuzzyQuery-模糊查询
查询所有已提取的文件元数据（包含文件名、标签、路径、自定义标签、文本等字段），只要文件元数据中有一个字段的值匹配指定字符串，该文件的元数据就会被返回。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 ...
OSS-HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取LONG字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。}...
Trace数据格式
env：Span环境信息，从 resource.deployment.environment 字段中提取。version：Span版本，从 resource.service.version 字段中提取。db：Database调用信息。如果为空，则不是Database调用。version String 指标类型，目前固定为metric_...
- 产品推荐
- 这些文档可能帮助您