从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
扩展字段
管理员可在扩展字段菜单中定义并使用新的字段。说明 当前仅支持账户的扩展字段，其他主体暂不支持。创建字段 管理员可前往【扩展字段】菜单，点击【创建字段】按钮，弹出字段的创建表单。需要填写的内容说明如下：字段 说明 是否支持编辑 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
字段值提取函数
本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
过滤处理
(INFO|DEBUG)).*，表示不采集 level 字段值中包含 INFO 或 DEBUG 的日志。设置 字段名 为 level，字段值 为^?(INFO|DEBUG)$).*，表示不采集 level 字段值为 INFO 或 DEBUG 的日志。设置 字段名 为 url，字段值 为.*?(healthcheck)).*，表示...
过滤日志
日志3 不采集 日志中没有符合 采集日志 中的正则表达式的字段。JSON配置方式 参数说明 配置 type 为 processor_filter_key_regex，detail 说明如下表所示。说明 存在日志字段名称完全匹配 Include 中的正则表达式，且不匹配 Exclude 中的正...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
全局操作函数概览
e_set 添加新字段或为现有字段设置新的字段值。e_drop_fields 删除符合条件的日志字段。e_keep_fields 保留符合条件的日志字段。e_pack_fields 打包日志字段，并输出到新的字段中。e_rename 重命名符合条件的日志字段名称。字段值提取函数 ...
字段分析
Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所占的最小字符长度。平均长度 该字段值的...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"FireResult":2}]查询和分析语句*|SELECT json_array_length(Results)查询和分析结果 示例2：计算 time 字段值中JSON元素的数量。字段样例 time:["time_local","request_time","upstream_...
账单升级前后能力差异说明
因存量历史账单数据未做该字段值的处理，所以存量数据中币种字段为空，新的业务数据中币种字段有值，统计报表汇总时会出现两条字段一致的数据。随着用户进入新版灰度时，阿里云会进行存量数据的刷新，该情况将不再发生。2、此次影响范围：...
折线类常见问题
当数据里有 s 字段时，不同的 s 字段值为不同的系列（多条折线）。说明 配置项中的样式渲染默认按照数据的顺序。即如果第一个出场的数据是系列2，则该系列的数据将以配置项中的第一个系列样式来渲染。如果系列期望特定的排序，建议使用过滤...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
字段操作函数
False：输出结果中不删除被打包的原数据。返回结果 返回被打包后的日志数据。函数示例 示例1：将日志所有字段打包到 test 字段，默认删除被打包的原始字段。原始日志 test1:123 test2:456 test3:789 加工规则 e_pack_fields("test")加工...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
PolicyItem
x-test-uid value string value 指定控制流量灰度的字段值。请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，决定请求是否被路由到灰度版本上。11111 operator string operator 指定运算符。将请求中由...
控制台错误日志说明
JSON插件 字段值JSON内容中不包含JSON插件的配置的key 7520 单个文档过长，超出系统限制。校验场景 系统可配置，当前默认值为1M 7524 range字段内容格式不正确,字段补充默认值 经纬度校验，字段格式-123.01,87.5 经度不在[-180,180]范围内 ...
控制台错误日志说明
json插件 字段值json内容中不包含json插件的配置的key 7520 单个文档过长，超出系统限制。校验场景 系统可配置，当前默认值为1M 7524 range字段内容格式不正确,字段补充默认值 经纬度校验，字段格式-123.01,87.5 经度不在[-180,180]范围内 ...
配置HBase输出组件
同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，...
Sensors Data（神策）数据源
示例"dataConverters":[{"type":"NotNull2Null"}]无 IfElse if条件表达式，判断字段值是否满足条件，当if条件表达式成立时，在value中定义满足条件时的字段返回值，当if条件表达式不成立时，在else中定义不满足条件时的字段返回值。...
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
日志字段详情
慢日志中的 audit_type 字段值固定为 slowop，如果为其他值，则为审计日志。字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid ...
数学函数
返回数据表Products中字段Price的最大值：SELECT MAX(Price)AS LargestPrice FROM Products;MIN(expression)返回字段expression中的最小值。返回数据表Products中字段Price的最小值：SELECT MIN(Price)AS MinPrice FROM Products;MOD(x,y)...
调整字段安全级别
在 请先选择数据库 对话框中，搜索并选择目标数据库，单击 确认。调整字段敏感等级。右键单击目标表名，选择 敏感数据管理>安全级别调整，字段敏感等级调整完成后，单击 提交流程到安全部门。单击表列表 图标，在目标表的 操作 列下选择 更...
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
下拉多选
下拉多选为基础控件，下拉菜单中选择多个数据，用于数据选项较多且 多选 的场景。应用场景 下拉多选常用于数据选项较多且需要多选的场景。例如 产品编号。效果图 控件配置 基础配置 配置项 描述说明 ①显示标题：选择是否显示下拉多选控件...
单选
单选为基础控件，直接单击进行选择，在表单中使用非常广泛。应用场景 单选用于数据选项较少可直接罗列展示进行选择的场景。例如 性别、收入类型 等。效果图 控件配置 基础配置 配置项 描述说明 ①显示标题：选择是否显示单选控件标题，支持...
GroupByField
在多元索引统计聚合中表示字段值分组，用于根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。请求数据结构 message GroupByField { optional string field_name=1;optional int32 size...
下拉单选
下拉单选为基础控件，下拉菜单中进行选择，用于数据选项较多的场景。应用场景 下拉单选控件常用于数据选项较多的场景，例如 省份、员工编号、产品类型、民族 等。效果图 控件配置 基础配置 配置项 描述说明 ①显示标题：选择是否显示下拉...
分类玫瑰图（v4.x版本）
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。显示 显示组件，参考数据示例如下。return{"animationType":"","animationDuration":1000,"animationEasing":"linear"} 隐藏 显示组件，参考数据示例如下。return{...
数据建模
数据建模支持ER模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。...一致性：支持当前逻辑表和已物化物理表的字段一致性对比，支持当前逻辑表与数据开发所引用的节点中模型的字段一致性对比。
添加字段
忽略重复字段 存在相同的字段名时，是否忽略重复的字段。配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 ...
基本散点图
本文介绍基本散点图全量选择时各配置项的含义。图表样式 基本散点图是使用散点来展示数据的一种图表，适用于展示不同时间下离散数据的差异。基本散点图支持自定义x轴...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
功能简介
数据建模支持ER（Entity-Relationship）模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和...一致性：支持当前逻辑表和已物化物理表的字段一致性对比，支持当前逻辑表与数据开发所引用的节点中模型的字段一致性对比。
- 产品推荐
- 这些文档可能帮助您