从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
过滤处理
Logtail过滤处理插件支持根据日志字段值来进行日志过滤。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志...
异常类型说明
判断条件 异常类型说明 result.type 字段值为anomaly_info result.anomaly_type 字段值为N_CLUSTER_EVENT_ANOMALY 日志类别中的日志数量异常。result.type 字段值为anomaly_info result.anomaly_type 字段值为NEW_CLUSTER_ANOMALY 出现新的...
数据脱敏
如果您的业务有数据安全的需求，可以设置数据脱敏功能。在数据集中设置需要脱敏的...添加至白名单的用户，不受权限规则限制，可查看该数据集得完整字段值。后续步骤 数据集设置完成后，您可以进行数据分析，请参见 新建仪表板 和 制作图表。
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
查询和分析
无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。操作并发数 单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个...
文字
使用方法 表达式.Enum.PageFitType.wdPageFitNone 表达式：文档类型应用对象 参数 字段 值 描述 wdPageFitNone 0 对文档窗口大小进行调整后不为适应文档窗口尺寸而缩放视图。wdPageFitBestFit 2 文档窗口大小进行调整后使页面以最佳尺寸...
添加数据
表单模式添加数据 添加向量数据 在向量管理>添加数据页中选择表进行添加数据：添加相应字段值（包括主键、稠密向量），点击 添加：当执行结果出现"message":"success"说明数据上传成功：数据上传成功后，可以在查询测试页面进行查询：添加...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
演示
使用方法 表达式.Enum.MsoTriState.msoTrue 表达式：文档类型应用对象 参数 字段 值 描述 msoTrue-1 带边框。msoFalse 0 不带边框。PpFixedFormatIntent 通过 PpFixedFormatIntent 指定导出文件的目的。使用方法 表达式.Enum....
replaceOne
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。doc Object 是 替换的目标文档。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 upsert Boolean 否 如果查找不到对应文档...
表格
使用方法 表达式.Enum.XlPasteSpecialOperation.xlPasteSpecialOperationAdd 表达式：文档类型应用对象 参数 字段 值 描述 xlPasteSpecialOperationAdd 0x1 复制的数据目标单元格中的值相加。xlPasteSpecialOperationDivide 0x4 复制的数据...
字段过滤
您在制作仪表板或电子表格时，如果您的数据量较大，可以启用过滤器功能，将需要的某一类或者某几类数据从数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。字符类 您可以通过设置过滤器将直辖市从省份字段里过滤出来。以...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 JSON插件字段内容不是JSON格式，推送失败，请检查后重试。JSON插件 字段值不是JSON格式 7504 JSON插件字段内容对应key不存在，补充默认值。JSON插件 字段值JSON内容中不包含JSON...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
查询语法
如果字段名称或者字段值内有空格、冒号（:）、连字符（-）等特殊字符，请使用双引号（""）包裹字段名称或者字段值，例如"file info":apsara。and and运算符。例如 request_method:GET and status:200。如果多个关键词之间没有语法关键词，...
使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
日志字段详情
db 数据库名。fail SQL执行是否出错。如果是MySQL实例或SQL Server实例，则执行成功时，字段值为0，除0之外的其他值都表示失败。如果是PostgreSQL实例，则执行成功时，字段值为0000，除0000之外的其他值都表示失败。client_ip 访问RDS实例...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 json插件字段内容不是JSON格式，推送失败，请检查后重试。json插件 字段值不是JSON格式 7504 json插件字段内容对应key不存在，补充默认值。json插件 字段值json内容中不包含json...
分析概述
字段值大小 单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明 默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置 统计字段（text）最大长度。具体操作，请参见 设置字段值的最大长度...
PolicyItem
请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，决定请求是否被路由到灰度版本上。11111 operator string operator 指定运算符。将请求中由参数 key 指定的字段的实际值和参数 value 指定的值，按指定...
文本查询
从数据库中搜索 在进行筛选查询时，当筛选项大于1000条时，默认展示前1000条的选项值，超出此范围可直接搜索，如果未搜索到您想要的选项值，您可尝试 从数据库中搜索。说明 仅展示类型为 下拉列表 且选项值来源为 自动解析 或 单个数据集 ...
逻辑运算符
查询和分析语句*|SELECT status=200 AND request_method='GET' 查询和分析结果 SPL 如果status字段值为200且request_method字段值为GET，则返回true。否则返回false。SPL语句*|extend a=status=200 AND request_method='GET' SPL结果 OR...
列级权限
在仪表板查询字段时，该用户仅可以查看规则范围内的字段值，从而保证数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。禁止规则及效果展示 禁止规则 配置分析师A禁止查看 客户名称 字段。效果展示 在交叉表中，分析师A无法查看 ...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值和 progress 字段值都为map类型，您可以使用map_concat函数将这两个字段值合并为一个Map。字段示例 etl_context:{ project:"datalab-148*6461-...
如何降低索引流量费用？
如果是全文索引，则日志字段名（Key）和字段值（Value）都将作为text类型存储，字段名和字段值都被计入在索引流量中。如果是字段索引，long类型和double类型的字段名不计入在索引流量中。使用字段索引，可降低索引流量费用。例如：对 ...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
数据建模
标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：除了表和字段不支持的规则外的其他自定义SQL规则返回值和期望值做对比。说明 Select结果...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
异常类型说明
判断条件 异常类型说明_tag_:_data_type_字段值为job_error_message。result.entity 和 result.metric 字段都不为空。在预测某条时间序列时出现异常。您可以通过 result.error_type 和 result.error_msg 字段查看异常信息。tag_:_data_type...
字段分析
Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所占的最小字符长度。平均长度 该字段值的...
查看数据探查报告及探查记录
字段值分布 对字段值的分布情况进行统计，并生成字段值分布图，帮助您快速了解字段值分布概况，为后续链路的数据开发和应用提供参考。所有数据类型均支持，不同字段数据类型统计指标不同。字段值直方图和条形图详情如下：若该字段为 数值型...
- 产品推荐
- 这些文档可能帮助您