字段加工
本文介绍字段加工算子的使用方法和注意事项。用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。...注意事项 新加的字段代码不允许重复。新加的字段数据类型和加工结果数据类型得保持一致。
字段分析
Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所占的最小字符长度。平均长度 该字段值的...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
文本查询
当 显示名称字段 与 查询值字段 不一致时，需要手动修改显示名称字段。order_level 排序字段 支持按照选定字段进行排序。可选项，不填写则默认按照数据集中顺序排序。如果需要设置按照某一个字段排序，可以在下拉选择排序字段（例如按照...
用户属性管理
赋值逻辑 选择当用户属性同时关联的多个字段发生冲突时的赋值逻辑，支持：保留创建时间最早的字段值 保留更新时间最晚的字段值 保留出现频次最高的字段值 空值取值逻辑 选择遇字段空值时的取值逻辑，支持：有值优先：当多个字段中有字段为...
管理元数据
编辑元数据 重要 必填字段 中第一个必填字段不允许编辑。系统元数据不支持编辑操作。在 元数据注册 页面，单击需要编辑元数据所在行 操作 列下的 图标。在 编辑元数据 对话框提示，只支持字段的增删操作，其他参数不可编辑。添加元数据的...
管理元数据
编辑元数据 重要 必填字段 中第一个必填字段不允许编辑。系统元数据不支持编辑操作。在 元数据注册 页面，单击需要编辑元数据所在行 操作 列下的 图标。在 编辑元数据 对话框提示，只支持字段的增删操作，其他参数不可编辑。添加元数据的...
新建查询控件
当 显示名称字段 与 查询值字段 不一致时，需要手动修改显示名称字段。排序字段：支持按照选定字段进行排序。可选项，不填写则默认按照数据集中顺序排序。查询时间：支持 点击查询 和 预先查询。点击查询：默认值。当触发查询按钮时，启动...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查询语法
字段查询语法 字段查询对应的字段类型包含 text、long、double、JSON，且针对具体的字段进行查询，其查询语法为：indexname1[:|>|>=|<||=|in]keyword1[[and|or|not]indexname2.]说明 indexname1 是需要查询的字段名，当字段名、表名等专有...
filter表达式
语法：filter:"表达式"其中表达式 左值 关系运算符 右值 左值：可以是一个属性字段或者是一个常量值（可以是数值或者string）关系运算符：目前支持的逻辑运算有>、<、=、、>=、!右值：可以是一个属性字段或者是一个常量值（可以是数值或者...
比较运算符
比较运算符用于判断参数的大小关系，适用于任意可比较的数据类型（double、bigint、varchar、timestamp和date）。本文介绍比较运算符的基本语法以及示例。日志服务支持如下比较运算符。重要 在日志服务分析语句中，表示字符串的字符必须...
数据集成侧同步任务能力说明
重要 在自动建表场景下：源端已有字段不允许删除或调整顺序。源端已有字段名不允许修改。源端已有字段可以调整数据类型、主键、描述等配置。上图示例对已有表 hudi_b.tb_order_1 增加了一个 add_col 字段，数据类型配置为 TEXT，字段描述为...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
0011-00000007
如果该字段的值包含不允许的字符（例如 \r、等），就会导致返回该错误。解决方案 请检查请求的表单域中Content-Disposition字段的值是否包含非法字符。关于如何设置Content-Disposition，请参见 管理文件元数据。相关文档 管理文件元数据 ...
敏感数据保护概览
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
字段操作函数
原始日志 test1:123 test2:456 test3:789 加工规则 e_pack_fields("test")加工结果 test:{"test1":"123","test2":"456","test3":"789"} 示例2：将日志所有字段打包到 test 字段，不删除被打包的原始字段。原始日志 test1:123 test2:456 ...
全局操作函数概览
字段值提取函数 e_regex 根据正则表达式提取字段的值并赋值给其他字段。e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。e_kv 通过quote提取多个源字段中的键值对信息。e_kv_delimit 通过分隔符...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
Quick BI数据集的度量字段不显示值，显示横杆“-”
概述 本文主要介绍数据集新建字段不显示的情况。问题描述 客户在数据集新建度量字段，但是度量字段不显示数值全是“-”。问题原因 聚合类字段是不在数据集展示的。解决方案 在数据集中聚合类字段是不展示的，但是可以在仪表板里面预览看到...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
删除有约束的列
MySQL 数据库的字段类型 是否允许执行删除 OceanBase 数据库 MySQL 租户的字段类型 是否允许执行删除 INT 允许 INTEGER 不允许 TINYINT 允许 TINYINT 不允许 SMALLINT 允许 SMALLINT 不允许 MEDIUMINT 允许 MEDIUMINT 不允许 BIGINT 允许 ...
特定结构化数据函数
default String 否 如果提取字段不存在，则返回此处设置的值。默认为None，表示不返回字段。restrict Bool 否 提取字段的值不是合法的JSON格式时，是否严格限制加工。默认值False。False：忽略报错，数据加工继续处理，返回 default 定义的...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
分页类接口结果聚合
该选项包含以下四个字段：字段名 描述 PageNumber 字段值对应API返回结果中描述列表当前页码的字段，默认值：PageNumber。PageSize 字段值对应API返回结果中描述每页返回的最大结果数量的字段，默认值：PageSize。TotalCount 字段值对应API...
过滤处理
Logtail过滤处理插件支持根据日志字段值来进行日志过滤。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志...
倒排索引类型
STRING索引的字段允许为多值字段，按照多值分隔符切分，对每个STRING建立倒排。可以采用截断，高频词bitmap和tfbitmap的方式提高检索性能 信息名称 df ttf tf fieldmap section信息 position positionpayload docpayload termpayload 是否...
日志字段详情
db 数据库名。fail SQL执行是否出错。如果是MySQL实例或SQL Server实例，则执行成功时，字段值为0，除0之外的其他值都表示失败。如果是PostgreSQL实例，则执行成功时，字段值为0000，除0000之外的其他值都表示失败。client_ip 访问RDS实例...
过滤日志
日志3 不采集 ip 字段的值不匹配 采集日志 中的正则表达式。JSON配置方式 参数说明 配置 type 为 processor_filter_regex，detail 说明如下表所示。说明 日志字段的值完全匹配 Include 中的正则表达式，且不匹配 Exclude 中的正则表达式时...
insertOne
说明_id 字段为系统保留字段，在插入数据时请勿指定该字段值，系统将会自动分配。如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为...
日志字段
db_name string 数据库名称。fail int SQL执行是否出错，取值范围如下：0：未出错 1：出错 fetched_rows int 从存储拉取的记录行数。hint string SQL执行使用的HINT。instance_id string PolarDB-X 实例ID。memory_reject int 是否因为内存...
创建索引或约束支持的字段类型
MySQL 数据库字段类型 是否支持 OceanBase 数据库 MySQL 租户字段类型 是否支持 INT 不支持 INTEGER 不支持 TINYINT 不支持 TINYINT 不支持 SMALLINT 不支持 SMALLINT 不支持 MEDIUMINT 不支持 MEDIUMINT 不支持 BIGINT 不支持 BIGINT 不...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
StorageDescriptor
API 解释 org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat Parameters object 键值对的映射数组 string 键值对 key SerDeInfo SerDeInfo 序列化/反序列化信息 SkewedInfo SkewedInfo 一个字段中的大量重复值（数据倾斜）的...
StorageDescriptor
org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat Parameters object 键值对的映射数组 string 键值对 key SerDeInfo SerDeInfo 序列化/反序列化信息 SkewedInfo SkewedInfo 一个字段中的大量重复值（数据倾斜）的设定 ...
- 产品推荐
- 这些文档可能帮助您