提取日志时间
配置示例 将%Y/m/d%H:%M:%S 格式的原始时间（log_time 字段的值）解析为对应的日志时间，时区使用机器所在时区。假设时区为东八区。原始日志"log_time":"2022/01/02 12:59:59"Logtail插件处理配置 处理结果"log_time":"2022/01/02 12:59:59...
filter子句
string类型的字段值，在filter子句中必须要加双引号，支持所有的关系运算，不支持算术运算。string类型字段的过滤仅支持=、!运算，含义为等于、不等于，不支持>、<等关系运算。多值字段使用=、!时，其语义是多值字段只要包括filter的值即可...
filter子句
string类型的字段值，在filter子句中必须要加双引号，支持所有的关系运算，不支持算术运算。string类型字段的过滤仅支持=、!运算，含义为等于、不等于，不支持>、<等关系运算。多值字段使用=、!时，其语义是多值字段只要包括filter的值即可...
表格（Pro版本）
只将 pv 字段的值设置为文本高亮显示，并根据阈值显示对应的颜色。交互事件 交互事件用于对单个查询分析的结果或单个查询分析结果中的单列数据进行交互设置，加深数据分析的维度。交互事件包括打开日志库、打开快速查询、打开仪表盘、打开...
匹配条件说明
值小于、值等于、值大于 匹配字段的值小于、等于、大于匹配内容。前缀匹配、后缀匹配 匹配字段的前缀、后缀包含匹配内容。正则匹配、正则不匹配 匹配字段正则表达式、不匹配字段正则表达式 内容为空 匹配字段内容为空。配置示例 示例1：...
filter子句
string类型的字段值，在filter子句中必须要加双引号，支持所有的关系运算，不支持算术运算。string类型字段的过滤仅支持=、!运算，含义为等于、不等于，不支持>、<等关系运算。多值字段使用=、!时，其语义是多值字段只要包括filter的值即可...
filter子句
string类型的字段值，在filter子句中必须要加双引号，支持所有的关系运算，不支持算术运算。string类型字段的过滤仅支持=、!运算，含义为等于、不等于，不支持>、<等关系运算。多值字段使用=、!时，其语义是多值字段只要包括filter的值即可...
表格填报
若您的入库配置表未包含全部字段，未绑定填报控件的字段值也会被清空，请谨慎操作。写入物理表设置 选择 数据源、物理表 数据源选择：仅可选择同时有使用权限且数据库账号有写入权限的数据源。选择物理表写入，可以选择 已有表，也可以选择...
配置Kafka输入组件
例如：{"data":{"name":"bob","age":35 } } 为Kafka记录的value值，当源头表字段配置为data.name时，将会读取bob作为这个字段的值并写入对应目标表，支持添加的字段类型为Java类型和datax的映射类型。同时可以对已添加的字段执行如下操作：...
配置Kafka输入组件
例如：{"data":{"name":"bob","age":35 } } 为Kafka记录的value值，当源头表字段配置为data.name时，将会读取bob作为这个字段的值并写入对应目标表，支持添加的字段类型为Java类型和datax的映射类型。同时可以对已添加的字段执行如下操作：...
统计分组
一旦选择为 分组字段 后，算子将会本次请求中的字段值和历史请求数据进行分组。例如：选择“性别”作为分组字段，则算子会使用性别字段分组，分成“男”、“女”、“”。统计项 统计项是对经过统计范围筛选后的数据进行分组聚合操作。统计...
错误码映射插件
errorCode 字段，则获取 errorCode 字段的值，并寻找与 mappings 中 code 匹配的 映射记录,如果步骤3没有匹配到 映射记录，则依次执行 mappings 字段配置了 condition 的 映射记录 如果步骤3或4中匹配到了 映射记录，根据对应的配置构造...
查询字符串语法
查询字符串语法是SLS DSL中用于快速过滤数据的语法，可以简化条件判断。本文介绍查询字符串的通用语法规则。函数列表 使用以下函数时，您可以使用查询字符串语法。类型 函数 场景 事件检查函数 e_search 使用查询字符串判断事件的字段值...
单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置控件 的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
投递日志到MaxCompute（旧版）
格式_partition_time_是根据日志服务中_time_字段的值计算得到的，结合分区时间格式，向下取整。为避免触发MaxCompute单表分区数目的限制，日期分区列的值会根据投递间隔对齐。例如：日志服务的日志时间为 27/Jan/2016 20:50:13+0800，日志...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
下拉多选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段 ⑤默认值：根据设置 数据字段内容 进行下拉选择。来源于 选择 数据集。①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
下拉单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置 控件的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
新建及管理标准模板
取值约束 根据已选 属性字段类型 和 填写方式，可配置如下不同的取值约束：下拉单选/多选框：若属性字段取值为枚举类型，需要在此处通过取值约束配置可枚举范围，枚举项将生成对应的下拉选项值，创建数据标准时可以从下拉列表中选取此处...
新建及管理标准模板
取值约束 根据已选 属性字段类型 和 填写方式，可配置如下不同的取值约束：下拉单选/多选框：若属性字段取值为枚举类型，需要在此处通过取值约束配置可枚举范围，枚举项将生成对应的下拉选项值，创建数据标准时可以从下拉列表中选取此处...
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
Quick BI维度或度量字段如何重命名
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI中如何对报表中显示的数据字段重命名。问题描述 根据业务需求在报表显示的字段要重命名，但是不知道如何对仪表板中的度量字段进行重命名为自定义的别名？问题原因 没有找到...
多选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。来源于 选择 数据集。①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
手动修正数据
非敏感字段为您过滤已手动修改为非敏感字段的数据。说明 目前支持对ODPS、EMR、CDH、HOLO引擎中的敏感字段识别结果进行修正。修正单个数据 在上图的区域②为您展示识别结果列表，您可以单击 显示字段设置 勾选您需要关注的字段信息，刷新...
查看内置规则模板
数据质量为您提供内置表级别、字段级别的监控模板。本文为您介绍数据质量的校检逻辑及内置模板规则。计算说明 计算波动率：您可以根据波动率计算公式（波动率=（样本-基准值）/基准值）计算结果。样本 当天采集的具体的样本的值。例如对于...
任务导出
同时，在设置导出字段的时候，也可以直接拖动调整字段的排序，排序和导出的表头字段对应。二、项目任务导出 在项目中点击任务面板右上角的三个点，即可看到「导出任务」的操作按钮，支持三种导出方式。自定义表头字段导出当前筛选条件下的...
字段操作
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
正排索引特性
在线场景下：对于配置为可更新的多值正排字段，会在内存中开辟一个可扩展的分片内存区域用来存储更新的value值，同时会将原先value对应的offset指向新的扩展分片地址，从而实现实时多值更新的功能。离线场景下：对于配置为可更新的多值正排...
正排索引特性
在线场景下：对于配置为可更新的多值正排字段，会在内存中开辟一个可扩展的分片内存区域用来存储更新的value值，同时会将原先value对应的offset指向新的扩展分片地址，从而实现实时多值更新的功能。离线场景下：对于配置为可更新的多值正排...
AvgAggregation
在多元索引统计聚合中表示求平均值，用于返回一个字段的平均值，类似于SQL中的avg。请求数据结构 message AvgAggregation { optional string field_name=1;optional bytes missing=2;encoded as SQLVariant,check in SearchProxy } 名称 ...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
新建数据模型
内存实体 不存储在数据库中，仅临时存储在应用程序内存中的实体。系统默认实体 系统默认实体里面既含有实体，也有内存实体。系统默认实体实际上是引用模块的实体，系统数据模块是应用的默认引用模块。操作步骤 登录 魔笔。在顶部菜单栏选择...
- 产品推荐
- 这些文档可能帮助您