从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
异常类型说明
判断条件 异常类型说明 result.type 字段值为anomaly_info result.anomaly_type 字段值为N_CLUSTER_EVENT_ANOMALY 日志类别中的日志数量异常。result.type 字段值为anomaly_info result.anomaly_type 字段值为NEW_CLUSTER_ANOMALY 出现新的...
数据脱敏
如果您的业务有数据安全的需求，可以设置数据脱敏功能。在数据集中设置需要脱敏的...添加至白名单的用户，不受权限规则限制，可查看该数据集得完整字段值。后续步骤 数据集设置完成后，您可以进行数据分析，请参见 新建仪表板 和 制作图表。
没有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段类型的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
replaceOne
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。doc Object 是 替换的目标文档。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 upsert Boolean 否 如果查找不到对应文档...
表格
使用方法 表达式.Enum.XlPasteSpecialOperation.xlPasteSpecialOperationAdd 表达式：文档类型应用对象 参数 字段 值 描述 xlPasteSpecialOperationAdd 0x1 复制的数据目标单元格中的值相加。xlPasteSpecialOperationDivide 0x4 复制的数据...
字段过滤
您在制作仪表板或电子表格时，如果您的数据量较大，可以启用过滤器功能，将需要的某一类或者某几类数据从数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。字符类 您可以通过设置过滤器将直辖市从省份字段里过滤出来。以...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 JSON插件字段内容不是JSON格式，推送失败，请检查后重试。JSON插件 字段值不是JSON格式 7504 JSON插件字段内容对应key不存在，补充默认值。JSON插件 字段值JSON内容中不包含JSON...
查询语法
如果字段名称或者字段值内有空格、冒号（:）、连字符（-）等特殊字符，请使用双引号（""）包裹字段名称或者字段值，例如"file info":apsara。and and运算符。例如 request_method:GET and status:200。如果多个关键词之间没有语法关键词，...
没有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、all...
数据加工
拆分字段 在 字段列表 视图下，根据字段值进行拆分字段。说明 仅字段类型为 文本 时，才支持此操作。重命名字段 鼠标悬浮至目标字段上，单击右侧的 图标（①），或者双击目标字段名称（②），均可以重命名字段。编辑字段 说明 新增计算字段...
日志字段详情
db 数据库名。fail SQL执行是否出错。如果是MySQL实例或SQL Server实例，则执行成功时，字段值为0，除0之外的其他值都表示失败。如果是PostgreSQL实例，则执行成功时，字段值为0000，除0000之外的其他值都表示失败。client_ip 访问RDS实例...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 json插件字段内容不是JSON格式，推送失败，请检查后重试。json插件 字段值不是JSON格式 7504 json插件字段内容对应key不存在，补充默认值。json插件 字段值json内容中不包含json...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
列级权限
在仪表板查询字段时，该用户仅可以查看规则范围内的字段值，从而保证数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。禁止规则及效果展示 禁止规则 配置分析师A禁止查看 客户名称 字段。效果展示 在交叉表中，分析师A无法查看 ...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
字段分析
Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所占的最小字符长度。平均长度 该字段值的...
insertOne
说明_id 字段为系统保留字段，在插入数据时请勿指定该字段值，系统将会自动分配。如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为...
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
findOneAndDelete
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 指定排序的字段，并使用 1 和-1 来指定排序的方式。其中：...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
字段操作函数
e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_drop_fields 删除符合条件的日志字段。支持和其他函数组合使用。相关示例，请参见 复杂JSON数据加工。e_keep_fields 保留符合...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
updateMany
示例 在 users 集合中查找所有 name 字段值为jerry的记录，并将其 age 字段更新为10。mpserverless.db.collection('users').updateMany({ name:'jerry' },{$set:{ age:10 } }).then(res=>{}).catch(console.error);在 users 集合中查找所有...
updateOne
示例 在 users 集合中查找 name 字段值为jerry的第一条记录，并将其 age 字段更新为10。mpserverless.db.collection('users').updateOne({ name:'jerry' },{$set:{ age:10 } }).then(res=>{}).catch(console.error);在 users 集合中查找 ...
数据类型
重要 如果设置数据类型为long，而实际字段值为浮点数类型，则无法查询该字段。如果设置数据类型为long或double，而实际字段值为字符串类型，则无法查询该字段。如果设置数据类型为long或double，则不支持使用星号（*）或半角问号?进行模糊...
insertMany
id 字段为系统保留字段，在插入数据时请勿指定该字段值，系统将会自动分配。如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为日期...
全局操作函数概览
字段值提取函数 e_regex 根据正则表达式提取字段的值并赋值给其他字段。e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。e_kv 通过quote提取多个源字段中的键值对信息。e_kv_delimit 通过分隔符...
自定义属性
自定义属性功能使版本拥有一个动态的返回值，可以动态地给版本的返回信息中新增字段，也可以随时修改字段的值。如何在客户端使用该字段，请参考客户端SDK文档，服务端只进行配置。自定义属性管理 导航：导航：OTA-系统（应用）升级-【操作...
同步任务修改
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
分页类接口结果聚合
该选项包含以下四个字段：字段名 描述 PageNumber 字段值对应API返回结果中描述列表当前页码的字段，默认值：PageNumber。PageSize 字段值对应API返回结果中描述每页返回的最大结果数量的字段，默认值：PageSize。TotalCount 字段值对应API...
- 产品推荐
- 这些文档可能帮助您