新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
配置图表数据
定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当有多个字段数据需要修改配置时，您可以批量修改字段，...
字段分析
SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计分析。此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图，为用户提供了深入的数据洞察和可视化工具，便于理解和挖掘。前提条件 已...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
配置值转化
您可以通过值转化节点将解析任务的流转消息中某个字段，转化为另一个值，该值可以输出到原字段或新定义的字段。通过该节点转化生成多样化的数据，可用于后续分析或输出。应用场景 场景一：转化值到原字段。某大棚使用传感器上报光照度（lux...
数据建模
数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，...
数据源表授权
查看详情：单击数据源名称，右侧显示数据库中的数据表列表，可单击 图标查看表的字段信息。编辑：单击 图标，可编辑数据源参数，编辑操作与添加时相同，请参见 数据源（即分析数据源）。移除：单击 图标，确认后将数据源移除。说明 若有...
replaceOne
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。doc Object 是 替换的目标文档。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 upsert Boolean 否 如果查找不到对应文档...
查询语法
字段查询语法 字段查询对应的字段类型包含 text、long、double、JSON，且针对具体的字段进行查询，其查询语法为：indexname1[:|>|>=|<||=|in]keyword1[[and|or|not]indexname2.]说明 indexname1 是需要查询的字段名，当字段名、表名等专有...
日志字段详情
db 数据库名。fail SQL执行是否出错。如果是MySQL实例或SQL Server实例，则执行成功时，字段值为0，除0之外的其他值都表示失败。如果是PostgreSQL实例，则执行成功时，字段值为0000，除0000之外的其他值都表示失败。client_ip 访问RDS实例...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值和 progress 字段值都为map类型，您可以使用map_concat函数将这两个字段值合并为一个Map。字段示例 etl_context:{ project:"datalab-148*6461-...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
findOneAndDelete
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 指定排序的字段，并使用 1 和-1 来指定排序的方式。其中：...
查询原始日志
原始日志界面 快速分析日志 配置显示字段 系统默认显示表格存储支持的日志字段，您可以在 索引字段 节点下拖动鼠标到目标字段，单击目标字段右侧的 图标，将目标字段移动到 显示字段 节点下。此时使用 表格 或 原始 方式查看日志时只显示...
新建查询控件
查询值字段 为选项值来源数据集中要与关联字段匹配的字段。显示名称字段 为选项值来源数据集中要进行筛选的字段，即查询控件中显示的字段。说明 当 显示名称字段 与 查询值字段 一致时，选择 查询值字段 后，系统将自动填入显示名称字段。...
findOneAndUpdate
object):Promise请求参数 字段名 类型 是否必选 说明 filter Object 是 数据库操作时的查询条件。update Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 是否必选 说明 sort Object 否 排序...
index
如果您需要修改字段值的最大长度，可设置统计字段（text）最大长度，取值范围为 64~16384 字节。2048 log_reduce_white_list array 日志聚类的聚类字段过滤白名单，仅当日志聚类开启时有效。string 白名单字段。name log_reduce_black_list...
数据集填报
配置效果 如下图保险数据录入表所示，职业类别、性别、时间、险类1名称、保费、年达成率、保单数 均为数据集字段加载的数据，通过配置填报的形式，可以将数据集表格和填报结合，针对数据集中需要修改的数据，可以快速填报录入，如 保费、年...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"RawResultCount":1}]查询和分析语句*|SELECT sum(cast(json_extract_scalar(Results,'$.1.RawResultCount')AS bigint))查询和分析结果 SPL 从 Results 字段中获取 RawResultCount 字段的值。...
结果字段说明
任务运行中的统计数据 当您的模型训练任务结果数据中的_tag_:_data_type_字段值为 job_statistic 时，表示该数据为模型训练任务运行中的统计数据。字段名称 说明 meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。...
事件配置
变量 日志服务支持通过变量灵活修改目标快速查询的查询和分析语句，当此处添加的变量与目标快速查询的查询和分析语句中的变量相同时，会将查询和分析语句中的变量替换为触发事件的字段值。您可以在 变量 页签中配置变量。说明 如果选择添加...
表格
使用方法 表达式.Enum.XlPasteSpecialOperation.xlPasteSpecialOperationAdd 表达式：文档类型应用对象 参数 字段 值 描述 xlPasteSpecialOperationAdd 0x1 复制的数据目标单元格中的值相加。xlPasteSpecialOperationDivide 0x4 复制的数据...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
字段过滤
您在制作仪表板或电子表格时，如果您的数据量较大，可以启用过滤器功能，将需要的某一类或者某几类数据从数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。字符类 您可以通过设置过滤器将直辖市从省份字段里过滤出来。以...
管理SLS日志的监控指标
平均值：计算统计周期内指定字段数值的平均值。最大值：计算统计周期内指定字段数值的最大值。最小值：计算统计周期内指定字段数值的最小值。监控值：监控项的取值。sumps：计算统计周期内指定字段求sum后的每秒平均值。countps：计算统计...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
findOneAndReplace
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。replacement Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 排序规则...
通用参考
数据错误 数据错误，指在SPL运行的过程中，函数或者转换出现错误，SPL会将结果字段置为 null 值，由于每一行数据都有可能出现错误，SPL会随机采样部分错误返回，可以根据实际数据内容忽略或者修改SPL语句。数据错误不会影响SPL整个执行过程...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
开放搜索
无法将分词字段类型配置为属性字段，例如TEXT、SHORT_TEXT等都无法配置，只支持将数值字段类型及不分词字段类型配置为属性字段，例如INT、INT_ARRAY、FLOAT、FLOAT_ARRAY、DOUBLE、DOUBLE_ARRAY、LITERAL、LITERAL_ARRAY等字段类型。...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。说明 从Python SDK 5....
字符串函数
字段样例 request_uri:/request/path-1/file-9 查询和分析语句（调试）*|SELECT split(request_uri,'/')查询和分析结果 示例2：使用正斜线（/）将 request_uri 字段的值拆分成3个子串，并返回子串的集合。字段样例 request_uri:/request/...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、获取统计聚合分组内的行、嵌套查询等；同时多个统计聚合功能...
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
重要 数据传输服务不会对 指定字段名称 进行字段类型校验，以及 字段值 数据有效性校验和特殊字符转义，请自行确保字段类型和字段值符合规范。单击 预检查。在 预检查 环节，数据传输会检测和目标端的连接情况。如果预检查报错：您可以在...
比较运算符
比较运算符用于判断参数的大小关系，适用于任意可比较的数据类型（double、bigint、varchar、timestamp和date）。本文介绍比较运算符的基本语法以及示例。日志服务支持如下比较运算符。重要 在日志服务分析语句中，表示字符串的字符必须...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
- 产品推荐
- 这些文档可能帮助您