基本概念
Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹事件，在轨迹行程中发生的额外事件，比如汽车行程轨迹中的加油事件、抛锚事件、锁车事件等，由事件类型ID和事件时间组成。图 1.轨迹示意图
基本概念
Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹事件，在轨迹行程中发生的额外事件，比如汽车行程轨迹中的加油事件、抛锚事件、锁车事件等，由事件类型ID和事件时间组成。轨迹示意图如下。...
基本概念
Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹事件，在轨迹行程中发生的额外事件，比如汽车行程轨迹中的加油事件、抛锚事件、锁车事件等，由事件类型ID和事件时间组成。轨迹示意图如下。...
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
定制排序模型特征配置规范
字段名 是否必选 含义 feature_name 是 feature_name会被当作最终输出的feature的前缀 feature_type 是 即下文中的类型 id_feature（离散ID特征）id feature是一个sparse feature，是一种最简单的离散特征，只是简单的将某个字段的值与用户...
API参考
数据字段获取、更新API/*prop的字段名 参数*用于获取或者更新某个prop，对应的value可能是任何数据类型*/export interface KeyArgs {/*prop的字段名*/key:string;}/*数据字段参数*用于指定是数据的哪个字段*/export interface FieldArgs { ...
字段值提取函数
函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
数据类型
SELECT ip_to_province(client_ip)as province,count(*)AS pv GROUP BY province ORDER BY pv long和double类型 设置字段的数据类型为long或double后，您才能通过数值范围查询该字段的值。如果日志字段的值为整数类型，建议您在配置索引时...
用户属性管理
当标签字段映射了用户属性时，用户属性值将采用该字段的值。例如：用户属性包括年龄、性别、生日、城市，导入用户标签表时，将相应的字段与这些用户属性映射。当来源于不同表的标签字段映射了同一个用户属性时，同一个用户的用户属性值可能...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
数据脱敏
您可以对不同用户设置数据字段的查看权限，例如对某些用户脱敏某个字段，且可以设置不同的脱敏规则。权限规则和对应的效果如下。脱敏字段：全脱敏 指定脱敏的字段显示为6个*，字段数值完全隐藏。脱敏字段：脱敏中间字符 表示中间均隐藏，...
字段设置
拖拽 显示字段 某个字段的字段顺序或者单击，然后单击 向左移、向右移，可以调整字段在表格的排序。单击 显示字段 某个字段最右侧的 或者单击，然后单击 隐藏，可以去除当前显示字段。单击 清空，可以清除添加的显示字段，日志内容将展示...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
全局操作函数概览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput 输出日志到指定的Logstore中，且对应的日志继续执行后面的加工...
导入MySQL数据
在日志服务中将使用该时间字段的值为数据的导入时间。时间字段格式 时间字段的格式，支持Java类型时间格式。例如yyyy-MM-dd HH:mm:ss。更多信息，请参见 时间格式。时间字段时区 选择时间字段对应的时区。CheckPoint字段 选择Checkpoint...
设置数据库索引
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
PolicyItem
例如 key 为 x-test-uid，则请求中 x-test-uid 字段的值将决定请求是否被路由到灰度版本上。x-test-uid value string value 指定控制流量灰度的字段值。请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，...
字段映射
映射规则 IDaaS 目前支持两种方式进行字段映射：选择字段：选择同步来源中的某个字段，直接将它的值作为同步目标对应字段的值。IDaaS 针对不同的身份提供方会有不同的字段范围，如果您所需要的字段不在范围内，可使用表达式进行设置。表达...
UNNEST子句
在复杂的业务场景下，日志字段的值可能为数组（array）、对象（map）等类型。对这种特殊类型的日志字段进行查询和分析时，您可以先使用UNNEST子句将字段值展开。语法 将array类型的数据展开为多行单列形式，列名为 column_name。UNNEST(x)...
FieldSchema
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。field_schemas repeated FieldSchema 否 字段配置信息。只有字段类型为嵌套类型时，才需要设置此参数。is_array bool 否 是否为数组。如果设置为true...
字段安全级别
根据存储业务的数据性质差异，字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值应该加密展现。为了根据数据的敏感程度对数据进行不同策略的脱敏和管理，数据管理DMS将敏感数据分为3个安全级别。根据数据的敏感程度，...
字段加密
失败保留原始数据 选中该选项后，如果加密失败，系统将保留原始字段的值。如果未选中该选项，则加密失败后，字段值将被替换为 ENCRYPT_ERROR。JSON配置方式 配置 type 为 processor_encrypt，detail 说明如下表所示。参数 类型 是否必选 ...
列级权限
设置查看规则 当您的数据集中存在敏感字段（员工级别、员工薪资、客户姓名等）时，系统将该字段的值隐藏。此时，您可以配置权限规则为 禁止查看。登录 Quick BI控制台，在工作台中设置目标数据集的列级权限。打开 启用列级权限 开关。启用...
数据倾斜诊断
例如，一张表的某个字段的相同值特别多时，如果选择了该字段作为分布键进行HASH分布，就会导致该字段的这些相同值所在的计算节点上的数据比其他计算节点上的数据多。为了避免解决数据倾斜，建议您重新选择分布键。分布键的选择策略，请参见...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
字段分析
SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计分析。此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图，为用户提供了深入的数据洞察和可视化工具，便于理解和挖掘。前提条件 已...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
UpdateWorkitemField-更新工作项字段
同 workitemId，工作项唯一标识 9144ef6b72d8exxxxx9e61a4d0 updateWorkitemPropertyRequest object[]是 更新工作项属性请求，数组形式 fieldIdentifier string 是 需要更新的工作项字段 id，可以从获取工作项所有字段接口获取相应的数据 ...
数据加工
值替换 在 字段列表 视图下，修改字段的值。说明 仅字段类型为 文本 时，才支持此操作。拆分字段 在 字段列表 视图下，根据字段值进行拆分字段。说明 仅字段类型为 文本 时，才支持此操作。重命名字段 鼠标悬浮至目标字段上，单击右侧的 ...
Quick BI报错“column xxx is ambiguous”
产品名称 Quick BI 产品模块 数据集、仪表板 问题描述 数据集预览报错，报错内容是“column xxx is ambiguous”问题原因 添加计算字段时，字段名是手动填写的，数据集又有表关联的操作，关联的表里的某个字段与原表字段名重复，无法识别...
使用拆分字段
数据访问代理会根据拆分字段的值将数据表水平拆分到每个物理库实例上的物理分库/分表中。拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在业务逻辑上的主体，并确保大部分（或核心的）数据库操作都是围绕这个主体的数据...
敏感数据保护概览
名词解释 安全级别：根据存储业务的数据性质差异，部分字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值不应展现。根据数据的敏感程度，将数据分为3个安全级别：低敏感：对应DMS的原分类为内部。安全协同管控模式的...
多元索引最佳实践
如果要经常使用多元索引TermQuery查询某一字段的值，例如淘宝App中每个查询条件中均会包括指定UserId，则推荐将UserId设置为主键，具体优化操作请参见“索引路由优化”内容。主键设计对多元索引的同步速度有一定的影响，对数据表主键的要求...
流程控制函数
函数示例 如果 content 字段的值为 123，则先删除 age 字段和 name 字段，然后将 content 字段的值设置为 ctx。原始日志 content:123 age:23 name:twiss 加工规则 e_if(e_search("content=123"),e_compose(e_drop_fields("age|name"),e_...
事件操作函数
e_if(e_match("k2",r"\w+"),e_output(name="target2",source="source1",topic="topic1"))e_drop()加工结果_topic_:topic1 k1:v1 k2:v2 x1:v3 x5:v4 示例2：基于日志中 db_version 字段的值计算Hash，并根据此Hash值将日志固定输出到存储...
- 产品推荐
- 这些文档可能帮助您