从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
API参考
export default interface MobiComponentApi {/*获取字段的值*/getDcValue:getDCValueByKeyOrField&getDCValueByKeyOrFieldAndData;更新字段的值*value 参数是必须的*其它参数的情况和 getDcValue 一样*/setDcValue:setDCValueByKeyOrField...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
ALIYUN:OTS:SearchIndex
您可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。FieldSchemas语法"FieldSchemas":[{"Index":Boolean,"IsArray":Boolean,...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB for MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7...
数据类型
SELECT ip_to_province(client_ip)as province,count(*)AS pv GROUP BY province ORDER BY pv long和double类型 设置字段的数据类型为long或double后，您才能通过数值范围查询该字段的值。如果日志字段的值为整数类型，建议您在配置索引时...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
全局操作函数概览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput 输出日志到指定的Logstore中，且对应的日志继续执行后面的加工...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
设置数据库索引
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
字段操作函数
函数列表 函数 说明 v 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合...
UNNEST子句
在复杂的业务场景下，日志字段的值可能为数组（array）、对象（map）等类型。对这种特殊类型的日志字段进行查询和分析时，您可以先使用UNNEST子句将字段值展开。语法 将array类型的数据展开为多行单列形式，列名为 column_name。UNNEST(x)...
PolicyItem
例如 key 为 x-test-uid，则请求中 x-test-uid 字段的值将决定请求是否被路由到灰度版本上。x-test-uid value string value 指定控制流量灰度的字段值。请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，...
数据脱敏
所有人生效/所有人不生效 后续查看上述指定字段的数值时：权限生效人员查看到的字段值会根据配置的权限规则而受限，只能看到脱敏后的字段值。权限未生效人员不受权限规则限制，可查看完整字段值。单击 完成。设置其他字段的查看权限。未被...
OpsDoc
} } OpsTimestam p docFieldTim estamp(CString fieldName)获取TIMESTAMP类型字段的值，需要显示引用OpsTimestamp。参数列表：fieldName—属性字段名称，必须是常量。返回值：返回字段的值，如果字段不存在或者类型不匹配返回null。代码...
如何使用Redis连接模块
HGET 获取存储在哈希表中指定字段的值 HMSET 同时将多个 字段-值（域-值）对设置到哈希表 键 中。HMGET 获取所有给定字段的值。HSETNX 只有在 字段 不存在时，设置哈希表字段的值。HDEL 删除一个或多个哈希表字段。HEXISTS 查看哈希表 键 ...
字段加密
失败保留原始数据 选中该选项后，如果加密失败，系统将保留原始字段的值。如果未选中该选项，则加密失败后，字段值将被替换为 ENCRYPT_ERROR。JSON配置方式 配置 type 为 processor_encrypt，detail 说明如下表所示。参数 类型 是否必选 ...
行级权限设置
数据集启用行级权限控制后，只有被授权的用户可使用通过指定字段的值筛选后的行。若指定多个字段，则被授权的行同时满足多个字段的取值要求。说明 对用户授权行级权限前，需要先授权管理权限或使用权限，否则无权使用数据集任何数据。用户...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最...kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化函数，根据不同的算分将数值归一化至[0,1]in和notin:判断字段值是否（不）在指定列表中
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
业务排序函数
用于衡量物品的受欢迎程度 功能性 tag_match:用于对查询语句和文档做标签匹配，使用匹配结果对文档进行算分加权 first_phase_score：获取粗排表达式最终计算分值 kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化...
字段分析
此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图，为用户提供了深入的数据洞察和可视化工具，便于理解和挖掘。前提条件 已开启对应字段的索引和统计功能。具体操作，请参见 创建索引。例如，访问日志中存在 request_...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
创建多物理表服务单元
注意事项 只有当主物理表与非主物理表中某字段值和字段类型相同时，后续基于该多物理表服务单元创建的API才可以实现联合数据查询，否则无法实现联合数据查询。步骤一：选择服务单元类型 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入...
列级权限
设置查看规则 当您的数据集中存在敏感字段（员工级别、员工薪资、客户姓名等）时，系统将该字段的值隐藏。此时，您可以配置权限规则为 禁止查看。登录 Quick BI控制台，在工作台中设置目标数据集的列级权限。打开 启用列级权限 开关。启用...
错误码映射插件
errorCode 字段，则获取 errorCode 字段的值，并寻找与 mappings 中 code 匹配的 映射记录,如果步骤3没有匹配到 映射记录，则依次执行 mappings 字段配置了 condition 的 映射记录 如果步骤3或4中匹配到了 映射记录，根据对应的配置构造...
使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
数据源表授权
如果某个空间不需要通过某个受控字段筛选行，则需要在第6步授权操作中对该受控字段的值选择 所有。受控字段的增减将影响所有空间，立即生效。若移除受控字段，所有空间内该字段的指定值会被清除；若增加受控字段，请为所有需要行权限的空间...
敏感数据保护概览
名词解释 安全级别：根据存储业务的数据性质差异，部分字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值不应展现。根据数据的敏感程度，将数据分为3个安全级别：低敏感：对应DMS的原分类为内部。安全协同管控模式的...
函数总览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，并可配置输出时的topic、source、tag和shard hash信息。输出后对应的日志不再执行后面的加工规则。e_coutput 输出...
字段安全级别
根据存储业务的数据性质差异，字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值应该加密展现。为了根据数据的敏感程度对数据进行不同策略的脱敏和管理，数据管理DMS将敏感数据分为3个安全级别。根据数据的敏感程度，...
字段映射
映射规则 IDaaS 目前支持两种方式进行字段映射：选择字段：选择同步来源中的某个字段，直接将它的值作为同步目标对应字段的值。IDaaS 针对不同的身份提供方会有不同的字段范围，如果您所需要的字段不在范围内，可使用表达式进行设置。表达...
查询和分析
无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。操作并发数 单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
- 产品推荐
- 这些文档可能帮助您