从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
字段操作
支持删除字段的默认值：ALTER COLUMN DROP DEFAULT。支持修改列：CHANGE COLUMN 和 MODIFY COLUMN。支持删除列：DROP COLUMN。不支持的范围 重要 如果同步的 DDL 包含以下不支持的定义，则整个建表语句会转换失败（输出空）。不支持修改列...
数据类型
SELECT ip_to_province(client_ip)as province,count(*)AS pv GROUP BY province ORDER BY pv long和double类型 设置字段的数据类型为long或double后，您才能通过数值范围查询该字段的值。如果日志字段的值为整数类型，建议您在配置索引时...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB for MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
PolicyItem
例如 key 为 x-test-uid，则请求中 x-test-uid 字段的值将决定请求是否被路由到灰度版本上。x-test-uid value string value 指定控制流量灰度的字段值。请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，...
UNNEST子句
在复杂的业务场景下，日志字段的值可能为数组（array）、对象（map）等类型。对这种特殊类型的日志字段进行查询和分析时，您可以先使用UNNEST子句将字段值展开。语法 将array类型的数据展开为多行单列形式，列名为 column_name。UNNEST(x)...
字段安全级别
根据存储业务的数据性质差异，字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值应该加密展现。为了根据数据的敏感程度对数据进行不同策略的脱敏和管理，数据管理DMS将敏感数据分为3个安全级别。根据数据的敏感程度，...
设置数据库索引
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
图层交互管理
添加字段 单击图层数据下的 添加字段，在当前数据表中选择需要添加的字段，单击...删除字段 在图层数据下，选择需要删除的字段，单击 图标，删除当前字段。显示坐标 单击 显示图标 右侧的 图标，控制当前数据的经纬度坐标在标签上的显示状态。
数据脱敏
所有人生效/所有人不生效 后续查看上述指定字段的数值时：权限生效人员查看到的字段值会根据配置的权限规则而受限，只能看到脱敏后的字段值。权限未生效人员不受权限规则限制，可查看完整字段值。单击 完成。设置其他字段的查看权限。未被...
字段加密
失败保留原始数据 选中该选项后，如果加密失败，系统将保留原始字段的值。如果未选中该选项，则加密失败后，字段值将被替换为 ENCRYPT_ERROR。JSON配置方式 配置 type 为 processor_encrypt，detail 说明如下表所示。参数 类型 是否必选 ...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
敏感数据保护概览
名词解释 安全级别：根据存储业务的数据性质差异，部分字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值不应展现。根据数据的敏感程度，将数据分为3个安全级别：低敏感：对应DMS的原分类为内部。安全协同管控模式的...
列级权限
设置查看规则 当您的数据集中存在敏感字段（员工级别、员工薪资、客户姓名等）时，系统将该字段的值隐藏。此时，您可以配置权限规则为 禁止查看。登录 Quick BI控制台，在工作台中设置目标数据集的列级权限。打开 启用列级权限 开关。启用...
行级权限设置
数据集启用行级权限控制后，只有被授权的用户可使用通过指定字段的值筛选后的行。若指定多个字段，则被授权的行同时满足多个字段的取值要求。说明 对用户授权行级权限前，需要先授权管理权限或使用权限，否则无权使用数据集任何数据。用户...
FieldSchema
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。field_schemas repeated FieldSchema 否 字段配置信息。只有字段类型为嵌套类型时，才需要设置此参数。is_array bool 否 是否为数组。如果设置为true...
文本查询
从数据库中搜索 在进行筛选查询时，当筛选项大于1000条时，默认展示前1000条的选项值，超出此范围可直接搜索，如果未搜索到您想要的选项值，您可尝试 从数据库中搜索。说明 仅展示类型为 下拉列表 且选项值来源为 自动解析 或 单个数据集 ...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
ALIYUN:OTS:SearchIndex
您可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。FieldSchemas语法"FieldSchemas":[{"Index":Boolean,"IsArray":Boolean,...
推送数据
如果想对某条数据的某个字段的值做删除操作，可以update该字段为none，不要update为空。内容字段 内容字段为文档的有效信息，请按照 数据规范 填写，请注意冷启动版与其他版本数据规范不同。推送请求 一次请求可以包含一个数据表的多个文档...
字段分析
此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图，为用户提供了深入的数据洞察和可视化工具，便于理解和挖掘。前提条件 已开启对应字段的索引和统计功能。具体操作，请参见 创建索引。例如，访问日志中存在 request_...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
insertMany
如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为日期格式，例如：2022-01-30T08:00:00.000Z，日期格式可以方便地用于条件查询。...
查看数据探查报告及探查记录
建议针对主键字段不可重复的值或出现频率最高字段的值配置该探查场景，此外，若字段类型为 布尔型，不支持唯一值统计。若字段存在重复值的情况，治理建议如下：若该字段为 主键 且探查结果存在 重复值，建议您为该字段配置 字段值唯一 的...
查看数据探查报告及探查记录
建议针对主键字段不可重复的值或出现频率最高字段的值配置该探查场景，此外，若字段类型为 布尔型，不支持唯一值统计。若字段存在重复值的情况，治理建议如下：若该字段为 主键 且探查结果存在 重复值，建议您为该字段配置 字段值唯一 的...
OpsDoc
如果字段没有在init阶段声明，在算分过程中无法正确的从文档中取出字段的值。参数列表：fieldName—属性字段名称，必须是常量。返回值：声明成功返回true，否则返回false。返回false的主要原因是声明的字段不是属性字段。代码示例：package...
数据类型映射
多元索引的字段值来源于数据表中同名字段的值，两者的数据类型必须相匹配，多元索引字段数据类型与数据表中字段数据类型的匹配关系请参见下表。注意 表中的类型必须一一对应，否则数据会被当做脏数据丢弃，尤其是Geo-point和Nested拥有各自...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
基本概念
Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹事件，在轨迹行程中发生的额外事件，比如汽车行程轨迹中的加油事件、抛锚事件、锁车事件等，由事件类型ID和事件时间组成。图 1.轨迹示意图
配置值转化
设置匹配分支条件时，输出字段的值。物联网平台会根据 输出字段类型，进行数据类型校验。如果需要输出原始字段数据，则用${字段名称} 表示。您可以单击 添加条件分支，配置多个条件分支。说明 一个值转化节点中：最多包含10个条件分支。...
查询和分析
无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。操作并发数 单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个...
映射富化函数
函数示例 示例1：根据原始日志中 pro 字段的值和目标数据字典，输出新字段 protocol。原始日志 data:123 pro:1 加工规则 e_dict_map({"1":"TCP","2":"UDP","3":"HTTP","6":"HTTPS","*":"Unknown"},"pro","protocol",)加工结果 data:123 pro...
Sensors Data（神策）数据源
IfNull2Column 如果字段值为null，则转向取targetColumnName配置项的值，作为当前字段的值。示例"dataConverters":[{"type":"IfNull2Column","param":{"targetColumnName":"age1"} }]targetColumnName：导入神策数据的列名。重要 ...
- 产品推荐
- 这些文档可能帮助您