从RDS MySQL数据库获取数据进行数据富化
content 字段为RDS MySQL数据库表中的字段，使用该字段的值去匹配日志字段，支持正则匹配、完全匹配、模糊匹配等形式，具体匹配规则请参见 e_search。单行匹配 匹配到RDS MySQL数据库表中一行数据就返回。e_search_table_map(res_rds_mysql...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
资源函数
primary_keys String/List 否 主键，配置该字段后，将数据库表中的数据以 Key：Value 字典形式保存到内存中，其中Key为此处设置的 primary_keys 参数的值，Value为拉取到的数据库表的整行数据。说明 当数据库表中的数据量较大时，推荐使用...
DMS分类分级扫描原理介绍
DMS分类分级扫描能够对数据库中的敏感数据进行检测，并自动为符合识别规则的字段打上相应的分类分级标签，还可以保护高敏感等级的字段，并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值为map类型，您可以使用map_values函数提取 etl_context 字段值中所有键的值。字段样例 etl_context:{ project:"datalab-148*6461-...
计算列配置
计算列配置规则 配置内容 新增计算列时，需要配置以下内容：英文字段名：若数据源为数据库，即数据库中的字段名称；若数据源为表格文件，指根据表格模板填写的英文字段名称或系统根据表格文件翻译的英文名称。字段业务含义：是对字段所表示...
Quick BI数据集中修改了字段名称报表中没有更新
问题描述 Quick BI数据集中修改了字段名称报表中没有更新。问题原因 需要在仪表板内重新配置下字段。解决方案 需要在仪表板内重新配置下字段。将此字段删除重新添加后更新数据即可。适用于 Quick BI 公共云4.2
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
账单域API使用手册
调用方法可参见 API选择方案 中，“数据字段”为“订单号/账单号”中的接口说明。重要 调用 QuerySettleBill 获取的数据，对应控制台“账单流水”数据。6、控制台路径：用户中心 – 账单管理 – 账单详情 – 明细账单 调用 ...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
自定义表格模板
参照字段：参照字段为相同版式表格数据中固定出现的字段，且相对位置保持不变。建议框选的参照字段分布在页面的四周，表格内以单元格为框选粒度。如联合分类器使用，也会对其产生影响。提示建议 如何框选参照字段？框选6个以上参照字段，...
自定义表格模板
参照字段：参照字段为相同版式表格数据中固定出现的字段，且相对位置保持不变。建议框选的参照字段分布在页面的四周，表格内以单元格为框选粒度。如联合分类器使用，也会对其产生影响。提示建议 如何框选参照字段？框选6个以上参照字段，...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
Quick BI数据库中修改了字段名称后数据集报“Unknown ...
问题描述 Quick BI数据库中修改了字段名称后数据集报错。Unknown column 'XXX' in 'field list' 问题原因 修改了数据库表字段名称后，预览数据集数据报错。解决方案 修改了字段后，在数据集刷新页面，然后点击三个点，点击字段选择，一键...
数组和嵌套类型
对于多元索引中数组类型的字段，在数据表中必须为String类型，且对应的多元索引中的类型必须为相应的类型，例如Long、Double等。如果字段price是Double Array数组类型，则在数据表中price必须为String类型，在对应的多元索引中的类型必须为...
同步任务修改
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
创建和管理领域对象映射
映射字段类型被修改：对象字段映射中，领域对象-对象名称+对象编码 的字段 字段编码 映射异常，请删除或修改该字段映射关系。单击 编辑，页面将会跳转到字段映射关系编辑面板，修改完成后，单击 保存。映射字段被删除：对象字段映射中，...
配置字段计算转换组件
输出字段 为您展示输出字段，您可以手动添加输出字段：单击 新建字段。根据页面提示，配置参数 名称、表达式 和选择 数据类型。单击 确定。同时您也可以单击 操作 列下的 图标，删除已有字段。单击 确认，完成 字段计算 转换组件的属性配置...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
没有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段类型的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库...
创建和管理结构对象映射
映射字段类型被修改：结构字段映射中，结构对象-对象名称+对象编码 的字段 字段编码 映射异常，请删除或修改该字段映射关系。单击 去编辑，页面将会跳转到字段映射关系编辑面板，修改完成后，单击 保存。映射字段被删除：结构对象字段映射...
配置字段计算转换组件
输出字段 为您展示输出字段，您可以手动添加输出字段：单击 新建字段。根据页面提示，配置参数 名称、表达式 和选择 数据类型。单击 确定。同时您也可以单击 操作 列下的 图标，删除已有字段。单击 确认，完成 字段计算 转换组件的属性配置...
配置字段选择转换组件
输出字段 为您展示输出字段。单击 字段管理：单击 图标，将 已选的输入字段 移入 未选的输入字段。单击 图标，将 未选的输入字段 移入 已选的输入字段。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。...
没有约束的列修改长度
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 ...
创建多元索引
在数据表上创建一个多元索引后，您可以根据多元索引中建立索引的字段来查询数据表中的数据。一张数据表可以创建多个多元索引。最佳使用方式 请根据实际查询需求确定在一张数据表中创建多元索引的个数。例如有一张数据表有5个字段，分别为id...
多表合并
数据合并的结果中将包含全部来源节点中的指定对齐字段的所有记录。示例如下所示，假设三个输入节点分别为A、B、C，设置两个对齐条件为"A.ID<=>B.ID<=>C.ID"、"A.NAME<=>B.NAME<=>C.NAME"，则多表合并默认运算结果、去重合并后的运算结果...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
数据脱敏
在数据集中设置需要脱敏的字段，系统将该字段中的敏感数据进行模糊化处理，使得该字段在仪表板、电子表格或自助取数中以脱敏的形式展示，保护数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。脱敏规则及效果展示 说明 本文档仅...
用户行为
分别选择行为时间、行为渠道、行为类型、统计指标、行为属性、用户ID对应的字段，为ID字段设置ID类型、ID加密方式。您也可以在字段列表中设置。在字段列表中，为不需要导入的字段关闭导入开关。关闭后，字段将无法参与任何应用，后续可在...
图文解释
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。sam_embedding_url 用于SAM分割的embedding数据，目前使用前需要用户自行预...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
没有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、all...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。indexSort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
图生文
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。CSV 及 XLSX 格式 image_url caption oss:/*.oss-...
自定义KV模板
参照字段：为图片中文字及位置固定不变的字段区域，用于相同版式待识别图片的自动矫正与锚定匹配。如联合分类器使用，也会对其产生影响。提示建议 如何框选参照字段？框选4个以上参照字段，并尽量分散在四角。保证框选的文字内容、位置固定...
自定义KV模板
参照字段：为图片中文字及位置固定不变的字段区域，用于相同版式待识别图片的自动矫正与锚定匹配。如联合分类器使用，也会对其产生影响。提示建议 如何框选参照字段？框选4个以上参照字段，并尽量分散在四角。保证框选的文字内容、位置固定...
有约束的列修改类型
普通键（KEY）约束下字段类型修改 如果 普通键 列中包含上述表格中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别与主键（PRIMAEY KEY...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
如果创建实体字段时，设计错了，怎么去修改
问题描述 Mobi中创建实体字段时，设计错了，如何修改 问题原因 目前数据库定义的基础信息是不允许修改的，例如字段id、字段类型、是否必填、是否唯一等这些都是不可进行修改的。解决方案 建议您删除字段重新创建。
- 产品推荐
- 这些文档可能帮助您