通用参考
可以直接与数字500做比较 SPL表达式null值处理 产生null值 SPL处理数据过程中，如下两个场景将产生null值：SPL表达式中使用到的字段在输入数据中不存在时，则将其值视为null值进行计算。SPL表达式计算过程中出现异常，其计算结果即为null值...
字符串函数
示例 将 region 字段和 request_method 字段的值拼接为一个字符串。字段样例 region:cn-shanghai time:14/Jul/2021:02:19:40 查询和分析语句（调试）*|SELECT concat(region,'-',time)查询和分析结果 from_utf8函数 from_utf8函数用于将...
加工原理
分裂并行 在第2步中，假如 log_type 字段的值是 access 和 alert，e_split("log_type")表示根据字段 log_type 的值分裂成两条事件，分裂后的两条事件除字段值分别为 access 和 alert 以外，其余完全一样。分裂后的每条事件都会分别继续进行...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
比较运算符
比较运算符用于判断参数的大小关系，适用于任意可比较的数据类型（double、bigint、varchar、timestamp和date）。本文介绍比较运算符的基本语法以及示例。日志服务支持如下比较运算符。重要 在日志服务分析语句中，表示字符串的字符必须...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
API
convertValue 将静态模型数据转换为值对象。定义：interface ComponentApi convertValue:(propValue:StaticValueSchemaData)=>VALUE;} 参数：字段 类型 含义 备注 propValue StaticValueSchemaData 静态模型数据 参见 ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
电商行业
概述 电商行业数据规范，历史数据及实时数据的上传均需要遵守此规范 数据描述 如果您当前业务形态属于电商行业，启用智能推荐服务需要准备3张数据表。物品表（item）：此处即指商品。最近推荐场景内全部可以被推荐商品的全量表。由于item...
内容行业
概述 内容行业数据规范，历史数据及实时数据的上传均需要遵守此规范 数据描述 对于内容型行业的场景，需要准备3张数据表。内容表（item）：最近场景内全部可以被推荐的内容的全量表。由于item数量受quota限制，建议您上传前做去重处理。...
添加数据
表单模式添加数据 添加向量数据 在向量管理>添加数据页中选择表进行添加数据：添加相应字段值（包括主键、稠密向量），点击 添加：当执行结果出现"message":"success"说明数据上传成功：数据上传成功后，可以在查询测试页面进行查询：添加...
新闻行业
2、在采用历史数据启动的方式，在MaxCompute中建表时，选填字段的值可以为空，但是不可省去表字段，表中需要包含所有字段，具体建表语句参考文末。item 字段名 字段类型 是否必填 字段含义 字段值枚举 字段值说明 字段值示例 item_id ...
JSON函数
如果日志字段的值为JSON类型且需要展开为多行，请使用unnest语法。更多信息，请参见 UNNEST子句。如果字符串被解析成JSON类型失败，则返回null。如果在采集过程中，JSON日志被截断，则在使用JSON函数进行查询与分析时，系统将报错且中止...
管理字段
删除字段 DDM提供三种删除字段的方式：右键单击模型树上目标表的一个字段，弹出的菜单中选择 删除，然后在删除对话框中选择 确定。右键单击模型设计区中的目标字段，弹出的菜单选择 删除 或者单击键盘上的DELETE键，然后在删除对话框中选择...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
deleteMany
请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。示例 删除所有 users 集合中 age 字段值小于18的数据条目。mpserverless.db.collection('users').deleteMany({ age:{$lt:18 } }).then((res)=>{ const ...
脚本模式：高级SQL（Mybatis语法）示例
示例值 默认值 var INT QUERY 是 1 1 返回参数：参数名称 参数类型 示例值 col01 STRING 123 示例3：通过判断字段值是否为空来控制where查询条件是否保留 示例根据 list 集合中的 area 值，动态生成查询条件，并根据条件查询数据。...
创建同步MaxCompute
该列值必须为 UTF8字符串 字段值可以为空，表示不分区 SYSTEM_TIME Record写入DataHub的时间 TUPLE/BLOB(1).分区配置中设置MaxCompute分区的时间转换Format格式(2).设置时区信息 EVENT_TIME Record中的 event_time(TIMESTAMP)列的value值 ...
文档格式
实时推送文档格式[{"cmd":"add","fields":{"id":"1","title":"This is the title","body":"This is the body","tags":[1,2,3]} },{"cmd":"delete","fields":{"id":"3"} }]向量检索版的文档包括cmd和fields两个部分，这两个字段都是必选字段...
文档格式
实时推送文档格式[{"cmd":"add","fields":{"id":"1","title":"This is the title","body":"This is the body","tags":[1,2,3]} },{"cmd":"delete","fields":{"id":"3"} }]召回引擎版的文档包括cmd和fields两个部分，这两个字段都是必选字段...
投递日志到MaxCompute（旧版）
日志服务中一个日志字段只能映射到一个MaxCompute表的列（数据列或分区列），不支持字段冗余，同一个字段名第二次使用时其投递的值为null，如果null出现在分区列会导致数据无法被投递。MaxCompute数据列、分区列与日志服务字段的映射关系...
配置数据识别规则
帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的全部敏感字段分布情况，数据识别规则的使用逻辑如下图所示。说明 对CDH引擎中...
配置MySQL输出组件
输出字段 为您展示输出字段。单击 字段管理 选择输出字段。单击 图标，将 已选的输入字段 移入 未选的输入字段。单击 图标，将 未选的输入字段 移入 已选的输入字段。映射关系 根据上游的输入和目标表的字段，可以手动选择字段映射。快速...
配置MySQL输出组件
输出字段 为您展示输出字段。单击 字段管理 选择输出字段。单击 图标，将 已选的输入字段 移入 未选的输入字段。单击 图标，将 未选的输入字段 移入 已选的输入字段。映射关系 根据上游的输入和目标表的字段，可以手动选择字段映射。快速...
复合查询控件
单击 配置查询字段 为控件添加需要查询的字段。在复合查询控件配置页面 样式 页签，可对控件进行以下设置：配置项 配置说明 标题与卡片 可设置控件的 标题 和 组件内容。标题 在标题里，设置控件是否显示标题及标题的样式.支持设置 分割线...
管理元数据
说明 可选的字段为数据表中的字段，并且一个字段只能添加一次。指标名称 填写指标名称。字段类型 字段类型默认 string。指标类型 指标类型包括 基础属性、基础指标 和 我的指标。联通状态 联通状态包括 成功 和 失败。指标注册 中只要有...
管理元数据
说明 可选的字段为数据表中的字段，并且一个字段只能添加一次。指标名称 填写指标名称。字段类型 字段类型默认 string。指标类型 指标类型包括 基础属性、基础指标 和 我的指标。联通状态 联通状态包括 成功 和 失败。指标注册 中只要有...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见，进入离线管道组件开发页面。按照下图...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
如何使用Redis连接模块
适用场景 在搭建应用时，如需连接第三方Redis数据库并执行基本的数据库操作，可直接引用魔笔平台物料市场提供的Redis数据库模块。模块介绍 Redis连接模块包含三个模型：数据模型、页面模型和自定义逻辑流操作。数据模型：用于储存Redis数据...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
查看数据探查报告及探查记录
字段值直方图和条形图详情如下：若该字段为 数值型，为您展示当前字段的近似直方图，将原始记录值分为20个区间，折线图展示每个区间内的记录数及该区间内所有记录值的平均值。若字段类型为 文本型、日期时间型、布尔型，条形图中的 其他值 ...
查看数据探查报告及探查记录
字段值直方图和条形图详情如下：若该字段为 数值型，为您展示当前字段的近似直方图，将原始记录值分为20个区间，折线图展示每个区间内的记录数及该区间内所有记录值的平均值。若字段类型为 文本型、日期时间型、布尔型，条形图中的 其他值 ...
数据可视化展现
场景选择 饼图，切片 字段为 gender，值 为 求和（pv）。设置字段信息。在图示位置 设置字段信息，将 gender 改为 性别，pv 改为 访问次数。设置聚合方式。在图示位置设置 聚合方式 为 求和。确认最终图表。男女星座访问次数分析 选择图标...
findOneAndDelete
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 指定排序的字段，并使用 1 和-1 来指定排序的方式。其中：...
- 产品推荐
- 这些文档可能帮助您