概述
表达式 根据FEEL(Friendly Enough Expression Language，一种DMN规范定义的表达式语言）的定义，表达式 可以分为一元表达式（Unary-tests，布尔表达式）和普通表达式（General expression，可以返回不同类型的表达式）。数据探索结构化的...
语言简介
全局操作函数 支持近三十种全局操作函数，通过参数来控制步骤操作，且可以接受其他表达式函数的结果作为参数，其中控制函数不仅可以与表达式函数组合，也可以与其他步骤函数进行组合。主要包括以下种类函数：流程控制函数 支持基于条件判断...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
表达式
同质的过滤条件，可以使用 in/notin/in_string/notin_string 等进行合并 数学函数表达式 三角函数 sin、cos、tan、cot、asin、acos、atab、sinh、cosh、tanh 含义：和c++的数学库保持一致，不再赘述。样例：sin(a)，其中a是数值类型表达式 ...
LOD函数
表达式说明 基本公式 三种LOD表达式的使用结构和语法分别如下：使用结构 lod_fixed{<维度声明>:<聚合表达式>} lod_include{<维度声明>:<聚合表达式>} lod_exclude{<维度声明>:<聚合表达式>} 示例：lod_fixed{[订单日期]:sum([订单金额])} ...
表达式函数概览
本文列举数据加工任务所涉及的表达式函数。函数分类 函数名称 说明 事件检查函数 e_has 判断日志字段是否存在。e_not_has 判断日志字段是否不存在。e_search 提供一种简化，类似Lucene语法的日志搜索方式。e_match、e_match_all、e_match_...
实例化解决方案
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何实例化解决方案。前提条件 已成功导入解决方案，具体操作，请参见 导入解决方案。操作步骤 登录 数据资源平台控制台。在...
条件函数（CASE、COALESCE、NULLIF、NVL、NVL2、...
CASE SQL语言的CASE表达式为一般条件表达式，类似于其它语言中的if/else语句：CASE WHEN condition THEN result[WHEN.][ELSE result]END CASE子句可使用于任何有效的表达式中。condition是一个返回BOOLEAN结果的表达式。如果结果为TRUE，...
语法简介
SLS DSL基于Python语言开发，提供两百多个内置函数来简化数据加工任务。本文介绍DSL的语言模式、分类和运行原理等。语言模式 SLS DSL兼容Python，标准模式下，SLS DSL可视为Python的子集。除基本的数据结构与表达方式外，语法规则是以函数...
计算列配置
功能概述 数据表中，如果某列数据是 根据已有列的数据计算而来，则该列为计算列。通过配置计算列可高效扩展表格数据内容，灵活支持有关业务场景的需求。如下学生成绩表，表中已有学生的语文、数学和英语成绩，若需要新增一列为“总分”，则...
函数概览
本文列举的函数与运算符可以被用在 SLS 的 SQL 或 SPL 两种语言中。函数与运算符 说明 您可以根据具体使用的功能、语言，在本文中查看具体的函数、运算符用法。下表中，√表示支持，×表示不支持。SQL 是一种广泛使用的查询、分析语言，...
概述
核密度估计函数 kernel_density_estimation 核密度估计函数采用平滑的峰值函数来拟合观察到的数据点，从而对真实的概率分布曲线进行模拟。时序补点函数 series_padding 如果时间序列中存在数据缺失问题，可以使用时序补点函数补齐缺失的...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
配置示例：MaxCompute
您可以选择新建分区表达式，也可以选择推荐的分区表达式：新建分区的表达式 在 添加分区 对话框中，您可以根据自身需求编辑符合语法的分区表达式。非分区表可以直接选择推荐的分区表达式中的 NOTAPARTITIONTABLE。一级分区的表达式格式：...
CREATE POLICY
按命令类型应用的策略 命令 SELECT/ALL策略 INSERT/ALL策略 UPDATE/ALL策略 DELETE/ALL策略 USING表达式 WITH CHECK表达式 USING表达式 WITH CHECK表达式 USING表达式 SELECT 现有行—SELECT FOR UPDATE/SHARE 现有行—现有行—INSERT—新...
定时触发器
自定义：在 CRON 表达式 文本框中输入Cron表达式，表示按照Cron表达式指定的时间点触发一次函数执行。时间间隔 触发消息 输入自定义的参数。该触发消息将会作为event中 payload 的值。触发消息的大小限制同异步调用的Payload限制，最大为...
DataFrame概述
调试指南：由于PyODPS DataFrame本身会对整个操作执行优化，为了更直观地反应整个过程，您可以使用可视化的方式显示整个表达式的计算过程。本文为您介绍DataFrame的调试过程。您可以参见 Python数据处理库pandas入门教程 了解Python数据...
定时触发器
自定义：在 CRON 表达式 文本框中输入Cron表达式，表示按照Cron表达式指定的时间点触发函数执行。时间间隔 触发消息 输入自定义的参数。该触发消息将会作为event中 payload 的值。awesome-fc 如果您对时区有特殊要求，需要自定义 CRON 表达...
应用场景
查询加速：采用了就近计算策略，例如表达式下推和聚合下推，以及分部署读取/数据源针对性优化策略。支持向量化解释ORC、Parquet格式，字典过滤、延迟物化等技术。测试结果：进行了TPC-H和Hive查询等测试，与Presto（OR）相比，在同等条件下...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
服务编排设计器内节点说明
也支持在函数中写Groovy表达式：#调用MAX函数，执行数学计算MAX函数$bw.NumberUtils.MAX(1,2,3)#调用IF函数，执行复杂表达式$bw.LogicUtils.IF(2+3>5,"22"+"444","44");抛出异常，异常中包含code、message信息$bw.ExceptionUtils....
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
选择列表
不过选择列表中的这个表达式并非一定要引用来自 FROM 子句中表表达式里面的列，例如它也可以是任意常量算术表达式。列标签 选择列表中的项可以被赋予名字，用于进一步的处理。例如为了在一个 ORDER BY 子句中使用或者为了客户端应用显示。...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
窗口函数
函数列表 分类 函数名称 语法 说明 支持SQL 支持SPL 聚合函数 聚合函数 无 所有聚合函数都支持在窗口函数中使用。聚合函数列表请参见 聚合函数。排名函数 cume_dist函数 cume_dist()统计窗口分区内各个值的累计分布。即计算窗口分区内值...
值表达式
简介 一个值表达式是下列之一：一个常量或文字值 一个列引用 在一个函数定义体或预备语句中的一个位置参数引用 一个下标表达式 一个域选择表达式 一个操作符调用 一个函数调用 一个聚集表达式 一个窗口函数调用 一个类型转换 一个排序规则...
排序策略配置
Open Search对于几种经典的应用（如论坛、资讯等）提供了 表达式模板，用户可根据自己数据的特点，选择合适的表达式模板，并以此为基础进行修改，生成自己的表达式。在进行相关性排序（业务排序）之前，首先要了解下 系统排序策略：通过...
模式匹配
虽然大部分的正则表达式搜索都能被很快地执行，但是正则表达式仍可能被人为地弄成需要任意长的时间和任意量的内存进行处理。要当心从不怀好意的来源接受正则表达式搜索模式。如果必须这样做，建议加上语句超时限制。使用 SIMILAR TO 模式的...
ZIP_WITH
用于合并ARRAY数组 a、b 中元素的函数（内置函数或自定义函数）或表达式。它的两个输入参数类型分别与ARRAY数组 a、b 中元素的数据类型一致。返回值说明 返回ARRAY类型。返回规则如下：新生成的ARRAY数组中元素位置与 a、b 中相应元素的...
排序策略配置
Open Search对于几种经典的应用（如论坛、资讯等）提供了 相关性实战，用户可根据自己数据的特点，选择合适的表达式模板，并以此为基础进行修改，生成自己的表达式。在进行相关性排序（业务排序）之前，首先要了解下 系统排序策略：通过...
触发器不能正常触发函数执行怎么办？
问题现象 触发器无法调用函数执行。问题原因 可能存在的原因如下。没有成功生成触发事件。不满足触发规则。触发器配置的角色不正确。解决方案 方案一：确认是否成功生成触发事件 OSS触发器 例如您的场景是将文件上传到OSS后触发函数执行，...
Map映射函数和运算符
查询和分析语句*|SELECT histogram(request_method)AS request_method,element_at(histogram(request_method),'DELETE')AS"count"查询和分析结果 histogram函数 histogram函数用于对查询和分析结果进行分组，返回结果为JSON格式。...
SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的...
BITMAP精准去重
本文介绍 云数据库 SelectDB 版 提供的Bitmap去重功能，帮助您进行数据去重，加速查询。概述 云数据库 SelectDB 版 支持Bitmap类型，在Aggregate数据模型中，Bitmap类型的Value字段可以和集合的交并集聚合函数配合，实现数据的精确去重功能...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
新建计算字段
当您分析的数据并不能直接从数据表中获取，而需要基于原始数据进行加工时，可以新建计算字段。前提条件 您已创建数据集，请参见 创建并管理数据集。背景信息 Quick BI支持丰富的字段计算，帮助您灵活的处理数据：聚合 例如通过客户名称统计...
聚合函数
聚合函数用于对目标数值执行计算并返回结果。本文介绍聚合函数的基本语法及示例。日志服务 支持如下聚合函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹或被双引号（""）包裹的字符表示字段名或列...
在PyODPS节点中调用第三方包
本文为您介绍在依赖普通的Python脚本和开源第三方包的场景下，如何使用DataWorks PyODPS节点调用第三方包。背景信息 DataWorks支持可视化创建Python资源，若需要依赖开源第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
DBMS_REDACT
DBMS_REDACT包支持对查询返回的数据进行脱敏或屏蔽，从而起到数据混淆的作用。DBMS_REDACT包提供了创建策略、更改策略、启用策略、禁用策略和删除策略的存储过程，您可以使用这些存储过程实现自定义的数据混淆。下表列出了DBMS_REDACT包中...
数组函数和运算符
字段样例 number:[49,50,45,47,50]查询和分析语句*|SELECT element_at(cast(json_parse(number)AS array(varchar)),2)查询和分析结果 filter函数 filter函数和Lambda表达式结合，用于过滤数组中的元素。只返回满足Lambda表达式的元素。语法...
- 产品推荐
- 这些文档可能帮助您