函数功能发布记录
HQE 通用聚合函数 V2.1版本 版本 函数类型 函数 类别 描述 执行引擎 相关文档 2.1.0 漏斗分析函数 range_funnel range_funnel_time range_funnel_level 新增函数 Hologres新增range_funnel、range_funnel_time和range_funnel_level函数，各...
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比，取消了全局过滤器的概念（即各可视化应用共享过滤器...
配置EventBridge类别的OSS触发器
如果您需要为OSS触发器设置多个文件前缀和文件后缀，或者希望在一个OSS Bucket中关联10个以上的触发器，您可以创建EventBridge类别的OSS触发器，以便轻松应对文件上传等事件。注意事项 EventBridge类别的OSS触发器与 原生OSS触发器 不同，...
2024年功能发布记录
然后结合同步到函数中的数据，在 函数计算 编写相应的代码，对接收到的增量数据进行分析、存储等业务逻辑处理。云数据库MongoDB版（副本集架构）云数据库MongoDB版（分片集群架构）RDS MySQL数据库触发器 新增 您可以在数据传输服务DTS...
配置EventBridge类别的OSS触发器
如果您需要为OSS触发器设置多个文件前缀和文件后缀，或者希望在一个OSS Bucket中关联10个以上的触发器，您可以创建EventBridge类别的OSS触发器，以便轻松应对文件上传等事件。注意事项 EventBridge类别的OSS触发器与 原生OSS触发器 不同，...
创建数据流
单击 数据过滤 节点，在页面下方的 数据过滤 页签中配置数据的 过滤条件表达式。例如，在过滤条件表达式文本框中输入 name='小明'。说明 您可以直接在输入框中输入过滤条件，也可以双击函数列表的函数辅助编写。配置数据输出节点。说明 ...
创建Aviator函数
在数据服务中，函数的作用是作为API过滤器来处理请求参数和返回结果，并且请求参数的定义形式是单层JSON结构（深度为1），返回结果的定义形式是多层JSON结构（深度为N），因此函数的输入内容也需要按照JSON形式，即：$0 代表着一段JSON形式...
FILTER
用于对 a 中元素进行过滤的函数（内置函数或自定义函数）或表达式，其输入参数类型必须与 a 中元素的数据类型一致，其输出结果数据类型为BOOLEAN。返回值说明 返回ARRAY类型。使用示例-返回[2,3]。select filter(array(1,2,3),x->x>1);说明...
Attu工具管理
您还可以单击上面的 Advanced Filter，通过输入Filter条件，对Collection中的标量字段进行过滤，获取更快更为精确的搜索结果。管理用户和角色 通过该功能，您可以创建新的用户和角色，并为用户分配特定角色及相应权限。创建用户 在Attu页面...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
事件请求处理程序（Event Handler）
例如，输入数据是JSON字符串，您可以把输入的数据转换为Array。context：包含函数的运行时信息，例如请求ID和临时身份验证，便于您在代码中使用这些信息。示例一：解析JSON格式参数 示例代码 当您传入JSON格式参数时，函数计算 会透传参数...
2021年
2021-03-16 全部地域 支持压缩格式数据 MaxCompute SQL支持FROM_JSON/TO_JSON函数 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数...
请求处理程序（Handler）
例如，输入数据是JSON字符串，您可以把输入的数据转换为Array。context：包含函数的运行时信息，例如请求ID和临时身份验证，便于您在代码中使用这些信息。说明 如您需要通过HTTP触发器或自定义域名访问函数，请先获取请求结构体再自定义...
2021年
新说明 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT，以JSON字符串格式输出。字符串...
新建及管理质量规则模板
质量规则模板常用于抽象质量规则配置中逻辑一致或相似的逻辑，可以提升后续配置质量监控规则的效率。Dataphin内置支持20+质量规则模板，并支持通过自定义SQL的方式灵活拓展，以满足企业的质量监控诉求。本文为您介绍如何新建质量规则模板。...
新建及管理质量规则模板
质量规则模板常用于抽象质量规则配置中逻辑一致或相似的逻辑，可以提升后续配置质量监控规则的效率。Dataphin内置支持20+质量规则模板，并支持通过自定义SQL的方式灵活拓展，以满足企业的质量监控诉求。本文为您介绍如何新建质量规则模板。...
列存索引如何实现高效数据过滤
在查询执行过程中，Runtime filter可以根据已经扫描到的数据值或者其他信息，过滤掉不需要的数据，从而减少查询的数据量，提高查询性能。常见的Runtime filter有Bloom Filter和Min-Max Filter等。它们可以用于多种查询场景，如join、group ...
RocketMQ触发器
消息队列RocketMQ版 作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过 消息队列RocketMQ版 触发器（以下简称RocketMQ触发器）能够触发关联函数执行，通过函数可以对发布到 消息队列RocketMQ版 中的消息进行自定义处理。...
列存索引中TopK算子的实现
重要 本文中的内存充足是指，算法中用于管理至少K条记录的数据结构可以在执行内存中缓存，而不是TopK查询的输入数据可以在执行内存中缓存。实际上本文讨论的场景，TopK查询的输入数据都是远大于执行内存的。另外，从系统设计的角度上看，...
质量规则参数配置
校验表数据过滤：默认关闭，开启后可配置校验表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中；如校验表有分区过滤需求，建议在调度配置中配置分区表达式，配置后会以校验分区为最小查看粒度查看质量报告。填写...
质量规则参数配置
校验表数据过滤：默认关闭，开启后可配置校验表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中；如校验表有分区过滤需求，建议在调度配置中配置分区表达式，配置后会以校验分区为最小查看粒度查看质量报告。填写...
新建过滤器
本文介绍数据过滤器的功能和如何新建一个过滤器。数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
JindoCube使用说明
您可以将任意View表示的数据进行持久化，持久化的数据可以保存在HDFS或OSS等任意Spark支持的DataSource中。EMR Spark自动发现可用的已持久化数据，并优化执行计划，对用户完全透明。JindoCube主要用于查询模式相对比较固定的业务场景，通过...
窗口函数
排序规范，用于决定输入数据行在窗口函数中执行的顺序。窗口框架，用于指定一个滑动窗口的数据给窗口函数处理给定的行数据。如果这个框架没有指定，它默认的方式是 RANGE UNBOUNDED PRECEDING，与RANGE BETWEEN UNBOUNDED PRECEDING AND ...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 使用MaxCompute内建函数过程中，需要注意的事项请参见 注意事项。MaxCompute预置的函数类型如下...
自建Apache RocketMQ触发器
Apache RocketMQ作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过Apache RocketMQ触发器能够触发关联函数执行，通过函数可以对发布到Apache RocketMQ的消息进行自定义处理。本文介绍如何在 函数计算 控制台创建Apache ...
自建Apache RocketMQ触发器
Apache RocketMQ作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过Apache RocketMQ触发器能够触发关联函数执行，通过函数可以对发布到Apache RocketMQ的消息进行自定义处理。本文介绍如何在 函数计算 控制台创建Apache ...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
环境变量
您可以使用环境变量，在不修改代码的前提下灵活调整 FC 函数的行为。环境变量作为函数配置的一部分，以字符串键值对的方式存储，不同函数拥有独立的环境变量。本文介绍环境变量的基本信息、配置方式以及如何在代码中使用环境变量等。安全性...
快速入门
根据输入参数调用函数。fcClient->invokeFunction('service_name','function_name',$payload='hello_world');调用函数，异步模式。fcClient->invokeFunction('service_name','function_name','hello world',['x-fc-invocation-type'=>'...
Logview诊断实践
} } 改写SQL语句为如下所示，就可以在分区过滤中使用UDF了。原来的写法 SELECT*FROM t WHERE pt=udf('foo');pt 是 t 的一个分区列-改成下面的样子 SELECT*FROM t WHERE pt=(SELECT udf('foo'));pt 是 t 的一个分区列 数据膨胀 特征：Task的...
新功能发布记录
通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版（3.0）支持通过Spark SQL访问Lindorm中的Hive表和宽表的数据。通过Spark SQL读Lindorm数据 2023年6月 类别 名称 说明 相关文档 新增 资源总览和作业使用统计 湖仓版（3.0）...
配置环境变量
您可以使用环境变量，在不修改代码的前提下灵活调整 FC 函数的行为。环境变量作为函数配置的一部分，以字符串键值对的方式存储，不同函数拥有独立的环境变量。本文介绍环境变量的基本信息、配置方式和示例代码以及如何在代码中使用环境变量...
RocketMQ触发器
消息队列 RocketMQ 版 作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过 消息队列 RocketMQ 版 触发器（以下简称RocketMQ触发器）能够触发关联函数执行，通过函数可以对发布到 消息队列 RocketMQ 版 中的消息进行自定义处理。...
- 产品推荐
- 这些文档可能帮助您