数据处理函数-数据处理函数文档介绍内容-阿里云

Dataphin的数据处理中unix_timestamp函数如何使用

Dataphin的<em>数据处理</em>中unix_timestamp<em>函数</em>如何使用

问题描述 Dataphin的数据处理中unix_timestamp函数如何使用？如何将时间戳再转换成日期格式？解决方案 unix_timestamp函数的使用示例如下：将时间戳再转换成日期使用from_unixtime函数，示例如下：适用于 Dataphin 基于公共云2.9.7环境验证

Dataphin的数据处理SQL任务中如何实现使用concat_ws...

问题描述 Dataphin的数据处理SQL任务中如何实现使用concat_ws函数参数为null时，返回值不为null。即实现如果分割符为null，则返回null，参数为null，则忽略该参数。问题原因这个是hive兼容的flag。默认新建项目都会开启的。创建项目的时候...

数据预处理函数

为了方便对样本数据进行分析和处理，对数据进行平滑、滤波等预处理操作。函数说明滑动平均函数针对输入的时序曲线进行滤波，从而发现时序曲线形态。物联网设备数据采集的原始数据中，大都含有各种各样的噪声影响。通过滑动平均函数，...

管理服务

数据处理函数资源需求大，可以选择大规格实例。创建服务登录函数计算控制台，在左侧导航栏，单击服务及函数。在顶部菜单栏，选择地域，然后在服务列表页面，单击创建服务。在创建服务面板，填写服务名称和描述，并按需设置以下配置...

基本概念

数据处理函数资源需求大，可以选择大规格实例。创建函数前必须先创建服务，同一个服务下的所有函数共享一些相同的设置，例如服务授权、日志配置。服务的相关操作，请参见管理服务。FC函数函数计算的资源调度与运行是以函数为单位。FC ...

函数概述

SQL分析自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍SQL分析提供的函数类型及函数使用相关说明。背景信息 SQL分析预置的函数类型如下。函数类型说明数据预处理函数 进行平滑、滤波等操作，去除异常数据，...

JSON函数和操作符

JSON处理函数将顶级JSON数组展开为一组JSON值。json_array_elements(json)→setof json jsonb_array_elements(jsonb)→setof jsonb select*from json_array_elements('[1,true,[2,false]]')→value-1 true[2,false]将顶级JSON数组展开为一...

系统函数分类

数据探索自身预置了诸多函数，用于常见的数据处理需求。这些预置的系统函数具有跨引擎的特点，在离线、实时、在线3种模型的不同引擎中具有相同的行为和使用方式。本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类数据...

应用场景

数据ETL处理函数计算支持丰富的事件源，通过事件触发机制，可以用几行代码和简单的配置对数据进行实时处理。例如：对OSS压缩包进行解压、对日志或者数据库中的数据进行清洗、对MNS消息进行自定义消费等。配置简单：支持丰富的事件源类型，...

应用场景

数据ETL处理函数计算支持丰富的事件源，通过事件触发机制，可以用几行代码和简单的配置对数据进行实时处理。例如：对OSS压缩包进行解压、对日志或者数据库中的数据进行清洗、对MNS消息进行自定义消费等。配置简单：支持丰富的事件源类型，...

Tablestore触发器

您可以通过创建Tablestore触发器，将Tablestore作为事件源接入函数计算，当Tablestore中的数据更新时会自动触发函数执行，从而完成对Tablestore变更数据的自定义处理。使用场景 Tablestore触发器典型的使用场景如下图所示。原始信号源数据...

设备上云数据筛选

本文中以LightSensor设备为例，因此在使用函数计算处理数据前，您可以在物联网平台控制台左侧导航栏选择设备管理>设备，找到LightSensor设备，单击设备名称后的查看，进入设备详情页面的物模型数据>运行状态页签，查看设备状态。...

新建自定义函数

通过新建自定义函数，并与公共计算节点相关联，便于快速对数据进行ETL处理或者在数据标准中引用，自动形成质量规则。本文介绍如何创建自定义函数。前提条件已新建函数资源代码包，具体操作，请参见新建函数资源。背景信息支持为函数使用...

Tablestore触发器

您可以通过创建Tablestore触发器，将Tablestore作为事件源接入函数计算，当Tablestore中的数据更新时会自动触发函数执行，从而完成对Tablestore变更数据的自定义处理。使用场景 Tablestore触发器典型的使用场景如下图所示。原始信号源数据...

Java UDF最佳实践

步骤二：创建MAXC函数在 数据处理 页签，单击左侧导航栏的函数管理图标。单击函数管理后的图标，选择 MAXC函数。在新建函数对话框，配置参数。参数描述名称填写函数的名称，例如 java 选择资源选择已上传的资源 javaudf.jar。...

Java UDF最佳实践

步骤二：创建MAXC函数在 数据处理 页签，单击左侧导航栏的函数管理图标。单击函数管理后的图标，选择 MAXC函数。在新建函数对话框，配置参数。参数描述名称填写函数的名称，例如 Java。选择资源选择已上传的资源 javaudf.jar。...

新建自定义函数

通过新建自定义函数，并与公共计算节点相关联，便于快速对数据进行ETL处理或者在数据标准中引用，自动形成质量规则。本文介绍如何创建自定义函数。前提条件已新建函数资源代码包，具体操作，请参见新建函数资源。背景信息支持为函数使用...

FLATTEN

将数组类型的数组转换为单个数组。命令格式 flatten(arrayOfArray)参数说明 ...返回结果如下：[1,2,3,4]相关函数 FLATTEN函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

JSON_PRETTY

美化JSON，增加换行及空格。命令格式 string json_pretty()...返回结果：+-+|_c0|+-+|{"a":1,"b":2 }|+-+相关函数 JSON_PRETTY函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

STRUCT

使用指定 value 列表建立STRUCT。命令格式 struct struct(,[,.])参数说明 value：必填。...相关函数 STRUCT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

弹性管理（含预留模式）

实例伸缩限制配置按量模式实例的伸缩限制在处理函数调用请求时，函数计算会优先使用已有的可用实例。若当前实例已经满载，函数计算会创建新的实例来处理请求。随着调用请求量的增加，函数计算会持续创建新的实例，直到有足够的实例...

SHUFFLE

返回指定数组的元素随机排列数组。命令格式 shuffle(array)参数说明 array：...返回结果如下：[20,null,3,1]相关函数 SHUFFLE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

JSON_FORMAT

将JSON数据转换成STRING类型，默认不自动进行美化。...返回结果：+-+|_c0|+-+|"123"|+-+相关函数 JSON_FORMAT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

JSON_ARRAY

生成JSON ARRAY。将一个可能为空的JSON类型对象...返回结果：+-+|_c0|+-+|["a",45,true,13,{"a":456}]|+-+相关函数 JSON_ARRAY函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

FIELD

获取STRUCT对象中成员变量的取值。命令格式 T field(struct,string)参数说明 s：必填。...相关函数 FIELD函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

JSON_VALID

检查字符串是否为合法的JSON格式。命令格式 boolean json_valid()参数...返回结果：+-+|_c0|+-+|false|+-+相关函数 JSON_VALID函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

TRANSFORM

将ARRAY数组 a 的元素利用 func 进行转换，返回一个新的ARRAY数组。命令格式 array<R>transform(array...相关函数 TRANSFORM函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

ARRAY_MAX

计算ARRAY数组 a 中的最大元素。命令格式 T array_max(array<T><a>)参数说明 a：必填。...相关函数 ARRAY_MAX函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

ARRAY_MIN

计算ARRAY数组 a 中的最小元素。命令格式 T array_min(array<T><a>)参数说明 a：必填。...相关函数 ARRAY_MIN函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

JSON_TYPE

MAP_FILTER

将MAP对象 input 的元素进行过滤，只保留满足 predicate 条件的元素。命令格式 map,V>map_filter(map,V...相关函数 MAP_FILTER函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

TRANSFORM_VALUES

对输入MAP对象 input 进行变换，保持Key不变，通过 func 计算新的Value值。...相关函数 TRANSFORM_VALUES函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

JSON_PARSE

将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 ...相关函数 JSON_PARSE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

ARRAY_POSITION

计算元素 element 在ARRAY数组 a 中第一次出现的位置。ARRAY数组元素位置编号自左往右，从1开始...相关函数 ARRAY_POSITION函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

ZIP_WITH

将ARRAY数组 a 和 b 的元素按照位置，使用 combiner 进行元素级别的合并，返回一个新的ARRAY数组。...相关函数 ZIP_WITH函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

InvokeFunction

例如，一个视频处理函数可以使用视频文件名作为调用ID，通过该ID可以查看视频是否处理完成或终止视频的处理。该ID的命名规则只能以英文大小写字母或下划线（_）开头，由英文大小写字母、数字（0-9）、下划线（_）及短划线（-）组成，不超过...

ARRAY_REDUCE

相关函数 ARRAY_REDUCE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。ARRAY_REDUCE函数使用示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。

ARRAY_INTERSECT

MaxCompute ARRAY_INTERSECT函数用于计算两个ARRAY数组之间的交集，并返回一个包含两个数组中都...相关函数 ARRAY_INTERSECT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

MAP_CONCAT

计算多个MAP对象的并集。命令格式 map,V>map_concat([string,]map,V>,map,V>[,.])参数说明 ...相关函数 MAP_CONCAT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见复杂类型函数。

创建并使用自定义函数

参数描述函数类型选择函数类型，包括数学运算函数、聚合函数、字符串处理函数、日期函数、窗口函数和其他函数。更多详情请参见使用内建函数。MaxCompute引擎实例默认不可修改。函数名 UDF函数名，即SQL中引用该函数所使用的名称。...

数据处理函数

新品推荐