Dataphin的数据处理中unix_timestamp函数如何使用
问题描述 Dataphin的数据处理中unix_timestamp函数如何使用？如何将时间戳再转换成日期格式？解决方案 unix_timestamp函数的使用示例如下：将时间戳再转换成日期使用from_unixtime函数，示例如下：适用于 Dataphin 基于公共云2.9.7环境验证
Dataphin的数据处理SQL任务中如何实现使用concat_ws...
问题描述 Dataphin的数据处理SQL任务中如何实现使用concat_ws函数参数为null时，返回值不为null。即实现如果分割符为null，则返回null，参数为null，则忽略该参数。问题原因 这个是hive兼容的flag。默认新建项目都会开启的。创建项目的时候...
设备上云数据筛选
本文中以LightSensor设备为例，因此在使用函数计算处理数据前，您可以在 物联网平台控制台 左侧导航栏选择 设备管理>设备，找到LightSensor设备，单击设备名称后的 查看，进入 设备详情 页面的 物模型数据>运行状态 页签，查看设备状态。...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
配置OSS文件系统
您可以通过为 函数计算 的服务配置OSS挂载，让服务下的函数使用OSS可以实现类似本地文件系统的操作体验，从而简化资源访问和数据处理流程。使用限制 函数计算 在同一地域下的一个服务最多支持配置5个NAS挂载点和5个OSS挂载点。NAS挂载点和...
Kafka实时入湖
Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 类型 说明 key binary Kafka消息key value binary Kafka消息体 topic string Kafka topic partition int Kafka分区...
通用资源
自定义函数 通过自定义函数功能，用户可以自定义ETL（Extract-Transform-Load）函数并管理，自定义函数与公共计算节点相关联，便于一般函数不满足的时候，使用自定义函数快速对数据进行ETL处理，便于在数据开发或者数据标准模块设计中使用...
空间函数
函数 功能 ST_AREA 计算几何的面积 ST_CONTAINS 判断两个几何是否包含关系 ST_COVERS 判断两个几何是否覆盖关系 ST_CROSSES 判断两个几何是否交叉 ST_DIFFERENCE 计算两个几何的差集 ST_DISTANCE 计算两个几何之间的距离 ST_EQUALS 判断两...
2018年功能发布记录
2018年12月 功能名称 变更类型 功能描述 相关文档 表格存储触发器 新增 函数计算推出表格存储触发器，通过表格存储触发器，当您的表格变更时会实时触发函数计算对数据进行自定义处理。使用表格存储触发器，您可以轻松实现对数据的计算、...
HTTP触发器概述
函数使用频率较低，在首次发起调用时需要等待实例冷启动。具体原因可参见 为什么使用频率较低的函数调用时间比较长？如果您希望消除冷启动延时的影响，请参见 如何让实例一直存活不销毁，消除冷启动延时的影响？如果函数调用偶然出现超时...
InvokeFunction-调用函数
例如，一个视频处理函数可以使用视频文件名作为调用 ID，通过该 ID 可以查看视频是否处理完成或终止视频的处理。该 ID 的命名规则只能以英文大小写字母或下划线（）开头，由英文大小写字母、数字（0-9）、下划线（）及短划线（-）组成，不...
StopStatefulAsyncInvocation
例如，一个视频处理函数可以使用视频文件名作为调用ID，通过该ID可以查看视频是否处理完成或终止视频的处理。该ID的命名规则只能以英文大小写字母及下划线（_）开头，由英文大小写字母、数字（0-9）、下划线（_）及短划线（-）组成，不超过...
InvokeFunction-调用函数
例如，一个视频处理函数可以使用视频文件名作为调用 ID，通过该 ID 可以查看视频是否处理完成或终止视频的处理。该 ID 的命名规则只能以英文大小写字母或下划线（_）开头，由英文大小写字母、数字（0-9）、下划线（_）及短划线（-）组成，...
管理函数
在 服务资源组 页面，您可以查看当前函数使用的数据服务资源组是哪个资源组，也可以在此处直接修改函数使用的资源组。克隆、删除、移动函数 在 服务开发 页面，展开目标API所在的 业务流程>函数。右键单击相应的函数名称，可以对函数进行 ...
新建计算字段
除此之外，可以使用数据库日期相关函数进行数据加工，可在函数列表搜索DATE搜索到相关的函数。例如：不同数据库函数不同导致日期时间处理方式有所差异，本文以MySQL函数举例。当前日期：CURRENT_DATE 入职天数：DATEDIFF(CURRENT_DATE,[入...
功能简介
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发等过程中灵活调用各类自定义函数和基础数据。自定义函数 支持对ETL函数自定义和管理，并与公共...函数资源 支持对自定义函数中所使用的代码包的新建和管理。
功能简介
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发等过程中灵活调用各类自定义函数和基础数据。自定义函数 支持对ETL函数自定义和管理，并与公共...函数资源 支持对自定义函数中所使用的代码包的新建和管理。
FLATTEN
将数组类型的数组转换为单个数组。命令格式 flatten(arrayOfArray)参数说明 ...返回结果如下：[1,2,3,4]相关函数 FLATTEN函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
SHUFFLE
返回指定数组的元素随机排列数组。命令格式 shuffle(array)参数说明 array：...返回结果如下：[20,null,3,1]相关函数 SHUFFLE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
项目安全策略
对于同时支持数据库内置函数脱敏和安全策略算法包，有以下两种选择：如只使用数据库内置函数进行脱敏，无需安装项目安全策略。如希望使用高级脱敏函数，则需要安装项目安全策略。在 项目安全策略 页面，单击 操作 列的 图标。在编辑项目...
函数概述
SQL分析自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍SQL分析提供的函数类型及函数使用相关说明。背景信息 SQL分析预置的函数类型如下。函数类型 说明 数据预处理函数 进行平滑、滤波等操作，去除异常数据，...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 MaxCompute预置的函数类型如下。函数类型 说明 日期与时间函数 支持处理DATE、DATETIME、...
管理服务
数据处理函数资源需求大，可以选择大规格实例。创建服务 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单栏，选择地域，然后在 服务列表 页面，单击 创建服务。在 创建服务 面板，填写服务名称和描述，并按需设置以下配置...
内建函数常见问题
数学函数 使用ROUND函数对DOUBLE类型数据四舍五入，为何结果存在偏差？窗口函数 MaxCompute可以通过哪个函数设置自增序列？聚合函数 如何连接相同字段？字符串函数 MaxCompute是否支持MD5函数？如何实现对固定长度字符串，不足部分前面补零...
什么是函数计算
相关链接 链接 说明 应用场景 介绍 函数计算 的主要使用场景，包括Web应用、数据ETL处理、AI推理、视频转码等。函数类型选型 函数运行时选型 函数存储选型 介绍 函数计算 支持的函数类型（事件函数和HTTP函数）、函数运行时（内置运行时、...
常见问题
问题二：将聚合函数和不聚合的数据混合使用 聚合函数不支持在 SELECT 语句中指定不使用聚合函数的单独的field key或tag key。聚合函数返回一个计算结果，对于没有被聚合的field或tag，没有明显的单个值可以返回。当 SELECT 语句同时包含...
基本概念
数据处理函数资源需求大，可以选择大规格实例。创建函数前必须先创建服务，同一个服务下的所有函数共享一些相同的设置，例如服务授权、日志配置。服务的相关操作，请参见 管理服务。FC函数 函数计算 的资源调度与运行是以函数为单位。FC ...
什么是函数计算
相关链接 链接 说明 应用场景 介绍 函数计算 的主要使用场景，包括Web应用、数据ETL处理、AI推理、视频转码等。函数创建方式选型 函数存储选型 介绍 函数计算 支持的函数创建方式（事件函数、Web函数、容器镜像）和函数存储（文件存储NAS、...
Tablestore触发器
步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击实例名称或在实例 操作 列...
ARRAY_REDUCE
相关函数 ARRAY_REDUCE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。ARRAY_REDUCE函数使用示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。
Tablestore触发器
步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击实例名称或在实例 操作 列...
类型转换函数
如果您在查询与分析数据时需要区分更细维度的数据类型，您可以在查询与分析语句中使用类型转换函数转换数据的数据类型。日志服务支持如下类型转换函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹...
ALL_MATCH
相关函数 ALL_MATCH函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。ALL_MATCH函数使用示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。
ANY_MATCH
相关函数 ANY_MATCH函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。ANY_MATCH函数使用示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。
SLS触发器
针对这种情况，您可以在函数内通过Cursor尝试获取Shard的数据，如果获取不到数据说明是一次空触发，可以在函数内做忽略处理。更多信息，请参见 自定义函数开发指南。日志服务的ETL任务触发机制是时间触发。例如：您设置的ETL Job触发间隔为...
SLS触发器
针对这种情况，您可以在函数内通过Cursor尝试获取Shard的数据，如果获取不到数据说明是一次空触发，可以在函数内做忽略处理。更多信息，请参见 自定义函数开发指南。日志服务的ETL任务触发机制是时间触发。例如：您设置的ETL Job触发间隔为...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
如何统计冷存数据
表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
IoT物联网平台
您可以使用规则引擎数据流转，将数据转发至函数计算（FC）中，然后由函数计算运行函数脚本进行业务处理。前提条件 已创建函数计算的服务和函数，并完成函数配置，验证函数能正常执行。函数计算使用方法，请参见 函数计算文档。重要 创建...
- 产品推荐
- 这些文档可能帮助您