KEYVALUE
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持KEYVALUE函数。语法 VARCHAR KEYVALUE(VARCHAR str,VARCHAR split1,VARCHAR split2,VARCHAR key_name)入参 参数 数据类型 说明 str VARCHAR 待拆分的目标字符串。split1 VARCHAR 按照split1...
APPROX_COUNT_DISTINCT
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持APPROX_COUNT_DISTINCT函数。背景信息 Count Distinct优化时，Aggregate节点的State需要保存所有Distinct Key信息。当Distinct Key数目过大时，State的读写开销太大，因此Count Distinct...
JSON_TUPLE
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持JSON_TUPLE函数。语法 JSON_TUPLE(str,path1,path2.,pathN)入参 参数 数据类型 说明 str VARCHAR JSON字符串。path1～pathN VARCHAR 表示路径的字符串，前面不需要$。示例 测试数据 表 1.T1...
DATE_FORMAT
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持DATE_FORMAT函数。语法 VARCHAR DATE_FORMAT(TIMESTAMP time,VARCHAR to_format)VARCHAR DATE_FORMAT(VARCHAR date,VARCHAR to_format)VARCHAR DATE_FORMAT(VARCHAR date,VARCHAR from_...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
2023-12-07版本
管理资源队列 任务编排（公测）通过可视化的操作界面轻松地编排批作业运行的顺序，调度批作业任务的运行，高效构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排（公测）查询脚本 可以在查询脚本中通过DDL、...
PARSE_URL
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持PARSE_URL函数。语法 VARCHAR PARSE_URL(VARCHAR urlStr,VARCHAR partToExtract[,VARCHAR key])入参 参数 数据类型 说明 urlStr VARCHAR 目标URL。说明 如果urlStr参数值为NULL时，则返回值...
新建BLINK_SQL任务
在配置对话框中，配置BLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式...
新建BLINK_SQL任务
在配置对话框中，配置BLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式...
基于Flink+Paimon搭建流式湖仓
基于实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓可以解决上述传统离线数仓的问题。利用Flink的实时计算能力，数据可以在数仓分层之间实时流动。同时，利用Paimon高效的更新能力，数据变更可以在分钟级的延时内传递给下游消费者。因此...
迁移操作
本文为您介绍如何将Bayes上的作业迁移到 实时计算开发控制台，包括迁移步骤、使用限制和注意事项。前提条件 您已具备Bayes对应项目的Owner权限和目标Flink项目空间的Owner权限，Flink权限管理详情，请参见 权限管理。Flink工作空间和Bayes...
管理域名
本文为您介绍如何在实时计算控制台上新增域名、修改域名和删除域名。使用限制 填写域名时，不支持填写大写字符。单个工作空间最多只能设置50个合法域名。当工作空间状态为运行中时，才可以添加域名。新增 域名 进入域名管理入口。登录 实时...
重要参数说明
注意事项 在作业启动前，如果未在运行参数配置区域显式设置该参数，在MiniBatch处理模式下，将使用Managed Memory缓存数据，在以下几种条件下都会触发最终计算和数据输出：收到MiniBatchAssigner节点发送的watermark消息 Managed Memory已...
计算源概述
功能概述 您可根据业务需求添加相应计算源，各计算源描述及创建说明如下：计算设置 计算源 MaxCompute 计算设置为MaxCompute的租户支持创建以下计算源：离线计算源 MaxCompute计算源：绑定MaxCompute计算源的项目，支持规范建模、即席查询...
自定义聚合函数（UDAF）
Flink UDF示例中包含UDSF、UDAF和UDTF的实现，示例中已为您配置对应版本的开发环境，您无需进行环境搭建。下载并解压 ASI_UDX_Demo 示例到本地。解压完成后，会生成 ASI_UDX-main 文件夹。其中：pom.xml：项目级别的配置文件，主要描述了...
OVER窗口
在实时计算的底层实现中，OVER窗口的数据进行全局统一管理（数据只存储1份），逻辑上为每1个元素维护1个OVER窗口，为每1个元素进行窗口计算，完成计算后会清除过期的数据。详情请参见 Over Aggregation。语法 SELECT agg1(col1)OVER...
同城高可用
在购买实时计算Flink版时，您需要选中 是否启用跨可用区，并填写 计算资源配额，选择对应的主备可用区和虚拟交换机，详情请参见 开通实时计算Flink版。在跨可用区项目空间创建并运行作业，详情请参见 进入目标项目空间。方式2：已有工作...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
离线模式配置概述
资源配置 开源Flink实时计算源 对于开源Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明，请...
DataStream的Timer使用最佳实践
通常，Flink作业是事件驱动计算的，但在一些场景下，Flink作业需要基于处理时间（ProcessingTime）或者事件时间（EventTime）驱动计算和发送数据，这时便需要使用Timer。算子可以注册一个Timer，当时间达到指定的处理时间，或事件时间水印...
节点类型说明
计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类节点。在线节点 更多详细信息，请参见 在线类节点。流式节点 更多详细信息，请参见 流式类节点。...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
混合云主控模式最佳实践
混合云主控模式集群的管理节点为云上新增集群的管理节点，计算节点由线下已有计算节点和云上新增计算节点组成。本文以E-HPC云上集群将线下已有计算节点纳入管理的场景为例，介绍混合云主控模式集群（SGE调度器）的部署方案。重要 本文的...
环境准备
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。更多信息，请参见 什么是阿里云...
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
应用场景
Web应用 函数计算 和其他云产品搭配使用，可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行，不需要在可扩展性、备份冗余方面执行管理工作。高效免运维：工程师专注于业务逻辑的...
应用场景
Web应用 函数计算和其他云产品搭配使用，可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行，不需要在可扩展性、备份冗余方面执行管理工作。高效免运维：工程师专注于业务逻辑的...
名词术语
为了更好理解DataTrust平台的安全管控机制和更好的理解使用该平台，建议您事先仔细了解以下术语。...MaxCompute 租户提供，全托管的在线数据仓库服务，提供高性能可扩展的计算和存储能力。用于存储和保护本地数据源和多方安全计算的引擎。
2024-03-13版本
同城高可用 开通实时计算Flink版 资源调整 管理项目空间 修改虚拟交换机 算子探查（公测）支持对运行中的SQL作业进行中间结果查询，减少排查数据正确性的难度。算子探查（公测）免费监控服务 开通Flink工作空间时，支持选择免费监控服务，...
新用户免费试用额度
免费试用额度介绍 目前MaxCompute的免费试用套餐包括 计算抵扣包 和 存储抵扣包，仅支持抵扣MaxCompute按量付费标准版的计算和标准存储，对于其他下载或包年包月版本产生的相关费用无法抵扣。MaxCompute为您提供的免费额度如下：抵扣包类型...
产品架构
应用运行时分为二进制运行时和容器运行时：二进制运行时，在资源同步和监控服务两个功能模块基础上，扩充边缘函数计算和IoT中间件模块。容器运行时，在二进制运行时基础上，可扩充容器服务、Kubernetes底座，支持部署和预装云原生中间件。...
什么是弹性高性能计算E-HPC
弹性高性能计算和其他产品的关系如下表所示。产品 说明 相关文档 云服务器ECS ECS是集群的组成部分，根据使用功能作为集群的登录节点、管控节点和计算节点。登录节点：可以进行软件安装、编译和调试，作业提交等操作。管控节点：包括调度器...
函数
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
计算抵扣包和存储抵扣包
MaxCompute提供了两种资源抵扣包：计算抵扣包和存储抵扣包，抵扣您使用MaxCompute实例时产生的计算和存储用量，增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。计算...
函数存储选型
同时 函数计算 和 OSS 可以通过OSS触发器实现无缝集成，您可以编写函数对OSS事件进行自定义处理，当OSS捕获到指定类型的事件后，OSS事件触发相应的函数执行。函数计算 和 OSS 集成后，您可以自由地调用各种函数处理图像或音频数据，再把...
什么是物联网边缘计算
边缘端与云端的连接不稳定，数据上云无法满足实时计算的要求，流数据分析在边缘端运行，因此不依赖网络，低时延处理数据。消息路由 物联网边缘计算提供消息路由的能力。您可以设置消息路由路径，控制本地数据在边缘计算节点中的流转，从而...
基于Delta Table构建近实时增全量一体化链路实践
近实时增全量一体化架构 基于上述背景，MaxCompute推出近实时增全量一体化架构，支持丰富的数据源，并通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎...
函数存储选型
同时 函数计算 和 OSS 可以通过OSS触发器实现无缝集成，您可以编写函数对OSS事件进行自定义处理，当OSS捕获到指定类型的事件后，OSS事件触发相应的函数执行。函数计算 和 OSS 集成后，您可以自由地调用各种函数处理图像或音频数据，再把...
资源规划及规格选型
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
- 产品推荐
- 这些文档可能帮助您