就绪检测节点
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
就绪检测节点
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
应用场景
本文介绍函数计算的典型应用场景，包括Web应用、数据ETL处理、AI推理、视频转码等。Web应用 函数计算和其他云产品搭配使用，可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行，不...
应用场景
本文介绍函数计算的典型应用场景，包括Web应用、数据ETL处理、AI推理、视频转码等。Web应用 函数计算和其他云产品搭配使用，可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行，不...
数据查询
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
数据库访问失败的常见原因
本文介绍函数计算访问数据库失败的常见原因。常见原因排查 数据库连接偶现失败 如果您访问数据库偶现失败，可按照以下步骤进行原因排查。数据库断开连接时，是否使用 destroy()替换 end()使用。由于函数实例在空闲2~5分钟左右后，会自动...
物化视图
随着MaxCompute的深入使用，会出现对MaxCompute的表有很多重复查询的情况，并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算，同时加速用户计算。MaxCompute提供物化视图智能计算加速，为...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
推送记录
在 推送记录 页面，您可单击 离线计算、实时计算、数据质量 或 数据服务 页签，查看对应模块的推送记录。不同功能模块的页签展示一致，下图以 离线计算 为例。区域 描述 ①筛选与搜索区 您可根据推送记录对象名称的关键字进行搜索，也可...
设备上云数据筛选
物联网边缘计算提供边缘函数计算，进行设备上云数据筛选，可以减少设备数据上云的数量，从而减少云端的成本。本文中以LightSensor设备为例，因此在使用函数计算处理数据前，您可以在 物联网平台控制台 左侧导航栏选择 设备管理>设备，找到...
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
2024年
对应地域所有项目的生命周期都将与按量付费标准服务的生命周期保持一致，所有项目的存储、下载等按量付费账单归属的产品明细为 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变为 大数据计算服务MaxCompute...
创建Hologres计算源
Dataphin支持使用Hologres为MaxCompute计算引擎作为加速计算源或单独作为离线计算源，作为加速源使用时可加速数据服务中的Dataphin数据源的查询速度，以满足对查询速度有要求的业务场景。本文为您介绍如何创建Hologres计算源。操作步骤 请...
其它操作
计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。说明 该信息不能作为实际计费标准，仅供参考，实际...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
复合指标
由于派生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活动的周环比增长率）。因此，DataWorks为您提供了由派生指标通过运算规则进行计算而形成的复合...
SDK接口
本文为您介绍流式数据通道SDK接口的使用方法。使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
自定义函数（邀测中）
AnalyticDB for MySQL 未开启压缩，将数据直接传输至函数计算服务，函数计算服务经过计算后，将计算结果使用GZIP格式压缩后返回给 AnalyticDB for MySQL，导致 AnalyticDB for MySQL 无法解析数据。调用 REMOTE_CALL 函数时，出现 parse ...
Tunnel SDK常见问题
如果数量较大且是持续上传模式，Block的数据量在64 MB~256 MB之间；如果是每天传一次的批量模式，Block可以设置为1 GB左右。使用新版BufferedWriter可以更简单地进行上传且可以避免小文件等问题，详情请参见 TunnelBufferedWriter。遇到...
转换计费方式
说明 当您修改项目默认计算Quota前，请确认已购买目标计费方式的计算资源，购买请单击 购买计算资源。使用新版控制台，每个项目都是独立配置 默认计算Quota。登录 MaxCompute控制台，在左上角选择地域。在左侧导航栏单击 项目管理。在 项目...
PyODPS概述
如果后续操作的都是本地的DataFrame，则丧失了MaxCompute 的大规模并行计算能力，且数据量稍大时，单机内存就很容易产生OOM。提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到...
挂载NAS
1.背景 绝大部分计算模型下，客户数据直接存储于云端 NAS 里。为了方便客户读写云端计算数据，批量计算根据用户提供的挂载信息，自动将 NAS 的挂载点挂载到本地目录。完成 NAS 挂载后，对挂载目录里数据的读写行为将和读写本地数据完全相同...
升级和降配
在 变配 页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute，单击 立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是物联网边缘计算
物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力，打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件，是一个边缘实例业务的核心，提供整个边缘实例所需要的...
计算费用（包年包月）
如果您的任务量较稳定，建议对于消耗资源较少的任务购买包年包月预留计算资源，资源较大的任务购买按I/O按量计费资源，这样可以保证任务运行时一直有CU资源。包月标准版和包年包月套餐版规格详情，请参见 包年包月标准版 和 包年包月套餐版...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
全球数据库最佳实践
（可选）购买固定规格计算包 若创建主集群或从集群时选择付费方式为 按量付费，您还可以购买固定规格计算包来抵扣按量付费集群的计算节点费用。购买固定规格计算包后，按量付费 集群的计算节点费用将由固定规格计算包自动抵扣费用，更加...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
云计算资源类型
云计算资源是空间数据中台中空间数据使用的基础，通过了解空间数据的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在添加空间数据时使用。本文介绍空间服务管理设计中支持使用的云计算资源类型。...
Logview诊断实践
比如：某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数，不过此方法只能暂时缓解，具体的优化还是需要从业务上去处理。示例如下：set odps.sql.udf.jvm.memory=-设定UDF ...
基础版Spark全密态计算引擎使用示例
本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，计算和分析密态数据，解密计算结果的完整过程。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已创建数据库账号。如果您是通过阿里云...
概述
流数据分析提供了连接边缘端消息总线的能力，您可以通过配置消息路由将设备数据传入到流数据分析中，利用流数据分析方便地对设备数据进行实时计算，并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...
- 产品推荐
- 这些文档可能帮助您