PI
返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
基础版Spark全密态计算引擎使用示例
本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，计算和分析密态数据，解密计算结果的完整过程。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已创建数据库账号。如果您是通过阿里云...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
InstanceTunnel
如果用户访问的Endpoint是公网对应的地址，具体公网Endpoint地址请参见 Endpoint，会产生下载费用，具体费用请参见 数据传输费用（公网下载）。用户使用公网Endpoint下载数据，如果已经开启下载权限检查，需要有Download数据对应的权限。...
ECS资源复用版
ECS资源复用版是MaxCompute按量付费类型中的...则04:00~05:00的账单详情（部分字段）示例如下：产品 产品明细 消费时间 实例ID 计费项code 单价 用量 官网价 云原生大数据计算服务 MaxCompute 大数据计算服务MaxCompute（按量付费）2023-12-30...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
POSITIVE
返回表达式的值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL positive(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr：必...相关函数 POSITIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
NEGATIVE
返回表达式的负值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL negative(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr：...相关函数 NEGATIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
ISNAN
判断表达式的值是否为 NaN，如果值为 NaN，返回True，否则返回False。命令格式 boolean isnan()参数说明 expr：必填。DOUBLE类型。...相关函数 ISNAN函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
UNHEX
返回十六进制字符串所代表的字符串。此函数为MaxCompute 2.0扩展函数。命令格式 binary unhex(string)参数说明 number：必填。为十六进制字符串。...相关函数 UNHEX函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
ATAN2
计算 expr1/expr2 的反正切函数。命令格式 double atan2(,)参数说明 expr1：必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时，会隐式转换为...相关函数 ATAN2函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
FILTER
将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array<T>filter(array<T><a>,function,boolean>)参数说明 a：必填。...相关函数 FILTER函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
物化视图
随着MaxCompute的深入使用，会出现对MaxCompute的表有很多重复查询的情况，并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算，同时加速用户计算。MaxCompute提供物化视图智能计算加速，为...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
Purge
清除当前表或者整个项目下所有表的备份数据，清除后不可以恢复。注意事项 表的备份数据被清除后不可以恢复，请谨慎操作。命令格式 清除单张表的备份数据：purge table;table_name：指定清除备份数据的表名称。清除当前项目下所有表的备份...
什么是物联网边缘计算
物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力，打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件，是一个边缘实例业务的核心，提供整个边缘实例所需要的...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
计算费用（包年包月）
如果您的任务量较稳定，建议对于消耗资源较少的任务购买包年包月预留计算资源，资源较大的任务购买按I/O按量计费资源，这样可以保证任务运行时一直有CU资源。包月标准版和包年包月套餐版规格详情，请参见 包年包月标准版 和 包年包月套餐版...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。在MaxCompute中支持根据计算作业对计算资源的需求，指定匹配的Quota，助力您高效使用计算资源。本文为您介绍如何使用MaxCompute的Quota...
Logview诊断实践
比如：某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数，不过此方法只能暂时缓解，具体的优化还是需要从业务上去处理。示例如下：set odps.sql.udf.jvm.memory=-设定UDF ...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
概述
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
- 产品推荐
- 这些文档可能帮助您