产品架构
这些物理执行单元直接在指定的BE节点上执行，实现了数据计算的本地化，避免了不必要的数据传输和复制，从而极大的提升了查询性能。尽管存算一体架构在查询性能上具有显著优势，但也存在一些局限性：成本高：为了确保数据的可靠性，BE节点...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
产品功能
时序数据计算能力 TSDB 提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合计算，能满足各种复杂的业务数据查询场景。监控运维 TSDB 提供实例运维系统，让您可以实时的掌握实例的运行情况、性能指标和存储空间使用情况，并...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）内置了时空数据库引擎Ganos，可对空间/时空数据进行高效的存储、索引、查询和分析计算。从静态POI（兴趣点）到APP位置信息，从电子地图到移动对象轨迹，从卫星遥感到泛在物联网，空间和时空信息已成为...
性能指标
用户在配置PSI任务时可以选择是否使用PSI缓存任务，如果选择使用PSI缓存任务，则可以只对增量数据进行PSI计算，适用于大数据量场景、增量更新较少的场景下的周期性PSI安全求交计算。以下是一组使用PSI缓存任务、不使用PSI缓存任务的性能...
2024年
新说明 ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高...
技术原理
分析型查询指的是涉及数据量较大、计算比较复杂的查询，例如对一定时间区间内的数据进行聚合。相比于业务中常见的简单查询，这类查询往往要执行数秒甚至数分钟，需要消耗较多的计算资源。为了加速复杂分析型查询，PolarDB-X将计算任务切分...
引擎功能
时序数据计算能力 Lindorm时序引擎提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合计算，能满足各种复杂的业务数据查询场景。监控运维 Lindorm时序引擎提供实例运维系统，用户可以实时掌握实例的运行情况、性能指标和存储...
数仓分层
降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，...
名词解释
提供安全可靠的数据计算能力，可供本地处理设备数据，减少上传云端的成本。Link IoT Edge软件包 阿里云IoT的边缘计算产品软件包，包含Link IoT Edge轻量版、标准版、专业版软件包。LE Lite Link IoT Edge轻量版，以二进制 tar.gz 的方式...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
创建数据板块
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据...
ECS实例说明
本文介绍E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景。EMR支持的ECS实例类型 通用型 vCPU:Memory=1:4。例如，8核32 GiB，使用云盘作为存储...Task计算实例 用于补充集群的计算能力，可以使用除大数据型外的所有机型。
创建数据板块
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
基础版Spark全密态计算引擎使用示例
本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，计算和分析密态数据，解密计算结果的完整过程。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已创建数据库账号。如果您是通过阿里云...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
数据传输费用（公网下载）
本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费，并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单，您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
2024年
对应地域所有项目的生命周期都将与按量付费标准服务的生命周期保持一致，所有项目的存储、下载等按量付费账单归属的产品明细为 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变为 大数据计算服务MaxCompute...
告警事件
告警事件集中为您展示离线计算、实时计算、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线计算、实时...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
自定义函数（邀测中）
AnalyticDB for MySQL 未开启压缩，将数据直接传输至函数计算服务，函数计算服务经过计算后，将计算结果使用GZIP格式压缩后返回给 AnalyticDB for MySQL，导致 AnalyticDB for MySQL 无法解析数据。调用 REMOTE_CALL 函数时，出现 parse ...
挂载NAS
1.背景 绝大部分计算模型下，客户数据直接存储于云端 NAS 里。为了方便客户读写云端计算数据，批量计算根据用户提供的挂载信息，自动将 NAS 的挂载点挂载到本地目录。完成 NAS 挂载后，对挂载目录里数据的读写行为将和读写本地数据完全相同...
升级和降配
在 变配 页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute，单击 立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...
PyODPS概述
如果后续操作的都是本地的DataFrame，则丧失了MaxCompute 的大规模并行计算能力，且数据量稍大时，单机内存就很容易产生OOM。提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到...
全球数据库最佳实践
（可选）购买固定规格计算包 若创建主集群或从集群时选择付费方式为 按量付费，您还可以购买固定规格计算包来抵扣按量付费集群的计算节点费用。购买固定规格计算包后，按量付费 集群的计算节点费用将由固定规格计算包自动抵扣费用，更加...
UDT示例
聚合操作 UDT实现聚合的原理是，先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List，之后对该List应用UDT的标量方法计算数据的聚合值。示例如下，计算BigInteger的中位数（由于数据是 java.math.BigInteger 类型的，所以不能直接...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
计算费用（包年包月）
如果您的任务量较稳定，建议对于消耗资源较少的任务购买包年包月预留计算资源，资源较大的任务购买按I/O按量计费资源，这样可以保证任务运行时一直有CU资源。包月标准版和包年包月套餐版规格详情，请参见 包年包月标准版 和 包年包月套餐版...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是物联网边缘计算
物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力，打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件，是一个边缘实例业务的核心，提供整个边缘实例所需要的...
- 产品推荐
- 这些文档可能帮助您