PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
TPC-H
TPC-H Benchmark是由国际事务处理性能委员会（Transaction Processing Performance Council）发布的数据库领域权威测试标准之一，是被工业界和学术界普遍认可的决策支持测试标准，也是数据库选型的重要参考指标之一。经过严苛的大规模分析...
兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
计费项与计费方式概述
MaxCompute以项目为单位，对存储、计算和下载操作进行计费。本文为您介绍MaxCompute费用组成、计费项与计费方式以及计费方式选择。计费项与计费方式 MaxCompute计费项以及计费说明如下表所示。计费方式 说明 存储费用 存储费用：按照存储在...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
UDT示例
聚合操作 UDT实现聚合的原理是，先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List，之后对该List应用UDT的标量方法计算数据的聚合值。示例如下，计算BigInteger的中位数（由于数据是 java.math.BigInteger 类型的，所以不能直接...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
批量计算
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
简介
云渲染管理系统（Render Manager 简称渲管）是一个开源的 Web 应用，可以帮助用户轻松搭建阿里云上的私有渲染系统，直接调用海量计算资源，一键管控集群规模，在加速渲染任务的同时省去自建集群的烦恼。渲管建立在阿里云 BatchCompute、OSS...
图计算服务 GraphCompute
图计算服务（Graph Compute）于2021年10月重磅升级，大幅度提高了图计算服务的工程性能，打造一站式图数据管理和分析平台。新版本图计算服务支持图数据建模、导入和修改，同时支持Apache TinkerPop标准Gremlin语言进行图查询，具有数据加载...
调优集群性能
UPDATE SQL 如果单个UPDATE WHERE语句命中了较多行数据，计算引擎需要计算出所有命中行的主键，并更新其对应的字段值，然后再逐个下发给存储节点进行标记旧行以及追加（Append）新行的操作。一个UPDATE SQL操作步骤可能会放大很多倍，从而...
引擎简介
云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务，满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求，支持对海量数据的高并发...
计费常见问题
MaxCompute以项目为计费单元，计费项包括存储、计算和数据下载，费用包含存储（按存储量计费）、计算（根据计费模式产生费用）和外网下载（按下载量计费）费用。更多MaxCompute计费方式信息，请参见 计费项与计费方式概述。如果按月购买...
查看账单详情
上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为 后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
按量付费标准版
资源说明 基础资源 资源说明 计费规则 计算资源 资源池为共享型，计算作业按需抢占资源，例如SQL（含UDF）、MapReduce、Spark、交互式分析（Lightning）和Graph等。不可指定用量也无使用限制。说明 若瞬时作业过多，存在因多用户抢占而无法...
隐私增强计算
阿里云隐私计算平台是行业领先的基于可信执行环境（Trusted Execution Environment，TEE）、安全多方计算（Secure Multi-Party Computation，MPC）、联邦学习（Federated Learning，FL）、差分隐私（Differential Privacy，DP）等隐私增强...
开通MaxCompute和DataWorks
角色用途：用于授权MaxCompute访问大数据计算平台其他云产品，如Hologres等。绑定的角色策略：AliyunServiceRolePolicyForMaxComputeIdentityMgmt 权限策略详情：{"Statement":[{"Effect":"Allow","Action":"odps:ActOnBehalfOfAUser",...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
计费方式
数据传输服务DTS（Data Transmission Service）不同实例支持的计费方式不同，本文详细介绍了DTS产品的计费方式。说明 DTS产品的计费项，请参见 计费项。计费方式 支持的实例 说明 包年包月 数据订阅实例 数据同步实例 也称为预付费，即在...
ECS资源复用版
ECS资源复用版是MaxCompute按量付费类型中的...则04:00~05:00的账单详情（部分字段）示例如下：产品 产品明细 消费时间 实例ID 计费项code 单价 用量 官网价 云原生大数据计算服务 MaxCompute 大数据计算服务MaxCompute（按量付费）2023-12-30...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
计算费用（按量付费）
类型 计费公式 价格（单个SQL作业计算费用）说明 开发者版SQL作业（指在绑定了按量付费开发者版的项目下提交的SQL作业）SQL作业当日总费用=计算输入数据量×单价 一般情况下，计费单价如下：公共云：0.15元/GB 金融云：不涉及。按量付费...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
数据倾斜诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
升级和降配
在 变配 页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute，单击 立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...
计费项概览
计费项概览表 计费项 说明 支持的计费方式 计算节点 计算节点包括主节点和只读节点。计算节点的费用与节点所在地域、节点规格以及使用时长有关。按量付费+固定规格计算包 按量付费 包年包月 说明 关于计算节点的购买方式，请参见 购买方式...
智能数据建模计费标准
智能数据建模使用包年包月计费模式，根据您在智能数据建模产品内创建的对象数量进行计费。您可根据实际需求，选购智能数据建模产品的不同规格。同时，智能数据建模为您提供了单独计费的行业模型模版，您可购买该模版快速构建属于您的数据...
计费项概览
计费项概览表 计费项 说明 支持的计费方式 计算节点 计算节点包括主节点和只读节点。计算节点的费用与节点所在地域、节点规格以及使用时长有关。按量付费+固定规格计算包 按量付费 包年包月 说明 关于计算节点的购买方式，请参见 购买方式...
选择付费方式
按量计费是按照次数计费的，如果多次进行1 TB数据的计算，其费用也会成倍增加。对于刚开始上云的企业，建议先开通按量计费，然后将数据进行POC测试（即针对客户具体应用的验证性测试），计算任务大概需要消耗多少CU时，通过CU时预估CU数量...
产品计费
本文为您介绍EMR Serverless Spark的资源估算策略、计费项、计算方式，以及支持地域的费用单价等信息。资源评估 Serverless Spark工作空间的基本计量单位为Compute Unit（CU），即计算资源。1CU=1核CPU+4 GiB内存+5 GB 本地存储空间（用于...
作业优先级管理与成本优化
作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级，优先保障高优先级作业的计算资源。当高优先级作业启动时，...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
- 产品推荐
- 这些文档可能帮助您