什么是EMR on ACK
EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群，通过简单的配置即可在已有的ACK集群上执行大数据作业，成本低廉。复用现有ACK集群的空闲资源，一键执行EMR Spark和Presto等任务，轻松上手。大数据和在线应用程序...
购买指引
产品版本 入门版 标准版 高级版 版本选择建议 小型数据团队 中小型数据团队 中型数据团队 功能规格 数据同步 离线数据同步 离线数据同步 实时数据同步 配置化数据同步 离线数据同步 实时数据同步 配置化数据同步 多引擎数据计算任务编排 ...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
引擎功能
时序数据计算能力 Lindorm时序引擎提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合计算，能满足各种复杂的业务数据查询场景。监控运维 Lindorm时序引擎提供实例运维系统，用户可以实时掌握实例的运行情况、性能指标和存储...
转换计费方式
说明 当您修改项目默认计算Quota前，请确认已购买目标计费方式的计算资源，购买请单击 购买计算资源。使用新版控制台，每个项目都是独立配置 默认计算Quota。登录 MaxCompute控制台，在左上角选择地域。在左侧导航栏单击 项目管理。在 项目...
产品概述
自动化编码：高效且自动化的编码：基于函数化理念，对通用数据计算逻辑进行组件化定义，并可自由组建统计指标，从而实现自助化建模研发，系统自动生成代码执行数据生产。智能计算优化：支持从业务视角进行逻辑建模。逻辑模型发布后，系统...
ECS实例说明
本文介绍E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景。EMR支持的ECS实例类型 通用型 vCPU:Memory=1:4。例如，8核32 GiB，使用云盘作为存储...Task计算实例 用于补充集群的计算能力，可以使用除大数据型外的所有机型。
查看账单详情
上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为 后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...
资源规划及规格选型
计算资源 资源充足，且无浪费，能够满足所有计算作业的资源需求。不同优先级的作业可以互不干扰，优先保证高优先级的作业获取到足够的计算资源。当某些作业需要处理庞大的数据量且耗费计算资源较多时，可以同时确保其他作业能获取到计算...
购买指引
本文为您介绍数据资源平台实例售卖支持的地域、版本及购买时长。背景信息 购买数据资源平台前，请您了解以下几点：购买前建议您先联系阿里云 售前咨询 并提供企业数据建设需求及背景信息。待阿里云售前咨询帮您确认数据资源平台当前版本及...
名词解释
提供安全可靠的数据计算能力，可供本地处理设备数据，减少上传云端的成本。Link IoT Edge软件包 阿里云IoT的边缘计算产品软件包，包含Link IoT Edge轻量版、标准版、专业版软件包。LE Lite Link IoT Edge轻量版，以二进制 tar.gz 的方式...
应用场景
随着大数据时代的到来，图计算在处理海量关系数据上的优势也越来越明显，在商品推荐、社交网络、金融风控、网络安全等场景上应用也日趋广泛。个性化推荐 图计算引擎在处理海量关系数据上具备天然优势，能够提高实时推荐的效率和准确性。以...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
基础概念
语法详述见 功能概览 使用过程中请注意：iGraph Gremlin语法与开源使用差异 其他相关服务 MaxCompute：大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布...
数仓分层
降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
基本概念
本文将向您介绍 云数据库ClickHouse 产品中涉及的一些基本名词概念，以便于您更好地理解 云数据库ClickHouse 产品。地域（Region）购买 云数据库ClickHouse 的服务器所处地理位置。您需要在购买 云数据库ClickHouse 服务时指定Region，...
创建数据板块
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
计量计费
本文为您介绍如何估算MaxCompute SQLML作业的费用。背景信息 通常情况下，每个算法组件由多个子任务组成。...查看账单信息 MaxCompute SQLML作业，在账单中体现的是 大数据计算服务MaxCompute+机器学习（PAI）两个产品的费用。
计算抵扣包和存储抵扣包
000 33000 75%24,750.00 计算抵扣包选择示例 例如您的阿里云账号开通使用MaxCompute上海区域的按量计费服务，主要使用SQL和Spark进行数据计算，每个月计算费用原价大概有 1000 元，一年则有 12000 元，那么您可以考虑购买计算抵扣包。...
术语
本文介绍 云原生数据库PolarDB 使用过程中遇到的术语。地域（Region）数据中心所在的地理位置。可用区（Zone）可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（Cluster）PolarDB 采用多...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
Paimon外部表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
弹性预留CU最佳实践
背景信息 MaxCompute原支持对包年包月预留计算资源进行自定义Quota切分以及分时配置（一天最多可分为三个时段），配置不同Quota在不同时段占用不同的预留CU量，极大提高了计算资源的使用率。MaxCompute新推出弹性预留CU，通过合理的评估后...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
购买方式2：按量付费
按量付费是指在新建数据库集群时您无需预先支付费用，而是等实际使用数据库的计算和存储的服务时，再扣除费用。如果不购买计算包和存储包，集群的计算节点和存储空间（根据实际数据量）均按小时计费，并从账户中按小时扣除。适用场景 若您...
计费项与计费方式概述
如果您的业务在大部分时段需要的资源较为固定，仅在部分时间段请求量激增，建议您购买包年包月规格并配合按时计费规格使用，支持对包年包月一级Quota在每天某个时间段临时扩容部分计算资源，从而满足业务高峰期资源供给。您可以通过报价...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
跨地域灾备
当您需要保证MaxCompute作业持续运行时，MaxCompute提供跨地域（Region）灾备功能，支持以项目（Project）为单位远程备份数据和元数据，确保备份地点与数据源的地理距离超过一百公里，以提升数据安全性。您能够自定义选择备份目标地域，并...
基本概念
本文将向您介绍 云数据库SelectDB版 产品中涉及的一些基本名词概念，以便于您更好地理解 云数据库SelectDB版 产品。地域（Region）购买 云数据库SelectDB版 的资源所处地理位置。您需要在购买 云数据库SelectDB版 资源时指定地域，资源创建...
2019年
MaxCompute可保障您购买的非预留计算资源全天50%的计算力（一天计算力：资源数量×24小时）。2019-12-20 全部区域 包年包月非预留计算资源 2019-11 功能名称 功能描述 发布时间 发布区域 相关文档 动态脱敏 MaxCompute提供对SQL查询任务...
- 产品推荐
- 这些文档可能帮助您