2023年
Spark Connector 2023-10-27 新增数据科学计算概述 新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合...
创建通用项目
空间类型包括4种：中间层：通常用于储存数据进行加工后，一致的、准确的、干净的数据。贴源层：通常用来存储从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、...
创建通用项目
空间类型包括4种：中间层：通常用于储存数据进行加工后，一致的、准确的、干净的数据。贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、...
创建数据板块
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据...
创建数据板块
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
应用场景
表格存储 数据湖架构能有效的解决大数据领域面临的数据存储与数据分析问题，典型应用场景包括推荐系统和舆情&风控分析场景。推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
概览
三种计费方式的计费细则如下：按容量计费（按量付费）+存储包方式下的价格 按容量计费（按量付费）方式下的价格 按空间计费（包年包月）方式下的价格 说明 PolarDB 发布了价格计算器和资源包计算器，帮助您了解产品价格，估算费用情况，...
数据集成服务
迁移方案 说明 同步表格存储数据到MaxCompute 您可以使用MaxCompute备份表格存储数据或者迁移表格存储数据到MaxCompute中使用。迁移过程中会使用到表格存储的Reader脚本配置和MaxCompute的Writer脚本配置。具体数据源配置如下：源数据源：...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
概述
以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析应用（如投资和财务分析）提供数据保护，保证用户数据在存储与计算过程中的安全，降低明文数据泄露风险。...
实例选型和集群规划
云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可通过gzip实现外部存储上的数据压缩，将不需要参与实时计算的数据存储到数据库外部以进一步节省存储成本。相关文档 AnalyticDB PostgreSQL版7.0版本 Serverless模式 规格及选型
Tablestore外部表
现在internal_orders就是一个MaxCompute表了，也拥有所有MaxCompute内部表的特性，包括高效的压缩列存储数据格式、完整的内部宏数据以及统计信息等。同时因为表存储在MaxCompute内部，所以访问速度会比访问外部的Tablestore更快。这种方法...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
产品架构
集群 云数据库SelectDB版 集群，支持存算分离架构，多计算集群共享存储数据。云数据库SelectDB版 集群包括计算资源（vCPU、内存）和缓存资源（Cache），以集群粒度进行算力隔离，满足各个业务的不同性能规模和使用时长需求。云数据库...
选型配置说明
Task节点选型 Task节点主要用来补充Core节点CPU和内存计算能力的不足，节点并不存储数据，也不运行DataNode。您可以根据CPU和内存需求来估算实例个数。E-MapReduce生命周期 E-MapReduce支持弹性扩展，可以快速的扩容，灵活调整集群节点配置...
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
引擎简介
产品架构 云原生多模数据库 Lindorm 流引擎的架构图如下：云原生多模数据库 Lindorm提供了一体化的数据存储、计算和查询能力。流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL...
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
环境准备
表格存储通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以通过流式计算的方式对表中历史存量和新增数据...
时序模型计量计费
分析存储 数据存储 按量付费 资源包 按照容量型存储计费。分析存储相比时间线数据具有更高的压缩率。按量写吞吐量 按量读吞吐量 按量付费 资源包 按照容量型读写计费。按照SQL引擎访问分析存储实际产生的数据扫描量计算CU，其中读取4 KB...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
产品优势
同时支持 冷热数据分层存储，存储空间按实际使用的存储空间计费，大大降低了计算和存储的成本。湖仓一体化 湖仓版（3.0）支持资源一体化。通过资源组分时弹性和按需弹性，在数据分析和数据处理之间实现计算资源倾斜，提高资源利用率，降低...
数据导出到OSS概述
读取表格存储数据时会消耗计算资源，计算资源的计费涵盖在计算能力费用中。按量模式：计费项包括读吞吐量、写吞吐量、数据存储量和外网下行流量，其中读吞吐量包括预留读吞吐量和按量读吞吐量。读取表格存储数据时会消耗读吞吐量，表格存储...
计算抵扣包和存储抵扣包
MaxCompute提供了两种资源抵扣包：计算抵扣包和存储抵扣包，抵扣您使用MaxCompute实例时产生的计算和存储用量，增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。计算...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
创建DataFrame
MaxCompute完成数据存储和计算。创建DataFrame 您唯一需要直接创建的Collection对象是DataFrame。DataFrame用于引用MaxCompute表、MaxCompute分区、Pandas DataFrame或Sqlalchemy Table（数据库表）数据源。这几种数据源的操作相同，您可以...
升级和降配
规格类型 标准计算资源 存储密集型160套餐 存储密集型320套餐 存储密集型600套餐 标准计算资源 可升级：增加CU数量，实现预留计算资源扩容。可降配：减少CU数量，实现预留计算资源或非预留计算资源缩容。不支持 不支持 不支持 存储密集型...
功能概览
VCS提供从视频采集、存储、到多视觉算法融合计算、数据分析的全过程，向企业、开发商和个人提供能够快速构建基于实时视频数据、图片数据等进行智能分析应用的服务。VCS功能如下 接入服务 支持仅国标GB/T28181-2016版协议的设备（包含NVR、...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
功能概览
fold 将输入objects聚合成list<object>group 分组 groupCount 分组并计算组内的数量 identity 返回输入自身 label 返回表名或者图label loops 返回当前循环的次数 math 科学计算 max 计算最大值 mean 计算平均值 min 计算最小值 order 排序...
数仓版扩缩容
背景信息 云原生数据仓库AnalyticDB MySQL版 集群的支持变更集群规格，预留模式 下单独或同时变更节点组数量、存储空间，以及 弹性模式 下单独或同时变更计算资源、弹性IO资源。注意事项 扩缩容期间，会禁止 SUBMIT JOB 提交异步任务。如果...
- 产品推荐
- 这些文档可能帮助您