云原生数据仓库 AnalyticDB PostgreSQL版
云原生数据仓库AnalyticDB PostgreSQL版（原HybridDB for PostgreSQL）提供简单、快速、经济高效的PB级云端数据仓库解决方案。兼容Greenplum开源数据仓库，MPP全并行架构，广泛兼容PostgreSQL/Oracle的语法生态，新一代向量引擎性能超越...
基于Flink的资讯场景实时数仓
分析型数据库MySQL版 分析型数据库MySQL版（AnalyticDB for MySQL）是一种高并发低延时的PB级实时数据仓库，兼容MySQL协议以及SQL:2003语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。更多关于分析型数据库MySQL版...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
技术发展趋势
生产处理实时化 从数据的3V特性（体积，速度和变化）来看，大数据强调数据量，PB级以上，是静态数据；而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着...
淘宝万亿级交易订单背后的存储引擎
淘宝成立至今，与订单相关的数据库记录总量达到了万亿级别，所占用磁盘空间也早已超过PB级。下文将为您详细介绍淘宝是如何做到既满足用户随时查询订单的低延时需求，又控制存储成本。架构演进历史 淘宝从2003年成立至今，近17年时间，随着...
快速入门综述
分析型数据库MySQL版（AnalyticDB MySQL版）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL 2003语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。前提条件 先注册阿里云账号。如果以按量付费方式...
云数据库RDS简介
MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
简介
PB级存储、高并发写入、百亿级时空查询秒级响应。支持数据冷热分离存储和数据高效压缩算法，海量数据存储成本低。与云上Spark无缝集成，快速搭建空间大数据仓库和空间大数据分析平台。基于OGC标准设计，便于系统间的集成与互操作。基于阿里...
引擎类型
详细介绍，请参见 写入测试结果 和 查询测试结果。文件引擎 文件引擎节点负责承担读写带宽、管理Block数据块，提供HDFS通信协议支持。您可以参考以下两个维度来确定选择文件引擎的节点数量：数据量维度：每个文件引擎节点可支撑10 TB～50 ...
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
创建集群
支持多种数据源，适合PB级海量数据的复杂分析，以及跨数据源的查询。（可选）高级设置 配置项 说明 Kerberos身份认证 默认不开启。Kerberos是一种基于对称密钥技术的身份认证协议，可以为其他服务提供身份认证功能，详情请参见 Kerberos...
开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...
云数据库HBase版
阿里云数据库HBase是面向大数据领域的一站式NoSQL服务，适用于GB至PB级的大规模吞吐、检索、分析工作负载，是为淘宝推荐、支付宝账单、花呗风控、监控、广告投放、物流轨迹、手淘消息等众多阿里巴巴核心服务提供支撑的数据库。
2020年
新功能 MC-Hologres 是为大数据设计的实时交互式分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议，可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务...
云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
分析MaxCompute外部表数据
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute的非结构化框架支持通过INSERT方式将MaxCompute的数据直接输出到OSS。MaxCompute也支持通过外部表关联OSS，进行数据输出。由于...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
阿里云MaxCompute数据源
概述 云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，并保障数据...
导入数据接口和请求数据接口区别
接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求...
表格存储
性能 表格存储单表提供10 PB级数据量、万亿条记录数、千万级别的TPS以及毫秒级延迟的服务能力，支持自动负载均衡及热点迁移，无需人工运维，提供高吞吐写入能力以及稳定可预期的读写性能。详情请参见 表格存储性能白皮书。数据持久性和服务...
如何区分导入数据接口和请求数据接口
接口区别示意图 接口区别详细介绍 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求接口为 ...
常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
湖仓一体新能力：EMR支持Hologres和MaxCompute数据源
背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据...
快速玩转Tablestore入门与实战
Tablestore结合Spark的流批一体SQL实战 Tablestore+Blink实战：交易数据的实时统计 百亿级全网舆情分析系统存储设计 海量监控日志基于EMR Spark Streaming SQL进行实时聚合 物联网 表格存储 单表提供PB级数据存储规模，无需分库分表，同时...
创建集群
支持多种数据源，适合PB级海量数据的复杂分析，以及跨数据源的查询。Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的...
公交出行：启迪公交
预计未来年均将达到PB级以上的数据存储、计算、分析和查询需求。解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户...
典型场景
MPP多节点全并行计算，PB级数据秒级响应。基于列存储的高性能大表扫描，极高压缩比。在线高性能查询 面对任意维度数据即时探索和数据实时入库更新等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：高吞吐数据写入及更新...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-...
应用场景
大数据 大数据具有数据规模大、数据类型多样、生成速度快、价值巨大但密度低的特点，如何高性价比存储海量持续增长的数据以及快速从海量数据中获取有价值的信息成为大数据领域的关注重点。表格存储 数据湖架构能有效的解决大数据领域面临的...
产品概述
产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式版数据库，融合分布式SQL引擎与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、大表瓶颈以及...
企业版和标准版的区别
企业版 主打分布式架构，高度兼容MySQL生态，支持强一致分布式事务和分布式并行查询，支持分布式水平扩展，可以从最小1个节点（集中式）扩展到1024个节点（分布式），支持千万级QPS、以及PB级别的数据规模。同时，通过集中式和分布式一体化...
轨迹服务
本文介绍针对车联网大数据场景，Lindorm Ganos时空引擎基于SQL接口实现的轨迹服务。背景信息 随着车联网行业的发展，汽车管理业务受到了更加广泛的关注。汽车云平台的业务系统每天都会接收到大量的车辆信息，例如车辆的实时位置和车辆的...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
数据湖构建之MaxCompute湖仓一体最佳实践
背景信息 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。与数据湖相比数据仓库具备易优化、易治理等优点，但同时面临数据种类单一，灵活性低，仅向特定引擎开放等不足，提高了数据存储和加工的成本，...
一键建仓
AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL实例费用：若您购买新的AnalyticDB MySQL实例...
常见问题
详细介绍，请参见 二级索引。使用GROUP BY查询时报错 The diff group keys of subPlan is over lindorm.aggregate.subplan.groupby.keys.limit=.,it may cost a lot memory so we shutdown this SubPlan？原因：GROUP BY 操作形成的分组数...
选型配置说明
集群类型 场景介绍 核心组件 DataLake 云原生数据湖场景，提供Hive和Spark计算引擎，适用于数据湖场景和离线数据分析等情况，支持多种数据湖格式如DeltaLake、Hudi和Iceberg。HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
- 产品推荐
- 这些文档可能帮助您