常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
云数据库RDS简介
MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
快速玩转Tablestore入门与实战
Tablestore结合Spark的流批一体SQL实战 Tablestore+Blink实战：交易数据的实时统计 百亿级全网舆情分析系统存储设计 海量监控日志基于EMR Spark Streaming SQL进行实时聚合 物联网 表格存储 单表提供PB级数据存储规模，无需分库分表，同时...
2023年
Sugar BI连接MaxCompute 2023年9月更新记录 时间 特性 类别 描述 产品文档 2023-09-27 新增TPC-DS性能测试 新说明 MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
技术发展趋势
生产处理实时化 从数据的3V特性（体积，速度和变化）来看，大数据强调数据量，PB级以上，是静态数据；而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着...
产品概述
PB级数据秒级分析 MPP水平扩展架构，支持PB级数据查询秒级响应。向量化计算及列存储智能索引，相比较传统数据库引擎在性能方面约有十倍的提升。高可用，服务永远在线 支持分布式事务，数据ACID一致性支持，所有节点和数据跨机器冗余部署，...
表格存储
性能 表格存储单表提供10 PB级数据量、万亿条记录数、千万级别的TPS以及毫秒级延迟的服务能力，支持自动负载均衡及热点迁移，无需人工运维，提供高吞吐写入能力以及稳定可预期的读写性能。详情请参见 表格存储性能白皮书。数据持久性和服务...
Quick BI试用高级版数据准备限制
概述 Quick BI试用高级版数据准备限制。详细信息 高级版试用环境，数据准备中创建任务数没有限制，但是只能发布1个任务。适用于 Quick BI
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
Dataphin免费试用申请
试用功能范围 版本：智能研发版-200数据处理单元 增值功能包：实时研发-标准版，资产质量-500规则，智能运维-3条基线+1条限流，数据标准-标准版，资产安全-标准版，资源治理-标准版，标签平台-试用版。若您希望体验API功能，可勾选数据服务...
阿里云MaxCompute数据源
概述 云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，并保障数据...
什么是EMR Serverless Spark
内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离，计算可弹性伸缩，存储可按量付费。对接OSS-HDFS，完全兼容HDFS的云上存储，无缝平滑迁移上云。中心化的...
什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
背景
存储水平扩展，查询能力强 表格存储可实现PB级数据的存储和查询，同时提供全局二级索引、多元索引等功能扩充查询能力，满足多种业务的负载和查询需求。如果采用组合使用MySQL、HBase、Elasticsearch等多款产品的方式实现不同业务的查询需求...
湖仓一体新能力：EMR支持Hologres和MaxCompute数据源
背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据...
应用场景
云数据库HBase是一个键值/宽表型的分布式数据库，适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...
典型场景
MPP多节点全并行计算，PB级数据秒级响应。基于列存储的高性能大表扫描，极高压缩比。在线高性能查询 面对任意维度数据即时探索和数据实时入库更新等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：高吞吐数据写入及更新...
计费常见问题
试用版本问题 只支持申请1次试用版么？主账号申请的试用版，可以在组织成员中添加子账号么？试用专业版即将到期，能否再延期1个月？专业版试用到期后，如果购买高级版，则以前创建的电子表格和数据集是否保留？试用专业版到期后，降为个人...
创建集群
支持多种数据源，适合PB级海量数据的复杂分析，以及跨数据源的查询。Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的...
概述
云原生数据仓库AnalyticDB MySQL是云端托管的PB级高并发实时数据仓库，专注于服务OLAP领域。采用关系模型进行数据存储，可以使用SQL进行自由灵活的计算分析，无需预先建模。利用云端的无缝伸缩能力，AnalyticDB MySQL在处理百亿条甚至更多...
简介
PB级存储、高并发写入、百亿级时空查询秒级响应。支持数据冷热分离存储和数据高效压缩算法，海量数据存储成本低。与云上Spark无缝集成，快速搭建空间大数据仓库和空间大数据分析平台。基于OGC标准设计，便于系统间的集成与互操作。基于阿里...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
应用场景
大数据 大数据具有数据规模大、数据类型多样、生成速度快、价值巨大但密度低的特点，如何高性价比存储海量持续增长的数据以及快速从海量数据中获取有价值的信息成为大数据领域的关注重点。表格存储 数据湖架构能有效的解决大数据领域面临的...
2020年
新功能 MC-Hologres 是为大数据设计的实时交互式分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议，可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆基础数据、高性能采集入库、高效数据分析、低成本运营。客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，...
概述
支持PB级数据、千亿级事件快速处理，支持每秒数千查询并发。支持高可用，并且滚动升级。应用场景 实时数据分析是Apache Druid最典型的使用场景。该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 ...
应用场景
数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
PolarDB-X 1.0 可以支撑千万级并发规模，以及百 PB 级海量存储。详情请参见 产品概述。PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目启动成功后，该项目会自动删除。数据传输会自动创建 PolarDB-X 1.0 数据库下挂载的...
应用场景
Lindorm可以提供单个毫秒响应的性能，支持水平扩展到PB级存储和千万级QPS，在IoT、淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的作用。您可以根据您的使用场景，选择合适的引擎。引擎的选择建议，请参见 引擎类型。阿里巴巴...
快速入门综述
分析型数据库MySQL版（AnalyticDB MySQL版）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL 2003语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。前提条件 先注册阿里云账号。如果以按量付费方式...
- 产品推荐
- 这些文档可能帮助您