E-MapReduce本地盘实例大规模数据集测试

本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试,并不能与已发布的TPC-DS基准测试结果相比较,本文中的测试并不符合TPC-DS的基准测试的所有要求。

应用场景

通过结合其他云产品,云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算

MaxFrame概述

您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

基于MaxCompute进行大数据BI分析

背景信息 MaxCompute:用于进行大规模数据计算,详情请参见 什么是MaxCompute。RDS MySQL:用于进行海量数据实时高并发在线分析,详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks:可实现ETL功能,对复杂数据集进行采集、加工及...

典型场景

ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...

Paimon概述

支持在流模式与批模式下读写大规模数据集。支持分钟级到秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据,可作为传统数仓与流式数仓的各级存储。支持预聚合数据,降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据...

客户案例

MaxCompute已被广泛应用于各领域处理云上大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息,请参见 行业客户案例...

引擎简介

适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容HBase、Phoenix(SQL)、Cassandra等开源标准接口,支持单表百万亿行规模、千万级并发、毫秒级响应、跨机房强一致容灾等,高效满足业务大规模数据的在线存储与查询需求。...

产品优势

AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务,高度兼容MySQL,支持毫秒级更新,亚秒级查询。无论是数据湖中的非结构化或半结构化数据,还是数据库中的结构化数据,您都可使用 AnalyticDB MySQL 构建...

快速入门

Web 3.0时代,阿里巴巴、Facebook、Google等大型互联网公司都采用更为灵活的MySQL构建了成熟的大规模数据库集群。阿里云数据库RDS MySQL基于阿里巴巴的MySQL源码分支,经过双11高并发、大数据量的考验,拥有优良的性能和吞吐量。此外,阿里...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题:数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

创建集群

通过阿里云E-MapReduce(简称EMR),您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置,帮助您快速搭建和管理大数据集群。...

Transaction Table2.0概述

现状分析 当前典型的数据处理业务场景中,对于时效性要求低的大规模数据全量批处理的单一场景,直接使用MaxCompute足以很好的满足业务需求,对于时效性要求很高的秒级实时数据处理或者流处理,则需要使用实时系统或流系统来满足需求。...

产品概述

时间序列数据库(Time Series Database,简称 TSDB)是一种高性能、低成本、稳定可靠的在线时间序列数据库服务,提供高效读写、高压缩...同时在高负载大规模数据量的情况下可以方便地进行弹性扩容,方便用户结合业务流量特点进行动态规划与调整。

数据科学计算概述

为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求,MaxCompute提供了一套Python开发生态,让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...

概述

数据规模较小时,Mars更有优势。PyODPS PyODPS是一个客户端,不包含任何服务端部分。执行PyODPS DataFrame时,系统会将计算作业编译至MaxCompute SQL。因此,PyODPS DataFrame支持的操作,取决于MaxCompute SQL。此外,您每次调用 ...

HDFS概述

HDFS适用于大规模数据的分布式读写,特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下:具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面,方便管理。拥有类似于Linux的文件权限管理。Locality感知,...

适用场景

按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展,适用于如下场景:对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...

Hive

Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具,主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将...

概述

Apache Druid是一个分布式内存实时分析系统,用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点:支持亚秒级的交互式查询。例如,多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...

SQL概述

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言,其语法类似于标准SQL,但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...

数据服务集群

特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成,并且可以和Apache Phoenix搭配使用以对HBase表进行类似于SQL的查询。Apache HBase基于HDFS作为底层存储系统,在云上的场景可以使用...

产品架构

其基于数据自动分区+分区多副本+LSM的架构思想,具备全局二级索引、多维检索、动态列、TTL等查询处理能力,支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾,高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...

产品优势

多场景支持:支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛:近乎零代码,简单配置连线后即可满足各项离线数据集成任务,同时任务支持复杂调度。基于资产的虚拟湖:配合数据...

Lindorm for Cassandra应用实践

云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务,支持海量数据的低成本存储处理和弹性按需付费,提供宽表、时序、搜索、文件等多种数据模型,兼容HBase、Cassandra、Phoenix、...

术语表

M MapReduce MapReduce是处理数据的一种编程模型,通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口(Java API)编写MapReduce程序,来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map(映射)和Reduce(规约)...

EMR Hive数据整库离线同步至MaxCompute

背景信息 Hive是基于Hadoop的一个数据仓库工具,用来进行数据的提取、转化、加载,可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成...

EMR Hive数据整库离线同步至MaxCompute

背景信息 Hive是基于Hadoop的一个数据仓库工具,用来进行数据的提取、转化、加载,可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成...

RDS搭配大数据计算服务实现大规模数据计算

本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务(MaxCompute,原名ODPS),可服务于批量结构化数据的...通过 数据集成 服务,可将RDS数据导入MaxCompute,实现大规模数据计算,如下图所示。

Napatech案例

Lindorm支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与各类大数据平台集成,完成数据大规模离线分析。基于Lindorm的解决方案,用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...

应用场景

云数据库HBase是一个键值/宽表型的分布式数据库,适用于任何数据规模,可以提供单个毫秒响应的性能,尤其擅长低成本、高并发的场景,支持水平扩展到PB级存储和千万级QPS,在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...

元数据抽取

在业务运行中,经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过...全量抽取:抽取元数据时扫描全量数据文件,在数据规模比较时,作业消耗时间长,抽取结果更准确。5.确认任务执行的相关参数,点击 保存并立即执行。

Spark概述

使用场景 离线ETL 离线ETL主要应用于数据仓库,对大规模数据进行抽取(Extract)、转换(Transform)和加载(Load),其特点是数据,耗时较长,通常设置为定时任务执行。在线数据分析(OLAP)在线数据分析主要应用于BI(Business ...

应用场景

大数据场景:海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与Spark、MaxCompute等大数据平台集成,完成数据大规模离线分析。优势 低成本:高压缩比,数据冷热分离...

云数据库RDS简介

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模数据计算 DTS 您可以使用数据传输服务DTS将本地数据库迁移到云上的RDS,以及实现RDS的异地容灾。OSS 对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。...

配置离线数据集成节点

运行时间与数据规模成正比,数据规模,运行耗时时间越长。如果执行日志的最后一行出现 status SUCCEEDED,表明任务试运行成功。试运行成功后,您可以在目标库的SQL窗口中,查询目标表中已迁移的数据。如果执行日志的最后一行出现 ...

X-Engine简介

因为目标是面向大规模的海量数据存储,提供高并发事务处理能力和降低存储成本,在部分大数据量场景下,数据被访问的机会是不均等的,访问频繁的热数据实际上占比很少,X-Engine根据数据访问频度的不同将数据划分为多个层次,针对每个层次...

集群版-单副本

使用场景 数据量较 集群版可以有效地扩展数据规模量大小,相比标准版可提供更的存储量,例如64 GB、128 GB、256 GB集群版,可以有效的满足数据扩展需求。纯缓存应用 单副本集群版的分片服务器由单节点组成,分片服务器某节点出现故障时...

MongoDB 6.0新特性概览

示例:数据规模特别的分片表,将数据块规格调整到256 MB。数据规模相对较小但希望在分片上分布更均匀的分片表,将数据块规格调整到64 MB或32 MB。支持自动整理分片集合的磁盘空间碎片。您可以通过 configureCollectionBalancing 命令设置...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用