数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
PolarDB HTAP实时数据分析技术解密
因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。对比上述三种方案，从组合搭积木的方法，到Divergent Design方法，再到一体化的行列混合存储。其集成度越来越高，用户的使用体验也越来越好...
列存索引技术架构介绍
因此，在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算成为最优方案。对比上述三种方案，从组合搭积木的方案到Divergent Design方法，再到一体化的行列混合存储方案。其集成度越来越高，用户的使用体验也...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
弹性裸金属服务器概述
兼容第三方Hypervisor，满足混合云和多云部署诉求 容器（包括但不限于Docker、Clear Container、Pouch等）计算集群、依赖内存的数据处理 视频编解码、渲染等 数据分析和计算 ebmg7a包括的实例规格及指标数据如下表所示。实例规格 vCPU 内存...
分析外部OSS上的数据
技术原理 列存索引（IMCI）是一个高性能的列存分析引擎，相关文档请参见 PolarDB HTAP实时数据分析技术解密，ORC和Parquet也是列存格式，OSS支持高并发读取，在高并发时可以获取更高的网络吞吐。因此，IMCI的并行扫描功能可以充分利用OSS的...
大数据型
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景 EMR JindoFS配合OSS实现大数据冷热数据分层和存储计算分离的场景 Spark内存计算、MLlib等机器学习场景 ElasticSearch、Kafka等搜索和日志数据处理场景 d3c包括的实例规格及...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
超级计算集群概述
SCC主要用于高性能计算和人工智能、机器学习、科学计算、工程计算、数据分析、音视频处理等场景。在集群内，各节点间通过RDMA网络互联，提供高带宽低延迟的网络，保证了高性能计算和人工智能、机器学习等应用的高度并行需求。同时，RoCE...
DataWorks V3.0
DataWorks V3.0核心特性 支持多种计算引擎 DataWorks V3.0全新升级了多引擎插件化架构，在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上，新增开源大数据引擎E-MapReduce、交互式分析和图计算服务（Graph Compute）等引擎服务。...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
Tair扩展数据结构概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
内存型
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
已停售的实例规格
支持IPv6 支持ERI（Elastic RDMA Interface）超高网络收发包PPS能力 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：大数据场景应用，例如Spark、Hadoop 高性能科学计算和仿真计算 各种通用类型的企业应用，例如Redis c7re...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
ECU详解
ECU分类 分析型数据库MySQL版中有高性能和大存储两种类型的ECU。高性能：以字母C或者H开头的ECU为高性能实例，数据全部存储在SSD磁盘中。适用于对性能要求高、查询并发高的业务场景。大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD...
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
MemVerge Memory Machine部署使用实践
它可以将DRAM和PMEM进行虚拟化，实现无需更改代码即可访问新的PMEM内存介质，支持可横向扩展的内存节点集群，以提供实时分析和 AI/ML、HPC应用程序所需的大规模内存容量，以及内存系统的企业级数据服务和数据高可用性。本文介绍如何在E-HPC...
EMR Studio概述
覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR ...
Yonghong BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目，并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于...
功能特性
Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向数据湖场景的数据分析和计算。开通DLA服务后，您只需简单的配置，就可以提交Spark作业；无需关心Spark集群部署。Serverless Spark概述
应用场景
生命科学 生物信息学：使用E-HPC对大量生物基因组进行测序等处理，从而获取基因组信息和数据分析结果，来解决生物和医学领域的难题。动力学模拟：使用E-HPC进行大规模的分子动力模拟，来预测分析生物蛋白质分子、脂质分子间的相互作用和...
附录一：运维服务产品清单
Elasticsearch elasticsearch 大数据 大数据计算 大数据计算服务 odps 大数据 大数据计算 实时计算Flink版 sc 大数据 大数据计算 E-MapReduce emapreduce 大数据 大数据计算 数据总线 datahub 云计算基础 存储服务 对象存储 oss 云计算基础...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
为什么Redis内存报警与监控的内存使用率不一致
解决方案 检查是否存在大Key，并拆分大Key 查找大Key 通过 离线全量Key分析 找出大Key。更多找出大Key的方法，请参见 发现并处理Redis的大Key和热Key。拆分大Key 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员...
JindoFS介绍和使用
A：因为JindoFS SDK和Cache模式完全兼容OSS对象存储语义，具有完全的存储分离架构和弹性灵活性，所以，针对典型的数据湖场景，推荐您使用SDK或者Cache模式以支持大数据分析和AI训练加速。Q：为什么Block模式跟HDFS相比，是更好的HDFS？A：...
MaxCompute账单用量明细分析
背景信息 MaxCompute是一款大数据分析平台，其计算资源的计费方式分为包年包月和按量付费两种。MaxCompute每天以项目为维度进行计费，账单会在第二天06:00前生成。更多MaxCompute计量计费信息，请参见 计费项与计费方式概述。MaxCompute会...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
内存型
推荐 内存型实例规格族r8a 内存型实例规格族r8i 内存平衡增强型实例规格族r8ae 内存型实例规格族r8y 内存增强型实例规格族re7p 内存型实例规格族r7p 存储增强内存型实例规格族r7se 内存型实例规格族r7a 内存型实例规格族r7 安全增强内存型...
PolarDB Serverless实现了哪些突破
整个IDC形成一个多租户的大数据库，其全部的CPU、内存和存储构成三个独立的资源池。在资源池未耗尽的情况下，任何一个用户（租户）都可以任意的弹性扩展任何一种资源到任何一个规格，用户为其SQL动态消耗的CPU、内存和存储买单，不需要预置...
锁分析
重要 全量死锁分析 和 其他锁分析 功能，目前仅支持 RDS MySQL 和 PolarDB MySQL版 数据库实例，且需要开启DAS经济版或DAS企业版。需注意，DAS经济版和DAS企业版目前仅支持部分地域，详情请参见 各个版本支持的数据库和地域。开通DAS经济或...
DAS Auto Scaling弹性能力
背景信息 为业务应用选择一个合适的数据库计算规格（CPU和内存），是每个数据库运维人员都会经常面临的一个问题。若规格选得过大，会产生资源浪费；若规格选的过小，计算性能不足会影响业务。通常情况下，运维人员会采用业务平稳运行状态下...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
- 产品推荐
- 这些文档可能帮助您