客户案例
客户需求 集群水位高，性能差，亟待大数据综合治理。IDC大数据每年投入成本高，希望降本提效。价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，...
PolarDB技术内幕
在兼容传统数据库生态的同时，突破了传统单机硬件的限制，为用户提供大容量、高性能、高弹性的数据库服务。核心技术之共享存储 PolarDB 采用了共享存储（Share Storage）的整体架构。采用远程直接数据存取（Remote Direct Memory Access，...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
JindoFS介绍和使用
这些接口包括但不限于Rename的原子性和事务性能力、高性能本地写入、透明压缩、truncate、append、flush、sync和snapshot等。这些高阶存储接口对实现完整的POSIX和对接更多的大数据引擎到OSS是不可或缺的，例如，Flink、HBase、Kafka和Kudu...
高性能
内核性能优化 阿里云Elasticsearch基于云上多场景大规模的应用经验，提供云上特有的内核增强版，持续打造高性能的AliES内核引擎。您可以选择内核增强版本并跟随云上内核版本更新，获得更高性能的ES服务。阿里云Elasticsearch支持的高性能...
查看作业性能
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码...通过作业配置和Flink SQL优化两方面提升Flink SQL作业性能，详情请参见 高性能Flink SQL优化技巧。
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启事务功能。创建3 Master的EMR集群，详情请参见 创建集群。背景信息 RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）...
JindoData版本说明
主要功能 阿里云OSS服务 JindoSDK Hadoop支持 为阿里云OSS提供了Java Hadoop SDK，完全兼容Hadoop OSS Connector，大幅提升了性能。支持多种Credential Provider设置方式，包括配置、ECS Role和EMR免密机制。支持写入时归档，包括归档和...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
TEMP 表示数据仅有一个本地备份，针对一些临时性数据，提供高性能的读写，但降低了数据的高可靠性，适用于一些临时数据的存取。JindoFS提供了Admin工具设置目录的Storage Policy（默认为 WARM），新增的文件将会以父目录所指定的Storage ...
HBase使用OSS-HDFS服务作为底层存储
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-...
锁以及排查锁
FE Locks FE Locks只会作用在表对象上，与表数据无关，且锁只有成功或者卡住两种状态，卡住就代表有锁冲突在等待锁。BE Locks BE Locks会作用在数据或者表结构上，因此在作用范围上会分为表数据锁、行数据锁、表结构（Schema）锁。表数据锁...
发展历程
2020年 Gartner全球数据库魔力象限，阿里云位于领导者象限，MaxCompute和E-MapReduce提供了安全、稳定、高性能的计算平台。IDC Marketscape中国大数据管理平台，MaxCompute位居领导者象限。Forrester：每两年一次的全球云数仓评测中，进入...
Hadoop使用JindoSDK访问OSS-HDFS服务
对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。关于OSS-HDFS服务的应用场景、服务特性、功能特性等更多信息，请参见 什么是OSS-HDFS服务。步骤一：创建专有...
本地盘
这使得本地盘非常适合需要高性能存储的应用场景，比如需要大量随机访问的数据库和缓存系统等。本文介绍本地盘的类型以及性能规格。注意事项 本地盘来自单台物理机，数据可靠性取决于物理机的可靠性，存在单点故障风险。警告 使用本地盘存储...
5.6/5.7/8.0版功能对比
设置集群参数和节点参数 ✔️ 使用参数模板 ✔️ 高性能参数模板 ✔️ 事务系统优化 功能 集群版 提交时间戳技术CTS ❌ 概述 ✔️ DDL性能优化 功能 集群版 秒级加字段 ✔️ 并行DDL ✔️ DDL预读 ✔️ DDL多路归并排序 ✔️ DDL异步IO ❌ ...
概述
同一份数据以不同的格式保存，数据所占用的...数据采用高性能的列存储格式，提升数据查询性能。支持嵌套的数据模型。自带性能友好的统计元信息。减少53.3%560MB ORC Hadoop生态格式的数据。自带性能友好的统计元信息。高压缩比 减少80.4%235MB
使用Raft-RocksDB-Tablestore作为存储后端
前提条件 可选：创建Tablestore实例，推荐使用高性能实例，详情请参见 创建实例。说明 需要开启OTS（Tablestore）的事务特性。创建3 Master的EMR集群，详情请参见 创建集群。配置本地raft后端 进入SmartData服务页面。登录 阿里云E-...
Serverless Spark概述
ECI跟ECS类似，都具备规格，DLA平台对具体的ECI规格进行了屏蔽、简化，用户只需要配置small、medium、large这样的简单配置即可，平台在调度的时候会优先使用高性能计算资源。资源规格 计算资源 消耗的CU数 c.small 1Core 2GB 0.8CU small 1...
块存储概述
块存储是阿里云为云服务器ECS提供的块设备产品，具有高性能和低时延的特点，支持随机读写，满足大部分通用业务场景下的数据存储需求。您可以像使用物理硬盘一样，在云服务器ECS上进行格式化并建立文件系统来使用块存储。本文介绍块存储的...
锁分析
本文介绍了锁分析的具体操作步骤。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，单击 PolarDB-X 2.0 页签。找到目标实例，单击实例ID。在左侧导航栏中，单击 诊断与优化>锁分析。在 锁分析 ...
写入或更新调优指南
背景信息 Hologres是一站式实时数据仓库引擎，支持海量数据高性能实时写入与实时更新，满足大数据场景上对数据高性能低延迟的需求，Hologres的写入技术原理详情请参见 写入技术揭秘。在写入或更新场景上，Hologres提供多种数据写入和更新的...
MySQL性能排查解析
slow log explain show profile optimizer_trace 锁分析 表锁 行锁 行锁 间隙锁 下一键锁 MDL锁 死锁 MySQL资源性能瓶颈 CPU 查看MySQL的进程cpu消耗，查看是user消耗较多，还是sys消耗较高。可以使用 top 命令进行查看。查看是否活跃链接...
EMR-5.6.x版本说明
Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.2.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 DLF-Auth 2.0.0 Iceberg 0.13.1 Hudi 0.10.1 DeltaLake 1.1.0 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
自治中心
本文介绍了如何访问集群的自治中心，以及性能监控、诊断报告、异常事件的基本介绍。查看自治中心 登录 OceanBase 管理控制台。在左侧导航栏中，单击 自治服务。在 实例详情 区域，单击需要查看的集群实例名称。进入自治中心页面后，查看...
产品概述
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
产品简介
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
非阻塞DDL
测试工具 SysBench是一个跨平台且支持多线程的模块化基准测试工具，用于评估系统在运行高负载的数据库时相关核心参数的性能表现。使用SysBench是为了绕过复杂的数据库基准设置，甚至在没有安装数据库的前提下，快速了解数据库系统的性能。...
2.0和3.0版本差异及兼容性说明
性能测试 PTS（Performance Testing Service）是一款简单易用，具备强大的分布式压测能力的SaaS压测平台。随着PTS 3.0版本的发布，性能测试 PTS将为您提供更加稳定可靠、更具洞察力的3.0版本。本文介绍3.0版本和2.0版本的差异及兼容性说明...
异构数据源访问
功能说明 外部数据源管理提供高性能的结构化和非结构化数据并行传输服务。其中，异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能：多种数据存储访问：支持多种数据...
SmartData常见问题
Jindo DistCp比Hadoop DistCp性能高，且支持OSS归档。JindoFS在新版本才有，如果需要在EMR集群上使用JindoFS，该如何处理？如果集群规模不大，建议重建集群来使用JindoFS和EMR新版本。JindoFS支持哪些Hadoop版本和发行厂商？JindoFS SDK...
什么是EMR on ECS
对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需提前预估资源，且资源相对固定，资源使用率低。采用Hadoop发行版，需额外支付License...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持...相对于基于本地存储的产品形态，基于DBFS的版本通过存储本身的高可用性和极致IO性能，实现了IO加速、多点读写、数据备份等能力，从而进一步降低存储成本、提升存储性能和可靠性。
- 产品推荐
- 这些文档可能帮助您