什么是阿里云Cloudera CDP
阿里云版CDP 您可以在阿里云心选市场选择合适您工作负载的CDP版本，基于阿里云环境，可以为您解决以下两方面的痛点：开源社区版Cloudera CDH License到期的问题 —— 阿里云商业版CDP提供正版license，并且只需较低成本即可享受。...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
数据分析整体趋势
存储计算分离：云计算的本质是资源高效池化，而数据库的两大核心组件是存储和计算。通过存储计算分离，做到两者解耦，资源池化，独立扩展，满足业务上资源隔离，数据共享的需求，是当下的架构趋势。计算分析一体化：传统数据分析方案是定期...
客户案例
优化结果 OceanBase 在一致性方面做了以下几个事情，架构层面引入 Paxos 协议，多重数据校验机制，完善支付宝业务模型，多重机制保障金融级别的一致性。OceanBase 的高可用策略与传统的基于共享存储的方案有很大不同，OceanBase 采用 Share...
整体架构
AnalyticDB MySQL版 融合了分布式、弹性计算与云计算的优势，对规模性、易用性、可靠性和安全性等方面进行了大规模的改进，充分满足不同场景实时数据仓库的需求。支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等，...
东软案例
总得来说，造成这种现象的主要问题原因，可总结为以下两个方面：新需求推动IT系统监控数据量激增：移动智能终端设备的普及使应用逐渐渗入到我们工作生活的方方面面，企业应用数量激增。企业面向客户、合作伙伴和内部员工建设IT系统及应用...
未来规划
而且面对高并发的情况时，所需要的分片数量会大大减小，因此分布式事务的复杂性也会大大降低。数据库的未来发展趋势可以总结为以下四点：产品架构与技术创新：云原生+分布式（弹性、高可用）。架构上分布式共享存储、存储计算分离，云原生...
PolarDB HTAP实时数据分析技术解密
因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。对比上述三种方案，从组合搭积木的方法，到Divergent Design方法，再到一体化的行列混合存储。其集成度越来越高，用户的使用体验也越来越好...
方案分析
天然分布式，单表可支持千万级TPS/QPS 属于单机系统，为了支持千万TPS和保证消息必达性，需要使用cluster和replica模式，这样不仅带来了运维的复杂性，而且还需要增加机器，导致成本再次上升。综上，Feed流系统的消息同步可以选择使用表格...
列存索引（IMCI）发布说明
这样一来，需要使用两套数据库系统，架构复杂性、运维工作量和成本都会大大增加。PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的...
概述
这样一来，需要使用两套数据库系统，架构复杂性、运维工作量和成本都会大大增加。PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的...
深度解析Lindorm搜索索引（SearchIndex）特性
Lindorm SearchIndex提供了最终一致性和强一致性两种语义，对于访问量大、数据延迟性要求不高的场景采用最终一致性，可以提供非常高的吞吐和可用性，而业务访问延迟敏感的业务可以选择强一致性模型，数据写入成功后，索引立即可查。...
列存索引技术架构介绍
因此，在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算成为最优方案。对比上述三种方案，从组合搭积木的方案到Divergent Design方法，再到一体化的行列混合存储方案。其集成度越来越高，用户的使用体验也...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
版本及存储引擎
Compound Hashed Shard Keys 支持在复合索引中指定单个哈希字段，在极大程度上简化业务逻辑的复杂性。Hedged Reads 在分片集群实例下，支持将一个读请求同时发送给某个分片中的两个副本集成员，并选择响应最快的返回结果来恢复客户端，以...
8.0.1和8.0.2版功能对比
功能差异对比 分类 功能特性 功能描述 8.0.1版 8.0.2版 数据可靠性/异地灾备 多节点部署架构 数据分布在两个可用区，每个可用区有3个副本，总共有6个副本。当主可用区故障时，可以在几分钟内快速恢复到备可用区。但由于两个可用区之间数据...
技术原理
HTAP PolarDB-X 1.0 解决了OLTP数据库面对海量数据下的存储、并发方面的扩展性问题，但由于缺失多机并行查询加速能力和列存储等能力，无法满足对实时性计算和复杂查询都要求较高的在线业务场景，同时还面临着ETL（Extract-Transform-Loa）...
SQL优化技术
传统方式依赖人力驱动，这两方面的局限性会显得尤为突出，常常处于故障驱动、疲于应对、四处救火的状态。随着业务规模发展，实例规模扩大，所有这些问题也随之被放大，并且大概率会进入即使投入更多人力也没有办法解决的恶性循环状态。解决...
Tair扩展数据结构概览
Tair（Redis企业版）集成了多个自研的数据结构，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，从多方面扩展Redis的适用性，降低复杂场景下业务的开发难度，同时...
什么是RDS MySQL
RDS MySQL 阿里云关系型数据库服务RDS（Relational Database Service）支持MySQL引擎，RDS MySQL是基于阿里巴巴MySQL源码分支的在线数据库服务，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据...
Tair命令概览
Tair扩展数据结构 Tair 集成了多个自研的数据结构，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，从多方面扩展Redis的适用性，降低复杂场景下业务的开发难度，同时...
Doris概述
并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠，这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。从以下五个方面介绍Doris技术：在使用接口方面，Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，您...
基本概念
二级索引是非主键索引，在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性、提高写入效率。更多信息，请参见 二级索引。G Ganos时空引擎 阿里云推出的一款管理空间几何数据、时空轨迹的时空大数据引擎系统。该系统...
一站式HTAP服务
本文介绍了 PolarDB PostgreSQL版 的一站式HTAP服务。...步骤六：设置查询一致性 在 PolarDB PostgreSQL版 的一站式HTAP服务中，OLTP引擎（PolarDB）和OLAP引擎上分别保存了一份数据，两份数据的一致性受到内置同步链路延迟的影响。...
Cost-based SQL诊断引擎
按照经验，约80%的数据库性能问题能通过SQL优化手段解决，但SQL优化一直以来都是一个非常复杂的过程，需要多方面的数据库领域专家知识和经验。例如如何准确地识别执行计划中的瓶颈点，通过优化物理库设计或SQL改写等手段，让数据库优化器...
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
资源规划和配置
资源规划关键：连通性和性能 您在使用资源组时，需要关注资源组的连通性和性能两方面：连通性：发起API调用请求时，请求会下发至数据服务的服务器，并被进一步转发至数据源中执行数据查询，因此需要保证资源组可以访问相应的数据源及其所在...
如何基于LSM-tree架构实现一写多读
B+tree并发回放有它自身的复杂性，比如需要解决系统页回放与普通数据页回放先后顺序问题，并且还需要解决同一个mtr中多个数据页并发回放可能导致的物理视图不一致问题。LSM-tree需要解决多个节点在同样位置SwitchMemtable，以及2PC事务回放...
互联网金融：上海富友支付服务股份有限公司
在两大痛点面前，我们选择与阿里云瑶池数据库合作，使用云原生数据库PolarDB，完成了技术架构和系统的升级。迁移方案 数据传输服务DTS是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析...
Logview诊断实践
如下图所示：这时我们只需单击第二个 tab 页可以看到 job_1 的执行情况，如下图所示：过多小文件 小文件主要带来存储和计算两方面问题。存储方面：小文件过多会给Pangu文件系统带来一定的压力，且影响空间的有效利用。计算方面：ODPS处理...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
PolarDB处理TPC-H查询的挑战和机遇
clustered index，如果数据是按照日期组织的，那么两表的join大体上会比较有序（两个join key，有一定时序上语义的关联性），但是优化器必须可以识别这种相关性。table partitioning，通过range partition，可以比较好的做partition ...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
MongoDB 6.0新特性概览
速览 本文从以下方面介绍云数据库MongoDB 6.0版本：新特性 可查询加密（Queryable Encryption）集群同步（Cluster-to-Cluster Sync）优化项 时序集合（Time Series Collection）变更流（Change Streams）聚合（Aggregation）查询（Query）...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
新功能发布记录
类别 名称 说明 相关文档 新增 一键诊断 数仓版（3.0）推出一键诊断功能，可对指定时间段的集群运行状况发起诊断，结合监控数据、日志数据以及库表状态等信息进行联合分析，从集群的资源水位、负载变化、查询SQL、算子、存储等多方面评估...
DAS Auto Scaling弹性能力
在数据库场景下，资源打满可分为计算资源和存储资源两大类，其主要表现：计算资源打满：主要表现为CPU或内存资源利用率达到100%，即当前规格下的计算能力不足。存储资源打满：主要表现为磁盘空间使用率达到100%，数据库写入的数据量达到...
质量规则模板类型
自定义SQL 自定义统计指标校验 用于对表的统计指标进行校验，支持固定值和波动性两种比较方式。自定义数据详情校验 用于对表的详情数据进行自定义校验。支持自定义正常行数和异常行数，并支持异常归档。数据源模板类型 模板分类 模板说明 ...
质量规则模板类型
自定义SQL 自定义统计指标校验 用于对表的统计指标进行校验，支持固定值和波动性两种比较方式。自定义数据详情校验 用于对表的详情数据进行自定义校验。支持自定义正常行数和异常行数，并支持异常归档。数据源模板类型 模板分类 模板说明 ...
- 产品推荐
- 这些文档可能帮助您