应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS ...通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
RDS搭配大数据计算服务实现大规模数据计算
本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的...通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，如下图所示。
客户案例
同时，OceanBase 还为报表平台量身定制了近似计算的功能，对于一些超大结果集的运算，OceanBase 会筛选出一些精度影响较大的数据，然后基于这些数据进行汇总计算，在超大的数据计算的情况下，能够快速的得出一个离正确结果相差不大的近似...
列存索引技术架构介绍
列存中大块存储的结构，结合MIN/MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极大的提升了IO的效率。在存储计算分离架构下，减少通过网络读取的数据量可以对查询处理的响应时间带来立竿见影的提升。列式存储同样能提高CPU在...
典型慢查询
导致查询磁盘I/O消耗较大的原因通常有如下几种：过滤条件的数据筛选率较低，导致索引的使用效率不高，需要读取的索引量较大。过滤条件没有下推，导致对源表进行了全表扫描。过滤条件下推，但是过滤条件设置的范围较大，仍然有大量数据被...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
PolarDB HTAP实时数据分析技术解密
最后，列存中的大块存储结构，结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极大的提升了IO的效率。在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
RDS术语
D DAS Database Autonomy Service，数据库自治服务，是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、安全...
RDS术语
D DAS Database Autonomy Service，数据库自治服务，是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、安全...
什么是数据库网关
数据库网关DG（Database Gateway）是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关，您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时，数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据库备份...
什么是数据库网关
数据库网关DG（Database Gateway）是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关，您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时，数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据库备份...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
SQL Server只读实例简介
只读实例简介 RDS SQL Server基于源生AlwaysOn技术，通过物理复制方式复制主实例生成只读实例，实现数据的同步。只读实例的数据与主实例保持一致，并且主实例的数据更新会自动同步到所有只读实例。说明 只有主实例是 企业集群版 时，才支持...
列存索引行列融合基础组件介绍
因此，HTAP数据库需要存储两种不同格式的数据，并在处理不同的请求时选择不同的模式对相应数据进行计算。云原生数据库PolarDB采用了上图中的方式来处理混合型的工作负载。开启列存索引（In-Memory Column Index，以下简称IMCI）功能后，...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
控制台发布记录
11-20 集群保护锁 新增全局只读节点 在产品系列为多主集群（库表）的集群中，您可以通过增加全局只读节点的方式，来读取集群中所有读写节点的数据，以处理跨节点的汇聚库请求，而无需额外配置数据同步和部署独立的集群资源来实现数据汇聚，...
常见问题
问题分类 常见问题分为如下几种类型：计费问题 性能和规格问题 预检查问题 更多预检查问题，请参见 预检查及修复方法。数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉...
分流方案概述
如果您的业务中既包含OLTP类业务又包含OLAP类业务，则为了实现业务的最大性能，您可以基于列存索引特性，通过数据库代理的集群地址功能，实现OLAP查询引流到列存节点、OLTP查询引流到行存节点。背景信息 PolarDB MySQL版 支持两种只读节点...
DQL操作常见问题
解决措施 如果您的使用场景确实需要ORDER BY放开LIMIT限制，可以通过如下两种方式实现：Project级别：设置 setproject odps.sql.validate.orderby.limit=false;关闭 order by 必须带 limit 的限制。Session级别：设置 set odps.sql....
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
什么是EMR Serverless StarRocks
在典型的OLAP场景中，由于查询通常只聚焦于特定几个列，列式存储额外减少了读取非必要列的数据量，从而能够在很大程度上削减磁盘I/O的负担，实现大幅度的吞吐量节省。StarRocks能够实现秒级的导入延迟，提供近乎实时的数据处理能力。其存储...
系统函数分类
函数分类 数据探索系统函数的类型包含分为以下几种：函数类型 说明 时间函数 处理日期、时间类型数据，实现加减日期、提取日期字段、获取当前时间、转换日期格式等业务处理能力。字符串函数 处理字符串类型数据，实现截取字符串、替换字符...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
概述
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。PolarDB支持的数据冷存模式...
概述
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。PolarDB支持的数据冷存模式...
概述
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。PolarDB支持的数据冷存模式...
概述
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据传输DTS：数据传输服务（Data Transmission Service）DTS支持关系型数据库、NoSQL、大数据（OLAP）等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，...
功能特性
主集群通过向备集群发送事务日志的方式来实现数据同步，从而确保生产集群能够在遇到数据损坏、灾难等情况下仍然可以快速恢复业务。当 OceanBase 数据库的生产集群出现计划内或者计划外的不可用情况时，主备库可以通过将某一个备集群的角色...
事务引擎介绍
高性能事务引擎（TokuDB）是HybridDB for MySQL提供的一种侧重于OLTP的实例规格，这种规格基于自主研发的高性能行式存储引擎，能够对同一份数据进行OLTP和OLAP处理，实现数据的即席分析（Ad Hoc）。HybridDB for MySQL事务引擎高度兼容...
应用场景
相较于原有解决方案，我们的解决方案运维更加简单，并且使用MySQL协议，可以对接各种BI工具，从而实现数据的快速分析和处理。实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持...
Echarts 弦图
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
Echarts 网络图
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
Echarts 漏斗图
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
Paimon概述
您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析。目前Apache Paimon提供以下核心能力：基于HDFS或者对象存储构建低成本的轻量级数据湖存储服务。支持在流模式与批模式下...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
- 产品推荐
- 这些文档可能帮助您