新功能发布记录
扫描性能优化：优化了数据Scan算子的性能。无 2023年4月 湖仓版 类别 名称 相关文档 新增 湖仓版（3.0）支持购买美国（弗吉尼亚）地域集群。湖仓版（3.0）产品定价 新增 湖仓版（3.0）支持购买ACU时包，用于抵扣按量付费集群的计算预留资源...
时序引擎应用开发简介
因为其提供了更加高效易用的使用方法，支持底层连接管理、数据攒批写入、错误重试等功能，优化了数据传输编码，写入效率更高。其他语言开发的应用程序：Lindorm提供 基于HTTP协议的API 和 行协议写入。推荐开发者使用 行协议写入 数据，并...
2021年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2021年12...
2021年
2021年4月 V1.1.10 内核小版本 类别 名称 描述 相关文档 发布时间 优化 性能优化 通过在共享内存中缓存表数据库块大小信息，优化了数据文件I/O读性能。无 2021年3月 时空数据库（V3.5）类别 名称 描述 相关文档 发布时间 新增 大对象存储...
Tair小版本发布日志
为提升用户体验，云原生内存数据库Tair 会不定期地发布小版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项...
常见问题
如果您的宽表引擎不是最新版本，请升级到最新的版本，新版本优化了冷数据归档的速度。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。如果还有其他疑问，请联系 技术支持。Q：对于按自定义时间列冷热分离，如果更新了...
Databricks Runtime
Databricks-Regeneron开源库Glow的优化版本，具有所有功能以及：Spark SQL支持读取和写入变量数据 通用工作流程元素的功能 常见查询模式的优化 与Apache Spark并行的Turn-key pipelines：DNA序列 RNA序列 肿瘤正常测序（MutSeq）联合基因...
内核发布记录
【优化】增强了数据安全。提升了查询未命中缓存时的响应速度。【修复】修复了SET DEFAULT CLUSTER可能会失败的问题。修复了升级过程可能会失败的问题。SelectDB其他历史 内核版本的详细信息，请参见 SelectDB Cloud的 内核发布记录。
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 Serverless实例的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年10月（V...
Hudi概述
Hudi优化了数据写入过程中产生的小文件。因此，相比其他传统的文件格式，Hudi对HDFS文件系统更加的友好。近实时数据分析 Hudi支持多种数据分析引擎，包括Hive、Spark、Presto和Impala。Hudi作为一种文件格式，不需要依赖额外的服务进程，在...
亿海蓝-航运大数据的可视化案例
方案亮点：千亿级船舶轨迹时空分析、多元时空数据整合、开发周期短。客户感言“阿里Ganos产品很好地提升了我们对异构时空数据的处理能力。Lindorm高性能、低延迟、高吞吐、稳定性让...提供金字塔式的矢量快显数据存储，优化了热力图缩放效果。
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
SmartData 3.6.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData（3.6.x）版本的更新内容。JindoFS 此版本中...
ORC文件
它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，...
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
安全白皮书
云数据库Redis版 是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，支持主从、集群和读写分离架构。云数据库Redis版 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白...
安全白皮书
云原生内存数据库Tair 是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，支持标准（主从）、集群和读写分离架构。Tair 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
Serverless Presto概述
Serverless Presto是云原生数据湖团队基于Presto打造的交互式分析引擎，Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在...
事务管理
比如对于Clustering操作和Insert into并发执行，即使事务Start和Commit时间出现交叉也不会冲突失败，因为Clustering操作虽然改变了数据组织方式，但没有改变数据本身的状态，和其他数据更新操作并没有影响一致性的冲突，因此允许并发执行。...
通过文件管理优化性能
为了提升查询性能，Delta Engine对数据的存储和布局进行了优化，目前支持两种布局算法：bin-packing和Z-Ordering。在本文中，我们会介绍如何使用这两种布局算法并给出使用案例。此外我们还介绍了Delta Engine的Data skipping功能，以及该...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
创建数仓分层
数仓分层保障了数据在进入数据仓库之前都经过清洗和过滤，使原始数据不再杂乱无章，优化了查询过程，有效的提高了数据获取、统计和分析的效率。同时，数仓分层实现了各种不同维度数据的关联，使多维分析更加方便，为从多角度、多层次地数据...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
Range Clustering
使用场景 过滤查询优化 Range Clustering保证了数据全局有序，在这个基础上MaxCompute自动创建了Global Index和File Index，利用数据的存储特性，可以加快数据过滤（Filter）的效率。不仅仅可以优化等值查询，也可以优化区间查询。例如对于...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
产品架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
DataWorks版本到期降级后功能变化清单
数据计算优化-MaxCompute任务优化 数据采集优化-同步任务优化 管理员视角资源优化 管理白名单 迁移助手 DataWorks迁移，租户内免费导出包个数 降低为10个。DataWorks导入包大小 减少为30M。DataWorks导入时自动提交、自动发布 将不再支持...
参数诊断
在数据库性能优化时，针对数据库参数的调优是一个行之有效的方案。使用参数诊断功能，您可以对数据库实例控制台可修改的参数进行诊断，获得参数优化方案和7天内的参数修改历史。背景 在数据库领域，优化数据库性能是工业界和学术界最重要的...
参数诊断
在数据库性能优化时，针对数据库参数的调优是一个行之有效的方案。使用参数诊断功能，您可以对RDS MySQL控制台可修改的参数进行诊断，获得参数优化方案和7天内的参数修改历史。背景 在数据库领域，优化数据库性能是工业界和学术界最重要的...
AUTO OPTIMIZE语句
通过AUTO OPTIMIZE语句，将启动一个流式优化任务，自动地对外部数据湖的表进行优化。本文为您介绍AUTO OPTIMIZE语句的背景信息、前提条件、使用限制、注意事项、基本语法和参数配置。背景信息 功能详情 目前仅支持将Iceberg表的若干小文件...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
Nereids全新优化器
云数据库 SelectDB 版 支持 全新优化器Nereids。相比于旧版优化器，新优化器可以更好的支持多表Join查询，多层子查询嵌套等更为复杂的查询。此外，它减少了优化规则出现逻辑错误的可能性，并且便于扩展优化规则和处理阶段，能够更稳定、...
技术架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
数据上传下载成本优化
本文为您介绍如何优化数据上传和下载的同步成本。尽可能使用经典网络和VPC网络 您可以使用内部网络（经典网络或VPC）实现零成本数据导入和导出。网络设置详情请参见 配置Endpoint。合理利用ECS的公共下载资源 如果您的ECS使用包月资源，...
整体流程和预估时间
库表恢复优化版已于2024年04月03日发布，相比基础版，优化了向原集群恢复数据的时间，并且热备集群以及GDN从集群可自动同步数据，大幅减少了任务的恢复时间，支持使用库表恢复优化版的集群版本要求如下：PolarDB MySQL版 8.0.2版本，修订...
技术架构
如同大多数传统单机关系型数据库，PolarDB-X 分为网络层、SQL解析层、优化层、执行层、存储层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，存储层包含应用了多种传统单机数据库优化和执行...
为什么要升级到MongoDB的新版本
新版本的新特性及优化 版本 新特性/优化 补充说明 MongoDB 5.0 时序集合 从5.0版本开始，MongoDB可以更好地处理时序数据，适配车联网、物联网等广泛场景。查询长时间运行快照 从5.0版本开始，MongoDB提供了读取历史快照的能力。阿里云...
- 产品推荐
- 这些文档可能帮助您