LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
Hive连接器
Experimental 可以分析、处理与重写Hive视图，包括其包含的表达式和语句。可以通过配置 hive.translate-hive-views=true 启用此模式。使用此模式时，暂不支持以下功能：HiveQL的 current_date、current_timestamp，及其它若干类似的语句。...
使用EXPLAIN查看并行计划
本文介绍如何使用EXPLAIN语句查看执行计划输出中与并行查询相关的内容。查询用表 本文示例中使用 pq_test 表进行并行查询测试。表结构如下：SHOW CREATE TABLE pq_test\G*1.row*Table:pq_test Create Table:CREATE TABLE `pq_test`(`id` ...
OOM常见问题排查指南
UnionALL 如下所示，当SQL中含有大量 union all subquery 时，执行器会并行处理每个 subquery，导致内存压力变大，从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行，减少OOM情况，但查询...
常见问题
only问题的排查与处理方法 集群负载不均问题的分析方法及解决方案 通过手动迁移shard均匀分布热点数据的解决方案 指标含义与异常处理建议 fielddata内存使用率高问题的排查与处理方法 重启变更报错：集群状态不健康或存在close索引，不能...
X-Engine简介
而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定大小的数据页（Page）、使用ARIES算法的事务处理与数据恢复机制、基于独立锁管理器的并发控制等，这些都是为了慢速磁盘而设计，很难发挥出现有硬件体系应有的...
功能特性
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
内存型
Worker线程：负责命令处理、定时器事件等。辅助线程：负责高可用探测、保活等。IO线程读取用户的请求并进行解析，之后将解析结果以命令的形式放在队列中发送给Worker线程处理。Worker线程将命令处理完成后生成响应，通过另一条队列发送给IO...
什么是EMR Serverless StarRocks
StarRocks介绍 StarRocks是一款支持MySQL协议的分析型数据库，它集成了向量化处理、MPP架构、代价基础优化器（CBO）、智能物化视图和实时更新的列式存储技术，从而实现了快速、实时、高效的多维数据分析。您可以轻松地将实时或离线数据源...
无锁结构变更方案对比
锁表变更对业务甚至是致命的，DDL无锁变更通过引入非触发器的方式可以解决大表无锁变更这个难题。本文介绍几种无锁结构变更方案的对比。线上业务不建议直接进行DDL操作，通常有几种做法来避免影响业务：业务低峰期变更：合适的变更窗口以及...
计算资源优化
与上一代虚拟化技术相比，下一代虚拟化技术不仅保留了普通云服务器的弹性体验，而且保留了物理机的性能与特性，全面支持嵌套虚拟化技术。弹性裸金属服务器融合了物理机与云服务器的优势，实现超强超稳的计算能力。通过阿里云自主研发的虚拟...
PolarDB MySQL版5.7版本发布日志
Index Hints新增支持如下关键字，以便优化器处理查询时使用或忽略指定的索引：GROUP_INDEX 或 NO_GROUP_INDEX：使用或忽略指定的索引以进行带有GROUP BY操作的索引扫描。INDEX 或 NO_INDEX：强制服务器使用或忽略指定索引。JOIN_INDEX 或 ...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
内存型
图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离，通过分工明确的多个线程并行处理各阶段任务，达到提高性能的目的。IO线程：负责请求读取、响应发送、命令解析等。Worker线程：负责命令处理、定时器事件等。辅助线程：负责高...
版本发布说明
修复多阶段DDL在只读实例上路由错误的问题、对SQL_MODE处理不当导致modify column not null卡住、对包含特殊字符表名的逻辑表执行DDL卡住的问题。发布日期：2024-02-26 大版本：V5.4.16 小版本：17083213 类别 说明 优化 优化sharding下推...
2023年
无 优化器 优化分区非常多的分区表与ODPS外表 JOIN时，Explain耗时长的问题。无 缺陷修复 修复某些场景下ALTER TABLE Add Partition与Vacuum Full pg_index死锁导致实例不可用的缺陷。修复tdfunc插件中，NVL 函数处理NULL值异常导致...
基本概念
GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
自适应扫描
ePQ提供的自适应扫描模式可以帮助您解决计算资源不足的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.6.6.0及以上）说明 您可通过如下语句查看 PolarDB ...
自适应扫描
ePQ提供的自适应扫描模式可以帮助您解决计算资源不足的问题。前提条件 支持的的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.6.6.0及以上）说明 您可通过如下语句查看的内核小版本的版本号：PostgreSQL ...
历史记录
本文介绍了SchedulerX产品在2022年以前发布涉及的新增功能、功能优化、重要问题修复及对应的文档，帮助您了解SchedulerX的历史发布动态。服务端 2021-12-01 新特性 新增API：指定机器。新增API：查询工作流。2021-06-02 新特性 支持应用...
控制台发布记录
2023-08-17 存储包支持抵扣二级备份、日志备份、冷数据存储及PL0云盘存储用量，调整部分抵扣因子 价格计算器和资源包计算器上线 PolarDB发布了资源包计算器和价格计算器，帮助您了解产品价格，估算费用情况，帮助您进行产品选型。...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
实践教程概览
可进行数据预处理、后处理和自定义求解器，常用于计算流体力学领域。本教程介绍如何使用E-HPC集群运行OpenFOAM进行流体力学仿真计算。使用AutoDock Vina软件进行药物筛选 分子对接（Molecular docking）是虚拟药物筛选中的关键环节。...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
并行 VACUUM（垃圾回收）VACUUM 机制在 PolarDB PostgreSQL版（兼容Oracle）2.0版本 的数据库管理中非常重要，能够释放掉已经不再使用的表空间，以缓解常见的表膨胀问题。为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容...
CreateFileSystem-创建文件系统
建议文件系统与云服务器 ECS 属于同一可用区，避免跨可用区产生的时延。cn-hangzhou-b ProtocolType string 是 文件传输协议类型。当 FileSystemType=standard 时，取值：NFS、SMB。当 FileSystemType=extreme 时，取值：NFS。当 ...
CreateFileSystem-创建文件系统
建议文件系统与云服务器 ECS 属于同一可用区，避免跨可用区产生的时延。cn-hangzhou-b ProtocolType string 是 文件传输协议类型。当 FileSystemType=standard 时，取值：NFS、SMB。当 FileSystemType=extreme 时，取值：NFS。当 ...
Impala概述
进程名为Impalad，负责读取和写入数据文件，接收从 impala-shell 命令、Hue、JDBC或ODBC等接口发送的查询语句，并行查询语句和分发工作任务到集群的各个Impala节点上，同时负责将本地计算好的查询结果发送回协调器节点（Coordinator Node）...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
并行 VACUUM（垃圾回收）VACUUM 机制在 PolarDB PostgreSQL版（兼容Oracle）2.0版本 的数据库管理中非常重要，能够释放掉已经不再使用的表空间，以缓解常见的表膨胀问题。为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容...
常见问题
本文列举了在使用 云工作流（CloudFlow）过程中常见的问题，方便您在遇到问题时查阅及排查。问题列表 什么是云工作流？云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么...
2022年
无 2022年6月 V1.1.22 内核小版本 类别 名称 描述 相关文档 发布时间 新增 PX Analyze功能 新增polar_px_enable_explain_all_stat参数，用于并行查询场景下，配合 explain analyze 命令打印出每个worker的执行情况，包括每个worker处理的...
云效 Flow 实现分支模式
分支与合并 实际软件开发中，并行开发有多种场景，也会为这些场景制定对应的分支策略。不论使用哪种分支策略，都是基于某个分支编译（或不需要编译）产生部署包，用这个部署包发布到对应的环境。根据分支是否需要集成，可以简单描述为：单...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能、功能优化、重要问题修复及对应的文档。客户端发布记录 1.1.0，2019-12-17 变更类型 功能描述 相关文档 优化 修复问题：调整默认依赖的log4j2至2.15.0版本。无 变更类型 功能描述 相关...
2022年
无 PX Analyze功能 新增polar_px_enable_explain_allstat参数，用于并行查询场景下，配合 explain analyze 命令打印出每个worker的执行情况，包括每个worker处理的tuple数量，耗时等。新增polar_px_explain_memory_verbosity参数，用于并行...
新建FLINK_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory和Task Manager ...
整体架构
AnalyticDB MySQL 新推出的 湖仓版（3.0）新增了高吞吐离线处理能力，通过一体化的方式解决离线处理和在线分析两种场景的需求，恰好可以解决该问题。数仓版（3.0）AnalyticDB MySQL 数仓版（3.0）架构如下：接入层 接入层由Mulit-Master可...
- 产品推荐
- 这些文档可能帮助您