羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
作业调试
资源配置 Task Managers数量 默认与并行度一致。JobManager CPU Cores 默认值为1。JobManager Memory 最小值为1 GiB，推荐值为4 GiB。单位建议使用GiB或MiB，例如，1024 MiB或1.5 GiB。JobManager推荐配置包含JobManager资源以及心跳相关...
PolarDB PostgreSQL版架构介绍
真正的回放被offload到了重启之后进来的session进程中。优化之后（回放500 MB日志量），如下图所示：Persistent BufferPool 上述方案优化了在recovery的重启速度，但是在重启之后，session进程通过读取WAL日志来回放想要的page。表示为在...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
PolarDB PostgreSQL版架构介绍
真正的回放被offload到了重启之后进来的session进程中。优化之后（回放500 MB日志量），如下图所示：Persistent BufferPool 上述方案优化了在recovery的重启速度，但是在重启之后，session进程通过读取WAL日志来回放想要的page。表示为在...
部署及微调Qwen-72B-Chat模型
}],stop=["<|im_end|>","<|im_start|>"],#stream=True,)#打印输出内容 print(completion.choices[0].message.content)模型微调训练 PAI-QuickStart中的Qwen-72B-Chat全量参数微调基于Megatron-LM的训练流程，支持数据并行、算子拆分、流水...
LightGBM算法
本文介绍了LightGBM算法相关内容。简介 LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的分布式梯度提升框架。设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据...
托管节点池节点自动恢复
说明 如果集群中存在多个节点池，节点池之间的节点自动恢复可以并行执行。如果一个节点池存在多个异常节点，自动恢复会以串行的方式逐个恢复。一旦某个节点恢复失败，ACK将停止对该节点池中其他故障节点的恢复。当节点处于恢复失败状态时，...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
OOM常见问题排查指南
大宽表或者宽列且有高Scan并行度 通常在MaxCompute导入场景会出现大宽表或者比较宽的列有比较大的Scan并行度，导致写入出现OOM。可以通过以下参数控制导入并行度减少OOM。大宽表导入（常用场景）说明 以下参数与SQL一起执行（优先选择前两...
PolarDB处理TPC-H查询的挑战和机遇
连接性能（Join Performance）Large Joins Large Joins 是指数据量较大的join，常见的join算法有hash-based、index-based，可能会有二次回表的开销，引发较多随机IO，但如果数据都在内存中可能会避免这种情况。TPC-H中最大的两个表 Order ...
随机森林回归算法（Random Forest Regression）
本文介绍了随机森林回归算法（Random Forest Regression）相关内容。简介 随机森林回归算法（Random Forest Regression）是随机森林（Random Forest）的重要应用分支。随机森林回归模型通过随机抽取样本和特征，建立多棵相互不关联的决策树...
配置作业部署信息
选择基于固定间隔重启后，您可以结合实际业务场景修改 尝试重启的次数 和 每次重启时间间隔 参数的取值。No Restarts：不会重启。其他配置 在此设置其他Flink配置。例如 akka.ask.timeout:10。日志配置 参数 说明 日志归档 默认已开启日志...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
通过阿里云百炼搭建专属大模型应用
分区并行：支持多分区并行执行，降低多分区执行。聚合重排：支持多分区聚合重排。Distance plugin：为了更好地支持算法厂商的加密算法，各种算法的距离计算作为插件集成到数据库中。底层优化：对于指令层进行了SIMD优化，相较于开源方案自...
安装ACCL库
ACCL提供了对PyTorch、Horovod 等深度学习框架以及数据并行、模型并行等主流并行训练模式的支持，便于深度学习用户快速使用。ACCL的关键特性包括：异构拓扑感知，例如节点内PCIE与NVLink/NVSwitch、节点间多轨RDMA网络，分层混合算法设计，...
升级节点池
下图以最大并行数=N时为例，介绍分批次执行的流程，即每个批次的升级节点数为依次为1、2、4、8……直至达到最大并行数N。替盘升级单个节点内部的升级逻辑 执行节点排水（并设置节点为不可调度）。ECS关机，即停止节点。更换系统盘，系统盘...
什么是AI通信加速库Deepnccl
集合算法层 在集合算法层，通过集合通信编译技术，针对不同的机型构建自适应拓扑算法，实现NCCL Runtime充分兼容和无感的集合通信拓扑优化。网络层 在网络层，通过对阿里云的VPC、RDMA或者eRDMA网络基础设施进行适配优化，实现网络层无感的...
调整实例WRITESET相关参数
您可以通过开启WRITESET模式，设置 binlog_transaction_dependency_tracking 和 transaction_write_set_extraction 参数来控制事务的冲突检测机制，以便提高备库回放并行度，降低主从延迟。WRITESET简介 MySQL默认的基于主库组提交来判断...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
变更消息配置
您可以按照业务需求调整消息保留时长、最大消息大小、消费位点保留时间和SSL证书算法位数。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于服务中状态。操作步骤 登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域...
PolarDB MySQL版DDL操作指南
DDL执行算法 PolarDB MySQL版 支持以下三种DDL执行算法：INSTANT算法：使用INSTANT算法执行DDL操作时，只需要修改数据字典中的元数据，不需要修改或复制存量数据，也不需要重建表。因此其不受表的大小影响，整个DDL过程可以秒级完成。...
实例运维常见问题
本文汇总了Lindorm实例在扩缩容、升降配、实例重启、版本升级等实例运维场景中的常见问题，包括但不限于操作耗时、业务影响及费用说明，帮助您快速了解运维操作中的相关细节和注意事项。问题导览 扩容、升配、服务开通 实例扩容节点需要...
自主排查IPsec-VPN连接问题
如果对端网关设备在 IKE配置 阶段和 IPsec配置 阶段配置了多种 加密算法、认证算法 或 DH分组，则建议修改对端网关设备的配置，使对端网关设备的 加密算法、认证算法 以及 DH分组 的配置与IPsec连接的配置相同。说明 在阿里云侧配置IPsec...
图像度量学习训练（raw）
支持以下取值：数据并行的度量学习 模型并行的度量学习 数据并行的度量学习 保存训练输出的oss目录 是 存储训练模型的OSS目录，比如：oss:/examplebucket/yun*/designer_test。无 训练数据标注结果文件路径 否 如果您没有通过输入桩配置...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
SSH服务的相关介绍
Linux环境自动登录 SSH连接交互过程简介 非对称加密算法 说明：SSH服务主要采用RSA算法（协议V2默认算法）和DSA算法（协议V1仅支持该算法）来实现非对称加密技术。SSH服务是基于非对称加密（public-key cryptography，也称公开密钥加密）...
密码与密钥相关问题
由于以上情况默认禁用了ssh-rsa公钥签名算法，您可以配置相应文件，手动启用本地客户端或远程服务器ssh-rsa公钥签名算法的参数。使用客户端（Mac 13.0.1及以上版本）访问堡垒机，您可以参考如下步骤启动客户端ssh-rsa公钥签名算法。在您的...
应用场景
人工智能的发展仍处于早期阶段，各个行业正在从算法层面尝试寻找商业落地的可能性，是一个从0到1的过程。可以预见在未来几年，人工智能落地应用越来越多，大规模商业部署渐渐成为可能。这时对于更低功耗、更低成本、更低处理延时、更多定制...
PageRank
PageRank算法用于衡量网页的重要性。它通过分析超链接，认为链接到某网页的数量和质量可以表明该网页的重要性。网页获得的链接越多，它的排名越高，同时，链接来源的权重也会影响最终的PageRank分数。PageRank组件能够输出各节点的权重。...
常见问题
通过VCS“全视频”，对视频数据进行汇聚并行计算，让机器看视频，一方面提升视频追踪的效率，另一方面提升视频追踪的能力 2 AI处于暴利阶段，整个行业停留在人脸、人体、机动车等成熟算法的工程化上，几乎没有算法创新和突破各AI玩家满足于...
持久缓存池（Warm Buffer Pool）
背景信息 PolarDB MySQL版 支持持久缓存池功能，在主节点主动重启或者异常崩溃后重启的过程中，缓存池（Buffer Pool）中的数据依然存在，从而大幅度加快重启速度，并保持重启后性能无衰减。前提条件 PolarDB 集群版本需为 PolarDB MySQL版 ...
混合负载HTAP
PolarDB-X 采用了基于代价的优化器技术，能够根据实际数据量、数据分布情况等，搜索到较优的执行计划，例如，对Join顺序进行调整、选择合适的Join或聚合算法，对关联子查询去关联化等。执行计划的好坏很大程度上决定了查询效率，查询优化...
产品简介
隐私求交服务基于隐私求交（Private Set Intersection，简称 PSI）算法，保证了在不泄露多余信息的前提下，满足了数据合作的各参与方获取和分析数据求交结果的需求。隐私求交控制台是面向需要应用隐私求交技术的数据工程师或业务运营人员的...
新建实验
AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。背景信息 AutoML的工作机制：实验会根据算法配置自动生成...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
机器学习的审计事件
RestartService 重启服务。SearchMCTables 搜索MaxCompute表。StartBenchmarkTask 启动压测任务。StartPipelineRun 启动工作流任务。StartRun 启动任务。StartService 开启服务。StartStress 启动压测任务。StartTensorboard 开始运行...
什么是向量检索服务
超大规模索引构建和检索：引入复合性检索算法，精于工程实现和算法底层优化，低成本实现高效率的检索方法，单片索引可达几十亿的规模。标签+向量检索：在索引算法层实现了“带条件的向量检索”，解决了传统多路归并召回结果不理想的情况，...
- 产品推荐
- 这些文档可能帮助您