2021年

跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete,包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数,开启或关闭该功能,默认值为false。设置为true时,表示开启并行delete功能。设置为false时,表示...

任务管理高级配置参数说明

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

任务管理高级配置参数说明

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

任务管理高级配置参数说明

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

2021年

跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete,包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数,开启或关闭该功能,默认值为false。设置为true时,表示开启并行delete功能。设置为...

2019年

本文介绍了SchedulerX产品在2019年发布涉及的新增功能...支持单机执行、广播执行、并行计算、内存网格、网格计算。支持Map和MapReduce分布式编程模型。支持任务实例级别和子任务级别的失败自动重试(默认不重试)。支持数据时间和重刷数据。无

机器学习

MADlib还集成图计算模型解决诸如最短路径、PageRank排名、社交网络“谁认识谁,谁与谁更熟悉“等问题。图计算模型相关算法如下表:类别 模型/功能 说明 最短路径 所有顶点之间最短路径 计算所有顶点之间的最短路径并保存到指定结果表,...

Map模型

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

PolarDB HTAP实时数据分析技术解密

该方法的优点为:计算模型简单直接,通过把不同物理算子抽象为迭代器。每一个算子只关注其内部逻辑,各个算子之间的耦合性降低,从而比较容易写出一个逻辑正确的执行引擎。IMCI执行引擎中,每个Operator使用迭代器函数来访问数据。不同的是...

列存索引技术架构介绍

在存储层将数据分片到不同的线程上,由多个线程并行计算,并将结果流水线汇总到总线程。最后,总线程做简单归并返回给用户,以提高查询效率。并行查询突破了单核执行性能的限制,利用多核CPU的并行处理能力,使得部分SQL查询耗时成指数级...

机器学习(MADlib)

MADlib是一个在AliPG内核数据库中运行机器学习、图计算模型的开源库。在机器学习方面,MADlib除提供数理统计通用函数、存储过程之外,还提供一系列比较经典的监督、非监督学习算法库。前提条件 RDS PostgreSQL实例版本满足以下要求:实例大...

PolarDB PostgreSQL版架构介绍

同时,PolarDB PostgreSQL版 具有大规模并行计算能力,可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性,可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态:存储计算分离部署、X-...

MapReduce模型

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

应用场景

云服务器ECS具有广泛的应用场景,既可以...推荐使用 弹性高性能计算E-HPC,弹性高性能计算可以将计算能力积聚,用并行计算方式解决更大规模的科学、工程和商业问题。更多案例 更多关于云服务器ECS的应用场景,请参见 云服务器ECS客户案例。

PolarDB MySQL版8.0.1版本发布日志

修复并行查询将GROUP BY下推到Worker上去并行执行时,在有分区表的情况下,返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时,因索引顺序不同导致索引损坏,无法访问表数据的问题。修复主键不包含分区键的分区表在使用...

LLM on DLC-Megatron on DLC最佳实践

预训练大语言模型面对来自于模型规模和数据规模的多重挑战,为了解决这些问题,PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程,帮助您在 DLC ...

PolarDB处理TPC-H查询的挑战和机遇

Oracle近期也推出了其云上的Heatwave service(RAPID),本质就是一个分布式的in-memory column store,利用Oracle一些特殊的硬件优化技术配合列存的向量化和压缩态计算来实现高性能计算,以及利用in-memory的Binlog快速同步来支持一致性...

技术架构

HTAP 随着移动互联网和Iot设备的普及,数据会产生爆炸式的增长趋势,传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型,将在线库的数据T+1的方式抽取到数据仓库中进行计算,这种方案存在存储成本高、实时性差、链路和维护成本...

PolarDB并行查询

本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1],引领了云原生关系型数据库的发展趋势,而作为国内最早...

深度解析PolarDB数据库并行查询技术

本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大,用户SQL的执行时间越来越长,这不仅对数据库的优化能力提出更高的要求,并且对数据库的执行模式也提出了新的...

企业版和标准版功能对比

支持 支持 弹性并行查询(ePQ)弹性并行查询(Elastic Parallel Query,ePQ)目前支持单机并行和多机并行两种并行引擎,单机并行引擎等效于原有的并行查询,多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...

2023年

MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务,您需要将这些版本的计算资源转换为...

常见问题

实际的任务并行度参照如下的计算公式 concurrent_num=Min(Min(partition_num,Min(desired_concurrent_num,alive_be_num)),Config.max_routine_load_task_concurrent_num)。max_batch_interval properties 10s Routine Load任务调度周期。...

什么是弹性高性能计算E-HPC

弹性高性能计算将计算能力积聚,用并行计算方式解决更大规模的科学、工程和商业问题,在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...

计算资源

切分和并行计算:同上述“切分和并行计算”说明。除以上五点外,常见计算资源风险点还有“资源相互影响”、“资源节点崩溃”、“依赖服务异常”、“服务进程无响应”、“数据格式异常”、“证书过期”等。可以使用资源隔离、配额控制、多...

常见问题

2)大规模并行计算,不受限本地计算资源规模,支持Scatter-Gather的模式,对生信流程进行并行计算优化。3)加速硬件和算法,提供Sentieon软件、FPGA、GPU等多种加速手段,针对长耗时的计算步骤进行优化,并可以和用户脚本自由组合。问:...

概述

库仓一站式(Zero-ETL)传统数据仓库,会通过数据ETL方式同步数据,采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询,但面相高并发的数据在线查询(Serving场景)会有明显的资源并发瓶颈,会通过数据回流到OLTP数据库提供在线查询。...

StarRocks概述

通过列式的内存布局、适配CPU的SIMD指令集等手段,充分发挥了现代CPU的并行计算能力,从而实现亚秒级别的多维分析能力。智能查询优化 StarRocks通过CBO优化器(Cost Based Optimizer)可以对复杂查询自动优化。无需人工干预,就可以通过...

类目预测干预词典

问题诊断:类目预测模型将Query“牛奶”的类目相关性计算错误解决方案:新建类目预测干预词典,在词典中干预Query“牛奶”,将“牛奶杯”所属的家居用品类目(id是20)的相关度定为略相关,将“牛奶”所属的食品类目(id是15)的相关度定...

什么是实时数仓Hologres

亚秒级交互式分析 Hologres采用可扩展的大规模并行处理(MPP)架构全并行计算,通过向量化算子发挥CPU最佳算力,基于AliORC压缩存储,面向SSD存储优化IO吞吐,支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...

什么是MaxCompute

MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求,最大可达EB级别,并且MaxCompute已经在阿里巴巴...

通过脚本模式配置离线同步任务

说明 任务整体同步速度除受到上述配置影响外,还受源端数据源性能,同步网络环境等多方面影响,关于同步速率说明与调优,详情请参见 离线同步任务调优。步骤五:配置调度属性 周期性调度的离线同步任务需要配置任务自动调度时的相关属性,...

通过向导模式配置离线同步任务

说明 任务整体同步速度除受到上述配置影响外,还受源端数据源性能,同步网络环境等多方面影响,关于同步速率说明与调优,详情请参见 离线同步任务调优。步骤六:配置调度属性 周期性调度的离线同步任务需要配置任务自动调度时的相关属性,...

产品架构

计算引擎支持社区版计算模型以及编程接口,同时深度融合Lindorm存储引擎特性,充分利用底层数据存储特征以及索引能力,高效地完成分布式作业任务。在数据生产、交互式分析和机器学习等场景中,提供高性能计算服务。Spark作业执行中,计算...

PolarDB MySQL版8.0.2版本发布日志

2023-08-23 问题修复 修复用户同时打开全局一致性(高性能模式)和弹性并行查询(ePQ)功能时,可能触发 Table definition has changed 错误的问题。修复Index condition pushdown场景下,SQL语句的扫描行数统计不准确的问题。修复在全文...

创建同步任务

重要 当脏数据过多时,会影响同步任务的整体同步速度。不配置时默认允许脏数据,即任务产生脏数据时不影响任务执行。配置为0,表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。允许脏数据并设置其阈值时:若产生的脏数据...

什么是图计算服务

Graph Compute 与其他开源图计算相比的优势 问题一:查询性能为什么能比开源好很多 图计算服务内核引擎iGraph在分区并发查询的基础上,通过自研的协程异步框架并发召回,将同步串行磁盘访问改造为异步并行,极大的提高了查询性能;...

产品概述

HTAP 随着移动互联网和IoT设备的普及,数据会产生爆炸式的增长趋势,传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型,将在线库的数据以T+1的方式抽取到数据仓库中进行计算,这种方案存在存储成本高、实时性差、链路和维护成本...

集成函数计算异步调用

在 Serverless 工作流 的任务步骤中,异步调用函数计算可以更灵活地适应一些任务场景,例如长时任务、人工审核等,帮助您避免限流等错误,同时可以简化流程中的错误处理和重试逻辑。本文介绍 Serverless 工作流 集成函数异步调用的背景信息...

配置HTTP触发器并使用HTTP触发

是 系统错误 FcCommonError 500 函数计算 系统错误,可重试解决。否 系统流控 FcCommonError 503 函数计算 系统流控。可用指数退避方式重试。否 如果问题还未能解决,请加入钉钉用户群(钉钉群号:11721331),联系函数计算工程师即时沟通...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
批量计算 函数计算(旧版) 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用