概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
应用场景
本文主要介绍弹性高性能计算集群的主要应用场景，您可以根据不同的应用场景配置不同的资源类型。气象预报 E-HPC结合数值模型计算分析气象数据与环境数据，可以预测...动画渲染 E-HPC支持大规模多机并发业务，应用于影视动画行业进行图形渲染。
应用场景
灵骏主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。大规模分布式训练 高性能打造AI进化底座。超大规模GPU算力...
影响查询性能的因素
但 AnalyticDB MySQL版 能否充分利用多节点来并行处理查询，还取决于数据在存储节点上的分布特征。如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；...
产品简介
这些功能旨在帮助加快应用程序开发和连接，通过流处理实现转换，简化大规模企业操作，并满足严格的体系结构要求。Confluent Platform 让您可以专注于从数据中获取业务价值，而不必担心底层机制 —— 例如，数据如何在不同的系统之间进行...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
并行查询配置参数说明
MULTI_NODES：强制多机并行，最大并行度会随节点数增加而成倍增加，适用于海量数据的分析类大查询。records_threshold_for_parallelism Session 若优化器估算出语句中存在扫描记录数超过该阈值的表，优化器会考虑选择并行执行计划。取值...
产品优势
难以支撑大规模高并发转码任务。专业的转码算法 强大的计算资源，先进的视频处理算法，业界独有的画质重生技术，将现存普通或受损的影视内容重制为超高清或画质修复的版本。视频质量依赖开源转码服务。功能丰富、高可定制 视频转码、截图、...
整体架构
AnalyticDB MySQL版 融合了分布式、弹性计算与云计算的优势，对规模性、易用性、可靠性和安全性等方面进行了大规模的改进，充分满足不同场景实时数据仓库的需求。支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等，...
使用跨机并行查询进行分析型查询
PolarDB PostgreSQL版（兼容Oracle）支持使用跨机并行查询功能进行分析型查询，实现一定的HTAP能力。本文介绍如何使用跨机并行查询，提升分析型查询的性能。原理介绍 当一条查询请求在查询协调节点上被执行跨机并行查询时，该查询产生的...
使用跨机并行查询进行分析型查询
PolarDB PostgreSQL版（兼容Oracle）支持使用跨机并行查询功能进行分析型查询，实现一定的HTAP能力。本文介绍如何使用跨机并行查询，提升分析型查询的性能。原理介绍 当一条查询请求在查询协调节点上被执行跨机并行查询时，该查询产生的...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
Semi-Join的并行加速
下文展示了在标准TPC-H中，SCALE为100 GB的数据量热数据场景下，开启并行后多阶段的并行处理能力。说明 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。...
已停售的GPU实例规格
适用场景：超大规模机器学习集群训练场景 大规模高性能科学计算和仿真计算 大规模数据分析、批量计算、视频编码 sccgn6e包括的实例规格及指标数据如下表所示。实例规格 vCPU 内存（GiB）GPU GPU显存（GB）网络带宽（Gbit/s）网络收发包PPS ...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
可视化MapReduce模型
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...
可视化MapReduce模型
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...
可视化MapReduce模型
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
产品优势
本文介绍云原生关系型数据库 PolarDB PostgreSQL版（兼容Oracle）的...跨机并行查询 支持跨机并行查询计算引擎，多个节点跨机并行执行SQL，充分发挥所有计算节点的CPU、内存、网络的硬件资源，加速 分析型查询性能。具体可参见 跨机并行查询。
使用EXPLAIN查看并行计划
即 PolarDB 优化器选择提前并行执行该子查询并将执行结果Share给外层所有Worker做共享访问，在这种查询计划下，子查询外层的查询块由于策略限制，将无法做跨机执行，即外层查询的多个并行worker需要在查询下发的节点内单机并行执行。...
应用场景
媒体处理可以将多媒体数据转码成适合在全平台播放的格式，并基于海量数据对媒体的内容进行审核、添加标签、版权保护等，广泛应用于视频网站、在线教育、电视传媒和泛娱乐视频等各类视频处理场景。本文为您介绍媒体处理服务常见的应用场景。...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
FAQ
云命令行在安全方面做了很多处理，您可以放心使用。虚拟机安全 云命令行在生产虚拟机时，做到按用户隔离，保证每个用户的虚拟机实例不被他人访问到。在您关闭命令行窗口时，虚拟机实例将会被销毁。认证和鉴权 在您登录云命令行时，校验您...
测试指标
一般扩展能力非常好的应用系统，扩展指标应是线性或接近线性的，现在很多大规模的分布式系统的扩展能力非常好。标准 理想的扩展能力是资源增加几倍，性能就提升几倍。扩展能力至少在70%以上。可靠性指标 双机热备 对于将双机热备作为可靠性...
迁移方案
较大数据规模 如果全量对比的代价高、可行性低，则可以考虑采用抽样的方式进行。例如窗口聚合逻辑的数据，随机抽取部分key、部分窗口的聚合结果进行一一对比，验证其正确性。但需注意抽样方式的合理性，避免单一性产生对比漏洞从而误判数据...
创建倍速转码任务
针对带有视频流转码的任务，媒体处理MPS基于智能转码引擎和强大的云上资源调度能力，通过将视频源切分为多个较小的片段，使用多台转码机并行转码的方式提升视频流转码效率，显著缩短处理耗时。实现原理如下图：功能特性 类型 说明 加速倍数...
技术架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
商品文案生成（中文）
性能优良：中英文模型均使用大规模数据训练得到，且采用自研适应NLG任务的预训练目标。适应各类生成任务：PALM可用于各类不同的生成任务，如摘要、问题生成、paraphrasing等等。方便易用：下游使用方便，基于生成的传统encoder-decoder框架...
天气播报欢迎语生成（中文）
性能优良：中英文模型均使用大规模数据训练得到，且采用自研适应NLG任务的预训练目标。适应各类生成任务：PALM可用于各类不同的生成任务，如摘要、问题生成、paraphrasing等。方便易用：下游使用方便，基于生成的传统encoder-decoder框架。...
- 产品推荐
- 这些文档可能帮助您