构建基于Serverless架构的弹性高可用音视频处理系统
并行和分布式视频处理 通过 Serverless 工作流 资源编排即可实现多个视频的并行处理和单个大视频的分布式处理，稳定性和监控交由云平台。需要很强的开发能力和完善的监控系统来保证稳定性。学习上手成本 会编写对应语言的函数代码和熟悉...
迁移Batch批量计算到分布式工作流Argo集群
通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用容器运行，可以在短时间内轻松运行大规模机器学习、仿真计算和数据处理等计算密集型作业，也可以快速运行CI/CD流水线任务。将离线任务和批量计算任务迁移到 工作流集群 可以帮助...
产品规格
ecs.sccgn6.24xlarge 处理器：2.5 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）vCPU：96 内存：384GiB GPU：8*Nvidia Tesla V100 以太网：30Gbit/s RDMA：50Gbit/s 高效云盘 ESSD云盘 SSD云盘 需要GPU参与的单机或多机并行计算业务，如...
数据迁移概述
将数据并行从OSS导入到AnalyticDB PostgreSQL 将数据并行导出到OSS 阿里云Jindo DistCp 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件...
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
使用Argo Workflow编排动态DAG Fan-out/Fan-in任务
背景信息 Fan-out Fan-in Fan-out和Fan-in常用于构建高效的并发处理流程，通过拆分（Fan-out）和聚合（Fan-in）操作，能够充分利用多核、多机资源，实现大规模数据的高效处理。如上图所示，工作流编排过程中，可以使用DAG（有向无环图）...
什么是EMR Serverless StarRocks
这种设计允许多个事务并行处理，同时提供快照隔离（Snapshot Isolation）级别的事务隔离保护。StarRocks的存储引擎还特别适用于Partial Update和Upsert等操作。使用Delete-and-Insert的实现方式，通过主键索引快速过滤数据，避免读取阶段的...
基础设施安全
网络ACL可以对交换机中的所有ECS实例的流量进行控制，对于需要限制流量的大规模应用非常有用。通过使用安全组和网络ACL，可以有效地保护VPC内的资源安全，提高系统的安全性和可靠性。详细信息，请参见 安全组概述 和 网络ACL概述。IPv4网关...
已停售的实例规格
计算：处理器与内存配比为1:2 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应...
负载均衡SLB产品家族介绍
产品简介 阿里云提供全托管式在线负载均衡服务，具有即开即用、超大容量、稳定可靠、弹性伸缩、按需付费等特点，适合超大规模互联网应用，如春节红包、双十一秒杀抢购、大规模在线物联网应用等高并发场景。与传统的硬件型负载均衡自建方案...
天弘基金
业务挑战 在大规模分布式应用中，曾经的单体应用按横向和纵向的维度被拆分到集群的各个节点之中，为了解决服务及数据调用的问题，引入了分布式服务框架、分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...
部署数据库
常用数据库简介 常用数据库包含以下三种：Oracle Oracle可以支持多种不同的硬件和操作系统平台，从台式机到大型或超级计算机，为各种硬件结构提供高度的可伸缩性，支持对称多处理器、群集多处理器、大规模处理器等，并提供广泛的国际语言...
AGS概览
ACK One分布式工作流Argo集群，是面向批处理、数据处理、科学计算、持续集成等业务场景，提供托管开源Argo的工作流集群，可以实现大规模工作流编排与高效弹性运行，并优化运行成本。WDL工作流 WDL（Workflow Description Language）是由...
应用场景
下文先以用户注册为场景说明 云消息队列 RocketMQ 版 如何实现以下功能：异步解耦 分布式事务的数据一致性 消息的顺序收发 最后，再以电商的秒杀场景和价格同步场景分别说明 云消息队列 RocketMQ 版 所实现的削峰填谷和大规模机器的缓存...
OSS/OSS-HDFS的性能优化最佳实践
为了帮助您利用其规模，建议您将并行请求水平扩展到OSS服务终端节点，这种扩展方式有助于通过网络将负载分布在多个路径上。OSS-HDFS使用了上述最佳实践，通过元数据服务支持，以文件块的方式将文件水平扩展到多个OSS服务终端上，以获取最佳...
PolarDB处理TPC-H查询的挑战和机遇
数据访问位置（Data Access Locality）Columnar Locality 这是列存的天然优势，紧凑的数据布局有益于cache locality，并且可以做压缩来减少IO开销。利用向量化技术以及基于SIMD指令集的计算原语，实现高效的算子内并行，提升算子执行效率。...
功能概览
工作原理 您需要在做备份的vCenter中利用云备份服务提供的OVA虚拟机模板部署并激活云备份 VMware迁移网关，每个vCenter环境仅需要部署一个网关（规模大时也可以部署多个）。网关会根据迁移计划，对需要做迁移的虚拟机进行迁移。在迁移时，...
PolarDB HTAP实时数据分析技术解密
并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，PolarDB部分SQL查询耗时成指数级下降。Why We Need Column-Store 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而受限于行式存储及行式...
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
常见问题
3 安防行业龙头为了多卖设备，将AI算法固化到前端摄像机上，但仅靠摄像机芯片的算力来处理视频，AI的能力就被固化了，且升级困难，很难保证全局AI能力的统一性 如何帮助客户建立一套可统一维护，统一升级，整体拥有成本低的视频智能体系。...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
创建任务工作负载Job
2+1 固定结束次数的并行Job 多个Pod同时处理工作队列 依次创建多个Pod运行直至Completions个成功结束 2+2+并行Job 多个Pod同时处理工作队列 创建一个或多个Pod直至有一个成功结束 1 2+操作步骤 说明 本例中创建的任务属于固定结束次数的...
推荐的性能设计模式
为了帮助您利用其规模，建议您将并行请求水平扩展到OSS服务终端节点，这种扩展方式有助于通过网络将负载分布在多个路径上。对于高吞吐量传输，建议您在多个线程或多个实例中同时启动多个请求连接来并行上传和下载数据。对于某些应用程序，...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
PolarDB MySQL版8.0.1版本发布日志
修复RO节点的物理机出现故障时，RW节点在特殊情况下未将其复制关系中断，而引发RW节点刷脏受阻的问题。修复HA后，因表数量过多而引发table cache淘汰导致Autoinc回退的问题。修复多主集群缓存中心重启情况下，读写节点可能无法启动的问题。...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
创建任务工作负载Job
Job负责批量处理短暂的一次性任务（short-lived one-off tasks），即仅执行一次的任务，它保证批处理任务的一个或多个Pod成功结束。您可以通过容器服务控制台创建Job类型的应用。本文介绍如何创建一个Job类型的busybox应用，并演示该任务...
StarRocks概述
本文为您介绍什么是StarRocks，以及StarRocks的特性和应用场景。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用...
ePQ支持分区表查询
背景信息 随着数据量的不断增长，表的规模将会越来越大。为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又可以进一步拆分成二级子分区表，从而形成了多级分区表。支持弹性跨机并行查询，能够...
ePQ支持分区表查询
背景信息 随着数据量的不断增长，表的规模将会越来越大。为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又可以进一步拆分成二级子分区表，从而形成了多级分区表。PolarDB PostgreSQL版 支持...
应用场景
云服务器ECS具有广泛的应用场景，既可以...推荐使用 弹性高性能计算E-HPC，弹性高性能计算可以将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题。更多案例 更多关于云服务器ECS的应用场景，请参见 云服务器ECS客户案例。
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
概述
前提条件 内核小版本（V1.1.20）（发布时间：2022年1月）之前创建的集群，您在使用跨机并行查询功能前，请前往 配额中心，在配额名称 PolarDB PG 跨机并行查询 的 操作 列，单击 申请，申请为您的集群开启跨机并行查询功能。PolarDB ...
概述
前提条件 内核小版本（V1.1.20）（发布时间：2022年1月）之前创建的集群，您在使用跨机并行查询功能前，请前往 配额中心，在配额名称 PolarDB PG 跨机并行查询 的 操作 列，单击 申请，申请为您的集群开启跨机并行查询功能。PolarDB ...
- 产品推荐
- 这些文档可能帮助您