集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
消费-搭建监控系统
搭建storm实时计算系统 选择storm或者其他的类型的实时计算系统，配置计算规则，选择要计算的监控指标，计算结果写入到OTS中。展示监控信息 通过读取保存在OTS中的监控数据，在前端展示；或者读取数据，根据数据结果做报警。
通用性能
系统指标 指标详细 维度 能力 说明 系统部署 Agent自动注册 按规模可选择Agent集群式入网，高可用执行分钟级故障切换 系统性能 自动化峰值调用性能：100/分钟 自动化任务下发 并发调用性能：100台设备并行配置 系统稳定 系统动态扩容能力：...
使用场景
何时会用到并行查询 有几种设置会导致查询规划器在任何情况下都不生成并行查询计划。为了让并行查询计划能够被生成，必须配置好下列设置。max_parallel_workers_per_gather 必须被设置为大于零的值。这是一种特殊情况，更加普遍的原则是...
汽车行业：智能辅助驾驶业务遭遇大表瓶颈，小鹏汽车...
客户痛点 小鹏汽车原先使用的数据库是社区 PostgreSQL，随着智能辅助驾驶业务的快速增长，系统面临数据处理的三重挑战：大表查询慢 面对海量数据，单机并行处理能力已经达到极限，无法应对 TB 级大表的查询，小鹏汽车的智能辅助驾驶分析...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
入门概述
文件存储CPFS概述 文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展的并行文件系统，满足高性能计算场景的需求。文件存储CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据...优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。适用于 数据可视化DataV
数据源读取时间超时的优化思路
优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。总体来说，如果读取数据源超过了DataV的超时时间，就意味着查询数据的方式较为复杂，可以通过优化查询时间...
数据源读取时间超时的优化思路
优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。总体来说，如果读取数据源超过了DataV的超时时间，就意味着查询数据的方式较为复杂，可以通过优化查询时间...
音视频弹性处理
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案，部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
应用场景
您只需上传您的计算任务至BatchCompute，系统将智能地在阿里云的众多虚拟机实例上并行执行这些任务。处理完成后，将计算结果直接保存在OSS中。OSS作为云端的持久化存储解决方案，安全可靠地保管着海量的原始数据或中间计算结果，其高度可...
编排逻辑流
在应用程序开发过程中，系统可以处理和恢复潜在错误和异常，以帮助您处理错误和异常，提高应用程序的稳定性、可靠性和可维护性。逻辑流搭建方式 魔笔支持以下两种方式搭建逻辑流。在页面中，通过数据容器绑定逻辑流，快速搭建逻辑流。通过...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
通过VNC搭建Ubuntu 16.04图形界面
轻量应用服务器提供的Linux系统均为命令行界面。如果您希望通过图形界面管理操作系统，可以使用VNC（Virtual Network Console）实现。本文介绍如何在Ubuntu 16.04系统中搭建图形界面。前提条件 已创建Ubuntu系统的轻量应用服务器。具体操作...
通过VNC搭建Ubuntu 18.04和20.04图形界面
轻量应用服务器提供的Linux系统均为命令行界面。如果您希望通过图形界面管理操作系统，可以使用VNC（Virtual Network Console）实现。本文介绍如何在Ubuntu系统中搭建图形界面。前提条件 已创建Ubuntu 18.04和Ubuntu 20.04系统的轻量应用...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
离线异步任务场景
并行处理 离线GPU任务需要处理大量数据，对GPU资源供给要求高，并行运行加快处理速度。数据源集成 离线GPU任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如对象存储OSS）和多种消息产品（例如消息队列）进行频繁交互。更多...
基于Windows搭建环境
本文介绍如何在Windows7和Windows10的系统中搭建Link IoT Edge专业版（LE Pro）的Docker运行环境，实现网关与云端连接的步骤。专业版（LE Pro）规格的详细说明请参见 产品规格。准备工作 LE Pro版需要您提前安装好Docker环境，Windows7系统...
概述
PolarDB 集群备份和恢复功能均采用多线程并行处理，并通过其它技术创新，10分钟内即可完成从备份集（快照）恢复到一个新的集群。说明 一级备份默认开启，无法关闭。一级备份（快照）总大小如下图所示。说明 PolarDB 集群 一级备份（快照）...
服务端人脸识别SDK
检测模块和识别模块并行处理 获取视频流之后，通过人脸检测识别出人脸，根据跟踪的ID进行人脸质量的判断。一个人脸的质量可以通过关键点定位是否准确、人脸质量模块分值是否比较高、人脸的角度是否在一定的范围内进行挑选，然后送入到活体...
基于Ubuntu 16.04搭建环境
本文介绍如何在Ubuntu 16.04的系统中搭建Link IoT Edge专业版（LE Pro）的Docker运行环境，实现网关与云端连接的步骤。专业版（LE Pro）规格的详细说明请参见 产品规格。准备工作 LE Pro版需要您提前安装好Docker环境，请参见 Docker官方...
准备工作
开始使用表格存储搭建订单系统前，您需要完成以下准备工作。开通表格存储 已开通表格存储服务。具体操作，请参见 开通表格存储服务。创建表格存储实例 实例 是您使用和管理表格存储服务的实体，每个实例相当于一个数据库。表格存储对应用...
基于Ubuntu 16.04搭建环境
本文介绍基于Ubuntu 16.04系统，搭建Link IoT Edge标准版（LE Standard）运行环境的方法。Link IoT Edge标准版软件包支持在Ubuntu 16.04~Ubuntu 18.04系统上运行，并在下列平台上进行测试和验证。架构 操作系统 x86_64 Ubuntu 16.04~Ubuntu...
添加访问地址
将只需要获取数据副本的读操作分散到多个从节点上，可实现并行处理和负载均衡，减少数据库的负载和响应时间，提高用户的体验和满意度。更多信息，请参见 数据库代理。概念介绍 主地址：其读写模式为可读可写，默认读主，提供强一致读写。...
产品优势
模板集成 提供多场景解决方案应用架构模板，可直接基于方案模板快速搭建业务系统基础架构并进行适配扩展，减少应用基础架构搭建的工作。智能高效 提供自动化验证应用架构的资源关联关系和资源规格配置能力，并支持资源价格查询，保障架构...
并行查询性能
并行查询利用多核CPU的并行处理能力，以8核32 GB 独享规格 的集群为例，并行查询示意图如下所示。下文将介绍8.0.1和8.0.2版本并行查询参数取值分别设置为如下表所示时，PolarDB 集群负载 并行查询测试方法 与 执行结果。关于如何配置参数，...
FeatureStore使用案例汇总
案例名称 描述 在推荐系统中应用FeatureStore管理特征 以FeatureStore的特征表为例，为您介绍FeatureStore从创建与注册到最终上线的过程，帮助您了解如何从零开始搭建并上线一套完整的推荐系统。FeatureStore最佳实践 在不使用阿里云其他...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
处理挖矿程序最佳实践
服务器被挖矿病毒入侵后，挖矿病毒会消耗服务器的资源、降低生产效率、影响系统稳定性，对受感染的个人或企业用户构成严重的威胁。被入侵后，您需要及时响应并处理挖矿病毒，加固系统安全。本文介绍如何处理挖矿病毒。背景信息 挖矿程序的...
水处理行业页面模板
该模板包含了水处理行业常用的数据展示方式和功能模块，可以帮助用户快速地搭建水处理行业相关的数据监控、水质分析、设备管理等应用场景。使用水处理行业模板可以遵循以下步骤：登录组态编辑器，创建一个新项目。在项目中选择水处理行业...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
数据变更最佳实践
批量导入多个表时，导入任务会在系统中并行执行，默认并行执行2个任务。例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如...
- 产品推荐
- 这些文档可能帮助您