负载均衡SLB产品家族介绍
产品简介 阿里云提供全托管式在线负载均衡服务，具有即开即用、超大容量、稳定可靠、弹性伸缩、按需付费等特点，适合超大规模互联网应用，如春节红包、双十一秒杀抢购、大规模在线物联网应用等高并发场景。与传统的硬件型负载均衡自建方案...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
部署数据库
常用数据库简介 常用数据库包含以下三种：Oracle Oracle可以支持多种不同的硬件和操作系统平台，从台式机到大型或超级计算机，为各种硬件结构提供高度的可伸缩性，支持对称多处理器、群集多处理器、大规模处理器等，并提供广泛的国际语言...
计算资源优化
GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）、能够支持多线程并行的高吞吐量运算、逻辑控制单元相对简单。适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景。...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
什么是应用型负载均衡ALB
应用型负载均衡ALB（Application Load Balancer）是阿里云推出的专门面向HTTP、HTTPS和QUIC等应用层负载场景的负载均衡服务，具备超强弹性及大规模应用层流量处理能力。ALB 具备处理复杂业务路由的能力，与云原生相关服务深度集成，是阿里...
GPU计算型
GPU计算型实例具有高性能、高并行计算能力，适用于大规模并行计算场景，可以为您的业务提供更好的计算性能和效率。本文为您介绍云服务器ECS GPU计算型实例规格族的特点，并列出了具体的实例规格。主售（推荐类型）GPU计算型实例规格族gn7e ...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
AGS概览
阿里云基因计算AGS（Alibaba Cloud Genomics Service）是由阿里云推出极速、低成本、高精度的基因组测序二级分析的云服务，主要提供以容器平台为基础的生物信息工作流服务和无需搭建集群，开箱即用的加速API服务。本文介绍什么是AGS及其...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
eRDMA概述
什么是eRDMA 弹性RDMA（Elastic Remote Direct Memory Access，简称eRDMA）是阿里云自研的云上弹性RDMA网络，底层链路复用VPC网络，采用全栈自研的拥塞控制CC（Congestion Control）算法，享有传统RDMA网络高吞吐、低延迟特性的同时，可...
常见问题
Proxima CE用的是哪里的资源？用户所在MaxCompute Project下的资源。输入表中的vector可以直接使用MaxCompute的Binary类型吗？目前不支持，Proxima CE当前版本构建索引的处理方法是将doc表中的vector列转换成索引，doc表中的vector列默认只...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
PolarDB处理TPC-H查询的挑战和机遇
上图给出了前两项优化后对社区版本在TPC-H SF10上一些查询的性能对比，由于社区不支持并行处理，就没再比较parallel hash join的提升了。Sparse Foreign Key Joins 在TPC-H中，大量的join都是主外键join，而且在主表上，对主键都有一定的...
应用场景
基因数据处理 云工作流 可以将多个批量计算分布式作业串联或并行编排，可靠地支持执行时间长、并发量大的大规模计算。如基因数据分析中将基因序列对齐，将所有染色体并行做变异分析，最终将各染色体数据聚合产出结果。云工作流 根据指定的...
ANALYZE
如果表的包装器不支持 ANALYZE，该命令会打印一个警告并且什么也不做。在默认的配置中，自动清理守护进程会在表第一次载入数据或者用常规操作改变时负责表的自动分析。当启用自动清理时，定期运行 ANALYZE 是个好主意，或者可以在表内容做...
媒体转码
难以支撑大规模高并发转码任务。转码算法 强大的计算资源，先进的视频处理算法。依赖开源转码服务。功能 视频转码，视频转封装，视频转HLS，视频转动图，视频拼接，视频截图，视频截雪碧图，音频转码，音频提取，字幕提取等。需要自行对接...
OSS/OSS-HDFS的性能优化最佳实践
为了帮助您利用其规模，建议您将并行请求水平扩展到OSS服务终端节点，这种扩展方式有助于通过网络将负载分布在多个路径上。OSS-HDFS使用了上述最佳实践，通过元数据服务支持，以文件块的方式将文件水平扩展到多个OSS服务终端上，以获取最佳...
迁移方案
本文为您介绍阿里云实时计算Blink独享或共享集群（Blink计算引擎和Bayes开发平台）的业务迁移至实时计算Flink全托管（Flink计算引擎VVR和开发平台VVP）时的迁移限制、迁移方案...SQL的内置函数是否用的一致。说明 修改后重新上线再对比数据。
常见问题
SUBMITTED：该状态极少遇到，可能原因为Node Update请求太多造成Capacity Scheduler内部抢锁堵塞，通常发生在大规模集群，需优化相关流程。相关案例，请参见 YARN-9618。ACCEPTED：检查Diagnostics。请根据提示信息，选择相应的处理方式。...
数据导入常见问题
报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错“ETL_QUALITY_UNSATISFIED;msg:quality not good enough to cancel”，该如何处理？数据导入过程中，...
文本摘要（生成式）
性能优良：中英文模型均使用大规模数据训练得到，且采用自研适应NLG任务的预训练目标。适应各类生成任务：PALM可用于各类不同的生成任务，如摘要、问题生成、paraphrasing等等。方便易用：下游使用方便，基于生成的传统encoder-decoder框架...
强一致分布式事务
本文详细介绍了什么是强一致分布式事务及如何实现。ACID分布式事务 PolarDB-X 原生支持分布式事务，并保证事务的ACID性质。原子性（Atomicity）一致性（Consistency）隔离性（Isolation）持久性（Durability）PolarDB-X 通过引入中心授时...
CREATE INDEX
通过 ALTER INDEX 关闭 fastupdate 会阻止未来的更新进入到待处理索引项列表中，但它不会自己处理之前的待处理项。可以使用 VACUUM 或者调用 gin_clean_pending_list 确保处理完待处理列表的项。gin_pending_list_limit(integer)自定义 gin...
离线同步并发和限流之间的关系
问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很慢，为什么我的独享资源组经常等待资源？并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当...
使用Argo Workflow编排动态DAG Fan-out/Fan-in任务
背景信息 Fan-out Fan-in Fan-out和Fan-in常用于构建高效的并发处理流程，通过拆分（Fan-out）和聚合（Fan-in）操作，能够充分利用多核、多机资源，实现大规模数据的高效处理。如上图所示，工作流编排过程中，可以使用DAG（有向无环图）...
南京银行：借助云效完成敏捷转身，实现新金融DevOps...
通过架构变革、并行开发、多分支管理、持续集成等方式，成功实现敏捷转身。业务特征及痛点 南京银行科技有运维中心、研发中心和科技管理部，正式的员工有200多人，外包合作厂商有600多人，在线运营的运营系统有300多个。有人说银行不就是有...
填充数据库
本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT。某些客户端库可能背着你就做了这些，在这种...
互联网金融：上海富友支付服务股份有限公司
业务挑战 随着业务规模和用户量的快速增长，高并发交易和海量数据给富友的数据库带来三大挑战：数据量大导致性能瓶颈：仅扫码业务每日有千万级交易量，加上互联网、跨境和SaaS富掌柜等业务，海量数据下传统商业数据库的性能明显不足。...
常见问题
如果无法调整批量大小，可以在控制台修改参数：merge_tree.parts_to_throw_insert，将参数的取值设置的大一些。为什么DataX导入速度慢？常见原因及解决方案如下。常见原因1：参数设置不合理。ClickHouse适合使用大batch、少数几个并发进行...
常见问题
序号 用户场景 解决问题 1 视频监控在民警侦查办案、治安防控中扮演着越来越重要的角色，但肉眼看视频费时费力，很多小案件因为看视频成本太高而被放弃 如何提升民警用视频侦查办案的效率，通过机器智能，减负增效。2 视频AI不开放，各厂家...
规则vs触发器
许多触发器可以干的事情同样也可以用PostgreSQL规则系统来实现。目前不能用规则来实现的东西之一是某些约束，特别是外键。可以放置一个合格的规则在一列上，这个规则在列的值没有出现在另一个表中时把命令重写成 NOTHING。但是这样做数据就...
事务隔离
例如，即使这个级别上的一个只读事务可能看到一个控制记录被更新，这显示一个批处理已经被完成但是 不能 看见作为该批处理的逻辑组成部分的一个细节记录，因为它读取空值记录的一个较早的版本。如果不小心地使用显式锁来阻塞冲突事务，尝试...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
如何基于LSM-tree架构实现一写多读
并行回放的粒度是事务，需要处理的一个关键问题就是可见性问题。事务串行回放时，Sequence版本号都是连续递增的，事务可见性不存在问题。在并行回放场景下，我们仍然需要保序，通过引入 滑动窗口 机制，只有连续一段没有空洞的Sequence才能...
CLB健康检查FAQ
您在使用CLB的过程中如果遇到健康检查相关的问题，您可参考本文进行定位及处理。健康检查的原理是什么？推荐的健康检查配置是什么？是否可以关闭健康检查？TCP监听如何选择健康检查方式？ECS实例权重设置为零对健康检查有什么影响？HTTP...
Tunnel命令常见问题
使用Tunnel Upload命令行上传CSV文件时，为什么导入成功后原文本中有很大一部分内容莫名消失？如何在Shell脚本中将一个TXT文件中的数据上传到MaxCompute的表中？导入文件夹中的文件数据时，提示字段不匹配，但是文件夹下的文件可以单独导入...
功能发布记录
什么是媒体处理 2018-01-18 新功能：转码输出格式支持Webp。功能特性 2018-01-10 新区域：媒体处理上线国际站，并新增欧洲中部1（法兰克福）、亚太东北1（东京）地域。服务地域 2017-12 发布日期 发布内容 相关文档 2017-12-29 预付费：...
部署及微调Qwen-72B-Chat模型
通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型，它的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手...
- 产品推荐
- 这些文档可能帮助您