一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
功能特性
功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，以及缓存预热技术，来充分发挥数据库...
什么是RDS MySQL
RDS MySQL 阿里云关系型数据库服务RDS（Relational Database Service）支持MySQL引擎，RDS MySQL是基于阿里巴巴MySQL源码分支的在线数据库服务，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据...
负载均衡SLB产品家族介绍
LCU费 网络型负载均衡NLB 0.037 对于TCP流量，NLB 一个LCU包含：每秒800个新建TCP连接 100000个并发TCP连接（每分钟取样）每小时处理1GB的TCP请求和响应的流量数据 对于UDP流量，NLB 一个LCU包含：每秒400个新建UDP连接 50000个并发UDP连接...
配置并管理实时同步任务
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。创建实时同步任务 创建整库实时同步节点。配置...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
产品优势
阿里云媒体处理功能丰富多样，不仅涵盖基础的转码功能，还包括视频剪辑、水印添加、截图制作以及内容审核等一系列增值服务，充分满足多元化的业务需求。同时，高度可定制化的特点让企业可以根据自身的业务场景灵活配置转码模板，打造个性化...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
企业版和标准版功能对比
支持 支持 事务系统优化 PolarDB MySQL版 推出了全新的事务系统PolarTrans，它利用提交时间戳技术CTS对高并发在线交易场景进行了优化，可以有效提升数据库的读写性能；同时PolarTrans利用现有的网络基础设施资源，与RDMA技术深度结合，推出...
表流读写
mnt/delta/events/_checkpoints/etl-from-json").table("events")完整模式 您还可以使用结构化流式处理技术将整个批替换为每个批。一个示例用例是使用聚合来计算摘要：Scala%spark spark.readStream.format("delta").load("/mnt/delta/...
概述
全局一致性（高性能模式）高规格集群性能 通过MTT技术对全局一致性（高性能模式）进行优化后，即便在高并发写入压力下，全局一致性（高性能模式）依然可以在很大程度上提升集群的性能。如下图所示，在包含1个RW节点和1个RO节点的集群中，...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
PolarDB-X适用场景
数据集中存储 场景描述 该场景也称“数据大集中”或“数据归集”，属于企业数据架构中的ODS层，具有承担各垂直业务数据源的数据汇总功能。高并发写入、大容量存储、多维度查询、低成本流出是该场景的主要诉求。产品能力 PolarDB-X 可根据...
pg_database
和大部分系统目录不同，pg_database 是在集簇的所有数据库之间共享的：在一个集簇中只有一份 pg_database 拷贝，而不是每个数据库一份。列名称 列类型 描述 oid oid 行标识符。datname name 数据库名称。datdba oid 数据库的拥有者，通常是...
2021年
2021-12-30 全部地域 MaxCompute湖仓一体概述 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
独享数据服务资源组
独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，助力用户实现高效敏捷的数据返回和安全稳定的数据共享。本文为您介绍独享数据服务资源组的性能指标、计费以及使用方式等相关内容。适用场景 需要支持...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
测试指标
简称 Virtual User：VU 标准 一般情况下，性能测试是将系统处理能力容量测出来，而不是测试并发用户数，除了服务器长连接可能影响并发用户数外，系统处理能力不受并发用户数影响，可以用最小的用户数将系统处理能力容量测试出来，也可以用...
列存索引如何实现高效数据过滤
这些优点使Bloom filter成为处理大规模数据集中的元素存在性问题的一种非常有用的数据结构。Bloom filter与minmax也可以结合使用，IMCI会根据两者的综合结果来判断是否要跳过某个数据块。Nullable列优化 由于Null值处理逻辑比较特殊，数据...
PolarDB PostgreSQL版：ePQ架构详解
因此，在分布式ePQ执行引擎中，我们借鉴了火山模型论文中的思想，对所有扫描算子进行并发处理，引入了PxScan算子来屏蔽共享存储。PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个...
PolarDB MySQL版CPU使用率高
CPU作为数据库最核心的资源，是日常运维中需要重点关注的对象。CPU用满，会导致应用RT增高、业务卡顿，更严重会...但是由于排查问题时，涉及更多内核层面的信息，用户自行处理可能有一定的难度，建议 提交工单 联系阿里云技术支持进行排查。
PolarDB PostgreSQL版：ePQ架构详解
因此，在分布式ePQ执行引擎中，我们借鉴了火山模型论文中的思想，对所有扫描算子进行并发处理，引入了PxScan算子来屏蔽共享存储。PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个...
什么是PolarDB MySQL企业版
无锁备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对上TB数据量大小的数据库的备份，且整个备份过程不需要加锁，效率更高，影响更小。PolarDB MySQL版 目前支持 集群版 和 多主集群（库表）2种不同的产品系列。具体请参见 企业...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
任务运行诊断
例如，4C8G独享数据集成资源组最大支持8个并发数同时执行，若当前存在3个并发数为3的任务，其中2个任务同时执行，则机器剩余的并发数为2，此时另一个并发数为3的任务将由于资源组剩余资源不足，导致当前任务进入等待状态，日志显示 wait。...
互联网金融：上海富友支付服务股份有限公司
业务挑战 随着业务规模和用户量的快速增长，高并发交易和海量数据给富友的数据库带来三大挑战：数据量大导致性能瓶颈：仅扫码业务每日有千万级交易量，加上互联网、跨境和SaaS富掌柜等业务，海量数据下传统商业数据库的性能明显不足。...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
Flag参数列表
部分UDF在内存计算、排序的数据量比较大时，会报内存溢出错误，这时候可以调大该参数，但该方法只能暂时缓解，您需要从业务上去优化UDF代码。取值范围：256 MiB~12288 MiB。默认值为1024 MiB。UDF SQL Session odps.sql.udf.timeout 设置...
高维向量相似度搜索（pgvector）
在自然语言处理中，词嵌入（word embedding）是一种常见的技术，它将单词映射到实数向量，以便计算机可以更好地理解和处理文本。通过词嵌入，单词之间的语义和语法关系可以在向量空间中得到反映。说明 您可以前往如下常见的嵌入工具/库官方...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
产品优势
阿里云视频直播是基于阿里云强大的技术沉淀开发的音视频直播平台，拥有全链路覆盖、全球布局、安全稳定、流畅体验、超低延时、高清体验等优势。全链路覆盖 多渠道、全链路服务支持方案，多年技术能力的沉淀与输出。提供从推流、视频处理、...
消息堆积和延迟问题
说明 顺序消息的消费并发度还受Topic中分区个数的限制，具体分区数，请联系阿里云技术支持根据业务情况进行评估。单节点的并发度需要谨慎设置，不能盲目直接调大线程数，设置过大的线程数反而会带来大量的线程切换的开销。理想环境下单节点...
技术架构
PolarDB PostgreSQL版（兼容Oracle）采用Shared Everything架构，利用分布式共享...同时这层数据库代理在应用程序和数据库中间，也起到了基于会话或请求的缓冲、合并、复用和负载均衡等流量上的管控，可以更好地处理诸如高并发等特殊场景。
深度解析Lindorm搜索索引（SearchIndex）特性
核心特性 Online DDL Operations 作为一个分布式数据库，Lindorm可以横向扩展支持高达亿次每秒的处理能力，如果索引DDL需要阻塞DML，对高并发的业务应用影响将会被放大。借助Lindorm的分布式元数据管理，SearchIndex通过合理的扩展，可以...
- 产品推荐
- 这些文档可能帮助您