自动同步PolarDB-X元数据
PolarDB-X是 高性能云原生分布式数据库，可支撑千万级并发规模及百PB级海量存储。PolarDB-X 2.0实例 开通列存引擎，绑定 湖仓版（3.0）集群后，湖仓版（3.0）集群 会自动 创建元数据发现任务，PolarDB-X 2.0实例列存表的元数据信息会自动...
行业趋势与背景
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
应用场景
如果交易服务使用数据访问代理来分库分表，虽然数据访问代理本身不支持分布式事务，但是分布式事务可以轻松和数据访问代理集成，使得数据访问代理具备分布式事务的处理能力，解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...
索引优化
但是在类似与 AnalyticDB PostgreSQL版 这样的分布式数据库中，应该谨慎的选择索引的使用。在大部分场景下，AnalyticDB PostgreSQL版 更适合快速的顺序扫描，或者结合稀疏索引来进行减少数据的I/O操作。AnalyticDB PostgreSQL版 会将数据...
基于TairString实现高性能分布式锁
本文先介绍并分析常见的分布式锁实现方式，之后结合阿里巴巴集团在使用 云原生内存数据库Tair 和分布式锁方面的业务经验，介绍使用 Tair 实现高性能分布式锁的实践方案。分布式锁及其应用场景 应用开发时，如果需要在同进程内的不同线程...
事务执行状态说明
已回滚：事务结束，事务执行的数据变更已回滚 异常 提交异常：一阶段结束，二阶段处理提交操作时出现异常 回滚异常：一阶段结束，二阶段处理回滚操作时出现异常 回查异常：一阶段结束，二阶段处理回查业务接口时出现异常
常见问题
如果您使用的是数据访问代理中的分布式事务，因为数据访问代理和分布式事务已经深度集成，部署时是不需要任何依赖的，仅需一行事务开启 SQL 语句就能开启事务。如果您是基于 SDK 方式使用分布式事务，就需要在引入的分布式事务 SDK 的 pom....
分布式链路概述
全链追踪：能够深入应用、服务、数据库、消息，捕获性能异常，识别出现故障的组件及服务。易于使用：可以与 SOFAStack 上的应用进行无缝对接，用户的业务代码无需任何修改即可轻松接入，实现性能可视化与问题分析。扩展性强：遵循业界 ...
存储资源
存储资源是指用于存储和管理数据的硬件和软件资源，包括节点的本地磁盘、分布式文件存储、数据库和缓存等。存储资源的主要作用是存储和管理系统的数据。存储资源需要提供数据的持久性、可靠性和高效性，以满足系统的数据存储和访问需求。...
参与者接入模式
使用分布式事务涉及两个核心角色：发起方：指的是开启分布式事务的应用系统。参与者：指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式：TCC 模式、FMT 模式 与 Saga...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
概述
分布式系统将计算任务和数据分布在多个节点上以实现更高的性能、可靠性和可扩展性，当一个节点发生故障或错误时，其他节点可以继续工作，相比于单机系统，架构本身就有较高的节点容错性。但随着服务拆分，更多组件的引入，分布式系统的复杂...
离线同步并发和限流之间的关系
如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法最大化享受分布式多机的好处。小数据量的同步任务，不建议配置分布式，建议配置单机小并发任务。并发数大于等于8个才能开启分布式...
离群点剔除
平台上其他数据处理组件。按照平台组件开发的自定义组件。离群变量 配置需要做离群点剔除处理的变量。是 整数或浮点数 说明 若存在非数值数据，则会置为NaN。OUT端口-输出参数 参数名 参数描述 输出数据类型 输出 输出包含时间变量和离群...
什么是全局事务服务GTS
可以与RDS、MySQL、PostgreSQL等数据源，Spring Cloud、Dubbo、HSF及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...
创建同步任务
分布式处理能力 用于控制是否开启分布式模式来执行当前任务。开启：分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。未开启：配置的并发数据仅仅是单机上的...
附录：SOFAStack 产品目录
数据访问代理 数据访问代理（Open Database Proxy，简称 ODP）能够解决海量请求下的数据访问瓶颈和数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决...
什么是企业级分布式应用服务EDAS
权限管理概述 分布式任务调度 分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。您可以为EDAS中部署的应用接入SchedulerX，以完成应用的分布式任务调度...
错误码
分布式事务回滚出现异常 检查分布式事务 SDK 和事务云服务之间的网络连接是否正常。DTX-026 dtx transaction start failed,invoke dtx-server failed,request:[%s],response:[%s]分布式事务开启创建主事务记录，事务云服务返回创建失败。...
概述
分布式数据库具备较高的性能，能够处理复杂的业务场景，满足客户对高吞吐、大存储、低延时、易扩展和超高可用数据库服务的需求。但是，分布式数据库的价格较高，技术门槛和运维成本都较高，对大部分中小企业来说其适用范围比较窄。当然中小...
查询性能优化指导
消除分布式（Motion）算子提升性能 在进行连接或聚集操作时，AnalyticDB PostgreSQL 会根据数据分布情况添加分布式算子，对数据进行重分布（Redistribute Motion）或广播（Broadcast Motion）。分布式算子会占用大量的网络资源。如果能够...
TCC 模式接入
数据可见性控制：当一笔分布式事务正在处理中，此时如果有查询，则需要兼容未处理完的中间数据的可见性。一般通过文案展示告诉用户中间数据的存在，例如告诉用户当前冻结的金额有多少。隔离性控制：对于状态类数据，需要提供隔离性控制来...
中间件产品总览
提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...
分布式事务问题
数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求：数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...
如何正确处理DDL异常
概述 作为一款分布式数据库，PolarDB-X 中的一条DDL语句背后隐藏着复杂的数据处理流程。例如创建一张拆分表时，实际上会在多个数据节点上创建很多张物理MySQL表。PolarDB-X 的DDL处理框架拥有一定的容错能力，会保证DDL的正确性和一致性。...
功能特性
使用可视化大屏查看分析报告 预置算法组件库 支持数据源、数据预处理、特征工程、统计分析、机器学习、时间序列、推荐算法、异常检测、自然语言处理、网络分析、金融板块、视觉算法、语音算法、自定义算法等上百种PAI内置算法组件，开箱即...
事务与Read/Write Concern
最佳实践 优先考虑使用单机事务而不是分布式事务 在大多数场景下，分布式事务的性能要差于单机事务或不使用事务的写入，因为涉及到事务的操作需要有处理更多复杂场景的逻辑。在MongoDB中，非范式化的数据模型（指嵌入式文档和数组结构）...
异常检测
及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能，基于...相关文档 您可以利用DAS的自治功能，在数据库出现异常时进行自动处理。自动SQL限流 自动SQL优化 自动性能扩展 自动空间扩展 空间碎片自动回收
V5.2.x系列实例版本说明
V5.2.8-15432885 日期 2018.11.27 类别 说明 新增特性 支持2PC分布式事务策略。兼容分布式事务中的INSERT、REPLACE…SELECT语句。优化性能 减少清理 PolarDB-X 1.0 事务日志的周期和数据保留时间，降低RDS存储空间占用。修复问题 修复使用...
基本概念
发起方 Initiator，分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。分组标识 用于在网关上做全局的唯一标识，...
企业版和标准版功能对比
自治服务开启后，DAS会在数据库出现异常时，自动进行根因分析，给出优化或止损建议，并自动进行优化或止损操作（需经您授权后才会开启优化操作）。支持 支持 会话管理 PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过其中的会话...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
灾备方案
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
通过脚本模式配置离线同步任务
参数 描述 executeMode（分布式处理能力）用于控制是否开启分布式模式来执行当前任务。distribute：开启分布式处理能力。分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破...
灾备方案介绍
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
概述
分布式链路跟踪具备以下特点：全链追踪：能够深入应用，服务，数据库，消息，捕获性能异常，识别出现故障的组件及服务。易于使用：可以与 SOFAStack 上的应用进行无缝对接，用户的业务代码无需任何修改即可轻松接入，实现性能可视化与问题...
常见问题
如何处理分布式DDL报错：longer than distributed_ddl_task_timeout(=xxx)seconds？如何处理语法报错：set global on cluster default？有什么BI工具推荐？有什么数据查询IDE工具推荐？数据存储 如何查看每张表所占的磁盘空间？如何查看冷...
网络资源
网络资源需要支持安全的数据传输和通信协议，以保护分布式系统的敏感数据和通信内容的机密性和完整性。网络资源还需要提供高带宽、低延迟和稳定的网络连接，以确保节点之间的通信和数据传输的效率和可靠性。网络资源是流量入口和数据交互的...
概述
但是，传统单机数据库的用户使用接分布式数据库时，普遍会遇到一些共性的问题，比如：应用的数据在分布式数据库应该如何分布？哪些表需要进行水平切分？分区方案及分区列如何选择？分区数目如何确定？哪些表会落在哪些数据节点？资源不均衡...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
- 产品推荐
- 这些文档可能帮助您