流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
离线同步并发和限流之间的关系
分布式处理能力 阅读此部分，您可以解决和理解如下问题：问题一：什么场景下需要配置分布式模式运行同步作业？问题二：为什么使用分布式模式运行同步作业，任务速率还是跑的慢？不开启分布式时，配置的并发数仅仅是单机上的进程并发，无法...
基本概念
发起方 Initiator，分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。分组标识 用于在网关上做全局的唯一标识，...
常见问题
如何处理distributed_ddl_task_timeout超时问题 分布式DDL查询（带有 on cluster）的执行等待时间，系统默认是180s。您可以在DMS上执行以下命令来设置全局参数，设置后需要重启集群。set global on cluster default distributed_ddl_task_...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
序言
在蚂蚁集团内部架构变迁和对外金融科技开放的过程中，我们一直在持续探索，并在不断巩固总结出一条金融级云原生的架构落地路径，顺应广大金融机构分布式改造和IT架构稳妥创新升级的需求。希望通过本文作为一个开端，将蚂蚁集团的云原生实践...
客户案例
OceanBase 兼容 MySQL5.6 版本大部分功能，完全覆盖报表业务的需求，报表业务可以像使用 MySQL 那样去使用 OceanBase，不需要业务做过多的逻辑改造，同时作为分布式关系数据库，还能够提供复杂的跨多结点的分布式 JOIN 能力，以及并行的...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
Db2 for LUW迁移至PolarDB-X 2.0
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库迁移至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 迁移方案概览。说明 PolarDB分布式版 需兼容...
RDS MySQL同步至PolarDB-X 2.0
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL同步至 PolarDB分布式版。支持的源数据库 MySQL同步至 PolarDB分布式版 实例，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据...
PolarDB-X 1.0迁移至PolarDB-X 2.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB分布式版 1.0迁移至 PolarDB分布式版 2.0实例。前提条件 已创建源 PolarDB分布式版 1.0和目标实例 PolarDB分布式版 2.0，且兼容MySQL 5.7版本。更多信息，请参见...
Db2 for LUW同步至PolarDB-X 2.0
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库同步至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 同步方案概览。说明 PolarDB分布式版 需兼容...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
行业趋势与背景
该时代的产品专注解决单机解决不好的分布式扩展性问题，满足分布式数据一致性要求，并支持从单机到分布式的平滑演进，利用云原生技术的优势提供低成本和弹性能力，在交付上具备线上公有云、线下专有云、轻量化等全形态输出。
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的高性能云原生分布式数据库，为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。...
PolarDB-X 2.0间的迁移
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
如何支持超大事务
在分布式数据库中，超大事务一般满足以下条件中的一个或多个：事务修改的数据涉及多个分片；事务修改的数据量比较大；事务执行的SQL语句比较多。下面通过以下场景的测试，以这三个维度为切入点，介绍 PolarDB-X 对超大事务的支持情况。测试...
强一致分布式事务
Binlog日志服务 事务型的分布式数据库除了面向在线业务的高并发写入以外，一般还需要将在线数据同步给下游的灾备数据、汇聚业务或数据仓库系统等，下游业务对于事务日志的一致性也有比较强的诉求，例如事务不能乱序、事务原子性、DDL支持...
PolarDB-X 2.0迁移至云原生数据仓库 AnalyticDB MySQL...
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 同步...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 已创建存储空间大于源 PolarDB-X 2.0 实例已占用存储空间的目标 AnalyticDB...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 迁移...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
公交出行：启迪公交
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
常见问题
分布式事务 TCC@TwoPhaseBusinessAction 放到接口的实现类上是否有效？没有效果，不能放到实现类上，必须放在接口上。public interface UserFacade{@TwoPhaseBusinessAction(name="sendMessage",commitMethod="commit",rollbackMethod=...
PolarDB-X 1.0迁移至AnalyticDB MySQL 3.0
支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 库表结构迁移 全量迁移 增量迁移 PolarDB分布式版 实例 SELECT权限 SELECT权限 REPLICATION SLAVE、REPLICATION CLIENT及待迁移对象...
PolarDB-X 1.0迁移至云原生数据仓库 AnalyticDB ...
由于 PolarDB-X 1.0 的迁移任务为分布式迁移，其下挂的一个RDS MySQL对应一个迁移子任务。子任务运行情况，可在 任务拓扑 进行查询。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。全量数据初始化时将占用源库...
X-Engine简介
这两个问题虽然可以通过扩展数据库节点的分布式方案解决，但是堆机器不是一个高效的手段，我们更想用技术的手段将数据库性价比提升，实现以少量资源换取性能大幅提高的目的。传统数据库架构的性能已经被仔细的研究过，数据库领域的泰斗，...
Echarts 正负条形图
图表样式 Echarts 正负条形图是条形图的一种，支持自定义x轴、多系列数据配置以及正负分维度式的数据展示，可以在较小的可视化应用空间内，智能地展示多维的数据差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 ...
全场景解决方案
金融级高可靠性 深度集成 OceanBase 分布式数据库以及 SOFA 金融级云原生分布式框架，保证应用和数据弹性扩展，同时具备高可用（RTO=0，RPO）和一致性，通过蚂蚁集团自身业务沉淀的“资金核对体系”、“全链路压测”等技术风险防控组件，...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
附录：SOFAStack 产品目录
数据访问代理 数据访问代理（Open Database Proxy，简称 ODP）能够解决海量请求下的数据访问瓶颈和数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决...
DeleteDrdsDB
该接口只是提交了删除数据库的任务，接入方需要依据DescribeDrds接口（查询数据库信息的接口）的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数，取值：DeleteDrdsDB。DbName...
常见问题
运维管理 容器应用服务常见问题 经典应用服务常见问题 中间件 SOFABoot 常见问题 微服务常见问题 微服务故障排查之 DRM 微服务故障排查之限流 微服务故障排查之 RPC 服务网格-故障排查 消息队列常见问题 任务调度常见问题 分布式链路跟踪...
- 产品推荐
- 这些文档可能帮助您