专业版公测（2022年01月26日）
融合大数据DataWorks任务 在实际业务场景中业务处理往往依赖前置数据准备，目前在分布式任务调度平台上可进行DataWorks任务数据处理与业务数据处理任务依赖编排定时调度。更多信息，请参见 DataWorks任务。如何升级为专业版 操作步骤 ...
专业版公测（2022年01月26日）
融合大数据DataWorks任务 在实际业务场景中业务处理往往依赖前置数据准备，目前在分布式任务调度平台上可进行DataWorks任务数据处理与业务数据处理任务依赖编排定时调度。更多信息，请参见 DataWorks任务。如何升级为专业版 操作步骤 ...
应用场景
基因数据处理 云工作流 可以将多个批量计算分布式作业串联或并行编排，可靠地支持执行时间长、并发量大的大规模计算。如基因数据分析中将基因序列对齐，将所有染色体并行做变异分析，最终将各染色体数据聚合产出结果。云工作流 根据指定的...
中间件产品总览
提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...
分布式事务问题
数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求：数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
概述
金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案，而其中的应用 PaaS 平台，融合金融科技多年在大规模分布式系统和容器平台的实践经验，使用户在专注于业务价值的同时，提升研发效率和...
网商银行
网商银行之所以能够顺利完成分布式的云计算架构建设，主要依托三方面的优势：承袭了蚂蚁集团的两项核心技术——分布式事务框架 XTS 和 OceanBase 数据库。完善的分布式架构辅助支撑平台。高度互联网化的研发运维体系。这三方面共同构筑了...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
通过脚本模式配置离线同步任务
参数 描述 executeMode（分布式处理能力）用于控制是否开启分布式模式来执行当前任务。distribute：开启分布式处理能力。分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
什么是云原生数据库PolarDB分布式版
本文介绍什么是 云原生数据库PolarDB分布式版，也称为 PolarDB分布式版，本手册中简称为 PolarDB-X。产品简介 PolarDB分布式版（PolarDB for Xscale，简称“PolarDB-X”）。PolarDB-X 是阿里云面向高吞吐、大存储、低延时、易扩展和超高...
概述
负责数据分布式路由、计算及动态调度，负责分布式事务2PC协调、全局二级索引维护等，同时提供SQL限流、三权分立等企业级特性。存储节点（Data Node，DN）负责数据的持久化（面向行存数据），基于多数派Paxos协议提供数据高可靠、强一致保障...
使用ossimport迁移数据
对于大规模的数据迁移，请使用分布式模式。此需求需要使用ossimport分布式配置进行数据迁移。说明 您也可以使用在线迁移服务进行数据的迁移，迁移过程更加简单，详情请参见 在线迁移服务。准备工作 开通OSS，并创建华东1（杭州）地域的存储...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
通过DTS导入数据
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL 湖仓版（3.0）或 数仓版（3.0），轻松实现数据的传输，用于实时数据分析。操作方法 您可以选择数据同步或数据迁移...
产品相关问题
解决大规模分布式任务统一调度的问题，助力企业能够更加迅速地满足业务需求。典型的应用场景包括金融行业结息处理、日切处理、余额缓冲记账、政务数据批处理等。任务调度支持哪些任务类型？任务调度支持的基本任务类型包括：简单任务、集群...
应用场景
分布式事务可应用在多个涉及数据库操作的领域，尤其在金融领域可以做到全场景的覆盖与落地验证，包括：支付与转账、账务：对于吞吐量有很高的要求 金融与理财：往往涉及的金额较大，所以对于产品的稳定性要求非常高 保险与监管报送：参与方...
备份与恢复概览
数据库备份DBS 支持备份、恢复多种数据库引擎（备份源）...恢复SQL Server逻辑备份、恢复SQL Server物理备份 恢复PostgreSQL数据库 恢复MariaDB数据库 恢复PolarDB MySQL数据库 恢复MongoDB数据库 恢复Redis数据库 恢复PolarDB分布式版数据库
新建 PolarDB-X 1.0 数据源
背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生一体化架构设计。PolarDB-X 1.0 可以支撑千万级并发规模，以及百 PB 级海量存储。详情请参见 产品概述。...
PolarDB-X适用场景
目前，PolarDB-X 具备从单机到分布式的平滑演进能力，支持动态通过DDL将一张大表动态调整为分布式的分区表，结合分布式事务、以及兼容MySQL binlog的数据回流，可完成单机到分布式的快速改造。数据库国产化替换 场景描述 信息系统国产化是...
PolarDB PostgreSQL版架构介绍
分布式执行引擎：处理大查询的OLAP型负载。在使用相同的硬件资源时性能达到了传统MPP数仓的90%，同时具备了SQL级别的弹性：在计算能力不足时，可随时增加参与OLAP分析查询的CPU，而数据无需重分布。PolarDB PostgreSQL版：存储计算分离架构...
MapReduce模型
通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入大数据平台，且无额外存储及计算成本，即可实现秒级别海量数据...
PolarDB PostgreSQL版架构介绍
分布式执行引擎：处理大查询的OLAP型负载。在使用相同的硬件资源时性能达到了传统MPP数仓的90%，同时具备了SQL级别的弹性：在计算能力不足时，可随时增加参与OLAP分析查询的CPU，而数据无需重分布。PolarDB PostgreSQL版（兼容Oracle）：...
产品优势
任务调度 提供分布式任务调度框架，实现任务的分布式处理、统一的任务调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运维的成本。分布式链路跟踪 面向分布式架构、微服务架构和云原生架构的应用可观察性的...
算子级别诊断结果
表扫描数据量倾斜 问题 AnalyticDB MySQL版 是分布式执行架构，大表的数据一般需要指定分布字段，数据写入时根据分布字段分散到不同的存储节点上。如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本，接入简单，提供报警监控。安全防护 多层次安全防护，包括：支持HTTPS，VPC访问。支持用户隔离、命名空间隔离和应用...
CREATE TABLE
当数据写入分布式表时，会被自动分发到集合中的各个本地表中。当查询分布式表时，集合中的各个本地表都会被分别查询，并且把最终结果汇总后返回。您需要先创建本地表，再创建分布式表。语法：CREATE TABLE[db.]distributed_table_name ON ...
全场景解决方案
金融级分布式架构，快速迭代、弹性扩展 经济性：高可靠、高性能、低成本，灵活扩展 方案优势 金融级云原生架构体系 技术上引入阿里“全家桶”云原生架构技术体系，包括飞天平台、企业级分布式架构平台、OceanBase 数据库、大数据平台、移动...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
应用场景
SOA 和分布式事务 提供跨库、跨服务的分布式事务支持，实现业务链路级别的分布式事务。开发简单，只需要在客户端声明一个注解，用以界定事务边界。业务链路：为服务链调用提供一致性保证。多框架兼容：目前兼容 Spring Cloud、Dubbo 和 HSF...
天弘基金
业务挑战 在大规模分布式应用中，曾经的单体应用按横向和纵向的维度被拆分到集群的各个节点之中，为了解决服务及数据调用的问题，引入了分布式服务框架、分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...
四川农信
PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：建立一个面向分布式架构的开发平台和运行平台，结合分布式数据库、...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
强一致分布式事务
任意时间点的数据恢复（PITR，point-in-time recovery）都可以快速将时间戳转化为分布式的中心授时，在备份恢复中按数据的版本可见性进行处理，同时 PolarDB-X 结合分布式的多节点并行来全面提升备份恢复的效率。具体特性请参见 数据备份与...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。...
创建PolarDB-X 2.0数据订阅任务
本文介绍如何创建 PolarDB分布式版 数据订阅任务。前提条件 已创建 PolarDB分布式版 实例和数据库，具体操作请参见 创建实例 和 创建数据库。说明 PolarDB分布式版 中的数据库须基于RDS MySQL创建，DTS暂不支持基于 PolarDB MySQL版 创建的...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
- 产品推荐
- 这些文档可能帮助您