PolarDB PostgreSQL版架构介绍
分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。通过只读实例进行读扩展，每个只读实例独享一...
技术架构
PolarDB PostgreSQL版（兼容Oracle）采用Shared Everything架构，利用分布式共享存储实现存储和计算的分离。计算节点与存储节点分离的架构设计给 PolarDB PostgreSQL版（兼容Oracle）带来了实时的水平扩展能力。由于单个数据库实例的计算...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能、功能优化、重要问题修复及对应的文档。客户端发布记录 1.1.0，2019-12-17 变更类型 功能描述 相关文档 优化 修复问题：调整默认依赖的log4j2至2.15.0版本。无 变更类型 功能描述 相关...
数据导入性能优化
建议打开 分布式处理能力，以取得更好的同步性能。常见问题及解决方法 当客户端导入压力不足时，会导致集群CPU使用率、磁盘IO使用率及写入响应时间处于较低水位。数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，...
数据导入性能优化
建议打开 分布式处理能力，以取得更好的同步性能。常见问题及解决方法 当客户端导入压力不足时，会导致集群CPU使用率、磁盘IO使用率及写入响应时间处于较低水位。数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
创建同步任务
部分数据源支持分布式模式执行任务，详情请参见各插件配置文档：支持的数据源与读写插件。配置任务依赖关系。双击当前 业务流程，设置 insert_data 节点为 write_result 节点的上游节点。任务配置完成后，单击工具栏的 图标，保存任务。...
常见问题
如何处理distributed_ddl_task_timeout超时问题 分布式DDL查询（带有 on cluster）的执行等待时间，系统默认是180s。您可以在DMS上执行以下命令来设置全局参数，设置后需要重启集群。set global on cluster default distributed_ddl_task_...
引擎类型
面向海量半结构化、结构化数据设计的分布式宽表引擎，具备全局二级索引、多维检索、动态列、TTL等能力，支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase的3-7倍，P99时延为开源HBase的1/10，支持冷热分离，压缩率比开源HBase...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
序言
在蚂蚁集团内部架构变迁和对外金融科技开放的过程中，我们一直在持续探索，并在不断巩固总结出一条金融级云原生的架构落地路径，顺应广大金融机构分布式改造和IT架构稳妥创新升级的需求。希望通过本文作为一个开端，将蚂蚁集团的云原生实践...
事务与Read/Write Concern
最佳实践 优先考虑使用单机事务而不是分布式事务 在大多数场景下，分布式事务的性能要差于单机事务或不使用事务的写入，因为涉及到事务的操作需要有处理更多复杂场景的逻辑。在MongoDB中，非范式化的数据模型（指嵌入式文档和数组结构）...
PolarDB PostgreSQL版：ePQ架构详解
同样使用256 GB内存的16个节点,将 PolarDB PostgreSQL版 的分布式ePQ执行引擎与传统数据库的mpp执行引擎进行对比。在1 TB的TPC-H数据上，当保持与传统mpp数据库相同单机并行度的情况下（多机单进程），PolarDB PostgreSQL版 的性能是传统...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
常见问题
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。日志服务可以做什么？存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、...
查看监控任务
进入任务查询 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。在左侧导航栏，单击 任务查询。您可以在 任务查询 页面，根据 引擎/数据源、状态 和 ...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
表设计最佳实践
采集源表的设计 数据采集方式包括流式数据写入、批量数据写入和周期调度条式数据插入。数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，...
产品概述
承载大量用户核心在线业务，横跨互联网、金融支付、教育、通信、公共事业等多行业，是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是...
2021年
广播分片模型：广播任务可以通过JobContext获取 shardingNum 和 sharingId，通过自己机器的index进行数据分布式处理。分片模型增强：JobContext可以从 shardingNum 获取所有分片数量。无 1.2.7，2021-4-28 变更类型 功能描述 相关文档 新增...
整体架构
AnalyticDB MySQL版 融合了分布式、弹性计算与云计算的优势，对规模性、易用性、可靠性和安全性等方面进行了大规模的改进，充分满足不同场景实时数据仓库的需求。支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等，...
应用场景
查询加速：采用了就近计算策略，例如表达式下推和聚合下推，以及分布式读取/数据源针对性优化策略。支持向量化解释ORC、Parquet格式，字典过滤、延迟物化等技术。测试结果：进行了TPC-H和Hive查询等测试，与Presto（OR）相比，在同等条件下...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
什么是全局事务服务GTS
可以与RDS、MySQL、PostgreSQL等数据源，Spring Cloud、Dubbo、HSF及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
组件中心
数据库访问代理 解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。微服务平台 提供实现经典 SDK 模式和 ServiceMesh 两种微服务模式所需的各种组件，致力于帮助企业快速构建...
什么是云原生数据库PolarDB分布式版
Binlog和全局一致性备份，分别解决分布式数据库各节点数据库向下游流转的难题及各节点备份时间差造成的恢复一致性问题。多种部署形态 为满足不同行业客户对部署形态的需求，PolarDB-X 提供公共云、专有云、专有云DBStack、软件版四种部署...
查看集群日报与分析
Hive库冷热数据分布Top信息会展示如下：库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据，推荐放到冷备存储，例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况，有...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
使用前须知
额度监控 展示资产额度超限情况，包括资源配额80%水位预警概览、额度超限分布、LogStore水位占比分布、机器组水位占比分布、Logtail采集配置水位占比分布、Project写入流量水位占比分布、Project基础资源配额详情、Project数据读写资源配额...
南京银行
解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...
核心自治技术案例解析
您可以采集各种数据，比如从链路上采集数百个数据库性能指标和从链路上采集已加载SQL语句的查询日志，海量数据的离在线处理与存储，基于机器学习和数据库领域预测算法，实现各业务数据库实例的持续模型训练，实时模型预测和实时异常检测...
功能概览
应用下钻和性能分析 支持基于应用>上下游应用>接口等逐层下钻分析，并展现其黄金性能指标（比如吞吐量、平均响应时、错误率、满意度等），建立由底层到上层间的数据关联信息，从而深度分析分布式场景下的影响应用性能的问题根因。...
分析请求调用链路
在分布式微服务调用场景下，TraceId会从最前端的应用节点透传至下游链路各个节点，可根据此TraceId在 EDAS控制台 或 ARMS控制台 查询整体链路处理过程。Service：当前应用的请求处理入口，如Spring Cloud服务、Dubbo服务、HSF服务等。API：...
分析请求调用链路
在分布式微服务调用场景下，TraceId会从最前端的应用节点透传至下游链路各个节点，可根据此TraceId在 EDAS控制台 或 ARMS控制台 查询整体链路处理过程。Service：当前应用的请求处理入口，如Spring Cloud服务、Dubbo服务、HSF服务等。API：...
- 产品推荐
- 这些文档可能帮助您