2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
常见问题
分布式链路跟踪系统会对日志作 7 天缓存，系统无法查询到超出缓存时间的链路数据。日志服务是否开启及日志采集客户端是否正常安装，参见问题 应用正常运行却无法在控制台被展示。如何配置 tracer，以便按照小时分割 trace 日志？需求背景 ...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
什么是全局事务服务GTS
可以与RDS、MySQL、PostgreSQL等数据源，Spring Cloud、Dubbo、HSF及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
存储资源
存储资源是指用于存储和管理数据的硬件和软件资源，包括节点的本地磁盘、分布式文件存储、数据库和缓存等。存储资源的主要作用是存储和管理系统的数据。存储资源需要提供数据的持久性、可靠性和高效性，以满足系统的数据存储和访问需求。...
常见问题
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。日志服务可以做什么？存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、...
常见问题
如何处理distributed_ddl_task_timeout超时问题 分布式DDL查询（带有 on cluster）的执行等待时间，系统默认是180s。您可以在DMS上执行以下命令来设置全局参数，设置后需要重启集群。set global on cluster default distributed_ddl_task_...
产品架构
分布式结构化数据存储架构 在分布式结构化数据存储架构中，Tablestore 直连应用系统实现简单的事务处理和高并发数据读写。数据湖架构 数据湖架构主要用于数据中台、推荐系统、风控系统等场景。在数据湖架构中，表格存储 作为源表、结果表...
事务与Read/Write Concern
最佳实践 优先考虑使用单机事务而不是分布式事务 在大多数场景下，分布式事务的性能要差于单机事务或不使用事务的写入，因为涉及到事务的操作需要有处理更多复杂场景的逻辑。在MongoDB中，非范式化的数据模型（指嵌入式文档和数组结构）...
序言
我们把这套金融级云原生的分布式架构解决方案，称之为 SOFAStack™（Scalable Open Financial Architecture Stack），源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践...
可用性与可靠性
主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也带来了节点故障率增高的问题，通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
什么是云原生数据库PolarDB分布式版
全局Binlog和全局一致性备份，分别解决分布式数据库各节点数据库向下游流转的难题，以及各节点备份时间差造成的恢复一致性问题。集中式和分布式一体化 PolarDB-X 全面构建集中式和分布式一体化的架构能力（简称“集分一体”），兼具分布式...
PolarDB PostgreSQL版：ePQ架构详解
同样使用256 GB内存的16个节点,将 PolarDB PostgreSQL版 的分布式ePQ执行引擎与传统数据库的mpp执行引擎进行对比。在1 TB的TPC-H数据上，当保持与传统mpp数据库相同单机并行度的情况下（多机单进程），PolarDB PostgreSQL版 的性能是传统...
客户案例
OceanBase 作为一个可水平扩展的分布式关系数据库系统，在集群中，每个节点的角色关系都是对等的，每个节点都可以提供读写能力，大大提高了系统整体的吞吐能力，这也满足了我们需要迅速导入数据的诉求（TPS 峰值需要在 10 万以上）。...
PolarDB PostgreSQL版：ePQ架构详解
同样使用256 GB内存的16个节点,将 PolarDB PostgreSQL版（兼容Oracle）的分布式ePQ执行引擎与传统数据库的mpp执行引擎进行对比。在1 TB的TPC-H数据上，当保持与传统mpp数据库相同单机并行度的情况下（多机单进程），PolarDB PostgreSQL版...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
灾备方案
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
灾备方案介绍
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
组件中心
数据库访问代理 解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。微服务平台 提供实现经典 SDK 模式和 ServiceMesh 两种微服务模式所需的各种组件，致力于帮助企业快速构建...
什么是EMR Serverless StarRocks
向量化引擎最大化了CPU的处理能力，通过列式数据组织和处理方式极大地提升效率。数据的存储和内存中的组织、SQL算子的计算都基于列式实现，使得CPU缓存使用更有效，减少了虚函数调用和分支判断，从而实现更顺畅的CPU指令流水线操作。利用...
整体架构
AnalyticDB MySQL版 融合了分布式、弹性计算与云计算的优势，对规模性、易用性、可靠性和安全性等方面进行了大规模的改进，充分满足不同场景实时数据仓库的需求。支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等，...
应用场景
查询加速：采用了就近计算策略，例如表达式下推和聚合下推，以及分布式读取/数据源针对性优化策略。支持向量化解释ORC、Parquet格式，字典过滤、延迟物化等技术。测试结果：进行了TPC-H和Hive查询等测试，与Presto（OR）相比，在同等条件下...
PolarDB HTAP实时数据分析技术解密
该方法在诸多Research及Industry领域的工作中都被借鉴并使用，并日益成为分布式数据领域一体化HTAP的事实标准方案。但是应用这个方案的前提是用户需要迁移到对应的NewSQL数据库系统，而这会出现各种兼容性适配问题。一体化的行列混合存储...
人保健康
借助蚂蚁集团的金融级分布式架构 SOFAStack、金融级分布式数据库 OceanBase、金融级 PaaS 平台等能力，人保健康构建起对标行业水平的新一代互联网保险云核心业务系统。客户价值 人保健康新一代互联网保险云核心业务系统支持业务高并发需求...
术语表
链路数据（Trace）链路数据代表一个事务或者流程在（分布式）系统中的执行过程。更多信息，请参见 链路数据（Trace）。分区（Shard）分区用于控制Logstore的读写能力，数据必定保存在某一个Shard中。每个Shard均有范围，为MD5左闭右开区间...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
应用场景
本节主要介绍 OceanBase 数据库的主要应用场景。交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务，最初...由于 OceanBase 数据库的原生分布式数据库特点，可以完美地解决传统数据库的单点性能瓶颈问题，而且还可以节省扩容带来的成本。
南京银行
新平台建立在金融分布式架构 SOFAStack 和分布式数据库 OceanBase 之上，从系统建设、研发模式、运维管控等方面全面实现分布式架构转型升级。至今，“鑫云+”平台已服务多家银行的上百万用户，平均每个客户放款时间只需 1 秒，日处理订单量...
产品概述
承载大量用户核心在线业务，横跨互联网、金融支付、教育、通信、公共事业等多行业，是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是...
Quick BI
Quick BI是一款专为云上用户和企业量身打造的新一代自助式智能BI服务平台，其简单易用的可视化操作和灵活高效的多维分析能力，让精细化数据洞察为商业决策保驾护航。您可以在Quick BI中添加 AnalyticDB MySQL版 数据源并通过Quick BI构建BI...
功能概览
应用下钻和性能分析 支持基于应用>上下游应用>接口等逐层下钻分析，并展现其黄金性能指标（比如吞吐量、平均响应时、错误率、满意度等），建立由底层到上层间的数据关联信息，从而深度分析分布式场景下的影响应用性能的问题根因。...
- 产品推荐
- 这些文档可能帮助您