Map模型
基于MapJobProcessor，调用Map方法，即可实现大数据分布式跑批的能力。注意事项 SchedulerX不保证子任务一定执行一次，在特殊条件下会failover，可能会导致子任务重复执行，需要业务方自己实现幂等。SchedulerX使用的是Hessian序列化框架，...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
概述
金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案，而其中的应用 PaaS 平台，融合金融科技多年在大规模分布式系统和容器平台的实践经验，使用户在专注于业务价值的同时，提升研发效率和...
Cassandra数据建模
依赖集群的keyspace的副本策略以及集群的snitch策略，Cassandra将各个节点负责的primary key range复制到集群中其他节点，以提高分布式系统中数据可靠性以及服务可用性。每次读写在Cassandra中都会定义 ConsistencyLevel（也就是我们说的...
四川农信
PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：建立一个面向分布式架构的开发平台和运行平台，结合分布式数据库、...
应用场景
MSE提供了免运维，高可用的引擎服务，提供全托管的注册中心和配置中心、网关以及无侵入的开源服务治理能力，可以使用在大数据，微服务领域，帮助业务快速集成和降低改造成本。服务注册与分布式系统协调 MSE注册配置中心能够实现服务注册与...
什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
典型客户案例
PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合分布式数据库、...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
行业趋势与背景
在这种需求下，大规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化...
什么是全局事务服务GTS
全局事务服务GTS（Global Transaction Service）用于实现分布式...在单机数据库下很容易维持事务的ACID（Atomicity、Consistency、Isolation和Durability）特性，但在分布式系统中并不容易，GTS可以保证分布式系统中分布式事务的ACID特性。
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
产品优势
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
概述
数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案，支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
云数据源Alibaba PolarDB分布式版
本文为您介绍如何添加Alibaba PolarDB分布式版（原DRDS、PolarDB-X）数据源。前提条件 已创建Alibaba PolarDB分布式版数据库。已获取Alibaba PolarDB分布式版数据库的用户名和密码。使用限制 支持1.0、2.0版本。操作步骤 添加白名单。连接...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
产品优势
遵循 OpenTracing 埋点 提供平台无关、厂商无关的 API，使得开发人员能够方便的添加（或更换）追踪系统的实现，跟踪分布式系统内各组件的调用情况等。多维度应用度量 提供多种度量维度实时监测应用程序的性能，能帮助更好的了解当前应用...
公交出行：启迪公交
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
应用场景
蚂蚁集团自主研发的金融级分布式架构平台，专注为金融用户提供全栈式的基础架构能力，保证风险安全的同时帮助业务需求敏捷迭代，同时满足异地容灾、低成本快速扩容的需求，解决传统集中式架构转型的困难，打造大规模高可用分布式系统架构，...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
购买数据访问代理实例
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前，您需要购买一个数据访问代理实例。操作...
全场景解决方案
蚂蚁集团自主研发的金融级分布式架构平台，专注为金融用户提供全栈式的基础架构能力，保证风险安全的同时，帮助业务需求敏捷迭代，同时满足异地容灾、低成本快速扩容的需求，解决传统集中式架构转型的困难，打造大规模高可用分布式系统架构...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
PolarDB分布式版逻辑备份
数据库备份DBS可满足 PolarDB分布式版 实例异地备份、长期归档、分布式备份等需求。前提条件 数据库为PolarDB-X 1.0，存储类型为RDS MySQL，MySQL版本为MySQL 5.x。功能概述 功能 说明 备份SQL文件 采用逻辑备份技术，备份成JSON文件。备份...
PolarDB-X适用场景
目前，PolarDB-X 具备从单机到分布式的平滑演进能力，支持动态通过DDL将一张大表动态调整为分布式的分区表，结合分布式事务、以及兼容MySQL binlog的数据回流，可完成单机到分布式的快速改造。数据库国产化替换 场景描述 信息系统国产化是...
快速入门
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
计费项
重要 若源数据库为分布式实例（PolarDB分布式版、DMS LogicDB、MongoDB），则DTS同步和数据校验功能的价格还与分布式数据库节点数量有关。实例 计费项 计费规则 数据迁移实例 链路配置费用 数据迁移实例仅支持按量付费，计费规则如下：仅在...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
- 产品推荐
- 这些文档可能帮助您