Transaction Table2.0概述
优势 新架构会尽量覆盖开源数据湖（HUDI/Iceberg）的一些通用功能，方便相关业务链路之间的迁移，此外，作为完全自研设计的新架构，在功能，性能，稳定性，集成等方面也具备很多独特亮点：统一的存储、元数据、计算引擎一体化设计，做了...
架构优化
应用架构层面的架构优化需要根据实际情况考虑多方面内容，比如以下方面：应用架构的部署方式：使用单机、分布式和微服务架构会有较大区别；单机架构取决于对单机本身的软硬件性能和应用对单机资源的使用率；分布式架构除了取决于单机性能...
序言
随后社区中涌现了许多非常优秀的项目，为了统一标准，Linux 基金会旗下的 CNCF（云原生计算基金会）应运而生。2018 年 6 月，CNCF 正式对外公布了云原生定义的 1.0 版本：“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境...
全场景解决方案
平滑迁移异构治理 方案架构 双模微服务平台通过 SOFA 微服务和 Service Mesh 微服务，提供了既支持 SOFA 框架又支持 Service Mesh 架构的微服务管理和治理能力,解决用户在技术转型期间与未改造的遗留系统相互之间的打通和过渡问题，帮助...
Hadoop DistCp介绍
开源DistCp会把要复制的Path列表存储在客户端内存，如果文件量超过一定阈值或者文件名较长，例如文件量达到一百万条，会出现Out of Memory异常，此时可通过以下命令在客户端设置更多内存。export HADOOP_CLIENT_OPTS="-Xmx1024m"hadoop ...
挑战和注意事项
介绍在高性能架构设计过程中会遇到的一些挑战以及注意事项。业务优先 架构的性能规划始终是为业务服务的，需要依赖真实的业务需求展开，严谨的业务评估和预测是十分必要的，不能一味追求高性能。性能的权衡 设计业务系统时，平衡性能优化与...
什么是图计算服务
源于开源，胜于开源 支持开源Gremlin语法，重点算子性能优化，让计算效率更高。海量数据，灵活扩展 分布式集群架构可弹性运维，分钟级快速扩展服务和数据存储能力。大数据生态，深度对接 对接完整的阿里云大数据及AI产品生态，提供基于...
合作伙伴及开源生态
技术合作伙伴 开源技术社区 开源项目布局 2018 年 4 月，蚂蚁集团宣布开源 SOFAStack 金融级分布式架构。得益于社区的信任和支持，目前已经累积超过 2.5 万的 Star 数和超过 100 家企业用户，并持续朝打造金融级云原生多个技术领域的标杆...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
MSHA产品和开源产品对比
本文介绍MSHA商业产品与开源产品之间在架构、通用能力、辅助能力等方面的异同。架构支持 架构 商业产品 开源产品 异地双活 ✅ ✅ 同城多活 ✅ ❌ 异地应用双活 ✅ ❌ 异地双活 组件 功能大类 具体功能说明 商业产品 开源产品 网关 路由 ...
典型客户案例
四川农信 业务挑战 现有 IT 系统在过去的一段时间有效地支撑了各业务系统的运营，但目前的 IT 技术环境在面对未来业务大发展的需求时仍会面临极大的挑战，主要有以下几点：传统架构面临挑战 新一代的银行系统必须直面来自不同阶层、不同...
迁移场景
自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后必须进行重新编译。更多信息，请参见 Make/CMake构建文件 和 C/C++语言迁移。解释型语言：以...
产品架构
本文介绍 云原生多模数据库 Lindorm 的产品架构，包括业务背景和总体结构。业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化...
什么是架构感知
AHAS的架构感知模块能够自动识别并分析在阿里云上部署的应用程序和服务的架构，通过收集和处理数据，构建系统架构图。您可以更加直观的了解架构的组成以及架构组件间的依赖关系。架构和架构组件 为了更好地理解AHAS提供的架构感知模块，您...
金融级云原生全栈解决方案
SOFAStack 在蚂蚁内部经历了五代架构的演进，现已被广泛应用在包括支付、信贷、基金、保险、银行等全金融场景，支撑着蚂蚁平稳度过历次双十一、双十二、新春红包等大考，创造了54.4万笔每秒的交易纪录，并还在不断刷新这个纪录。...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
持续架构优化
通过分析后发现这些业务，随着业务的发展，新的业务场景也会出现，云厂商也会推出新的产品类型和产品规格，通过持续架构优化，适配业务需要，并优化云资源使用，降低用云成本。对应用架构进行云原生化改造 云原生架构是基于云原生技术的一...
什么是 SOFATracer
SOFATracer 提供两种类似的日志打印类型即摘要日志和统计日志：摘要日志：每一次调用均会落地磁盘的日志。统计日志：每隔一定时间间隔进行统计输出的日志。支持日志自清除和滚动能力 异步落地磁盘的 SOFATracer 日志支持自清除和滚动能力，...
概述
SOFABoot 在 Spring Boot 的基础上提供了诸如 Readiness Check、类隔离、日志空间隔离等能力，以解决大规模团队开发云原生微服务系统中会遇到的问题。同时 SOFABoot 也提供了 SOFA 中间件的轻量级集成方案，仅需少量配置即可在 SOFABoot 中...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
附录：SOFAStack 产品目录
SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术保证风险安全的同时，...
Delta Lake概述
但该套方案存在如下问题：数据导入可能会失败，失败后清理脏数据和恢复作业困难。方案中没有ETL（Extract Transform Load）过程，缺少必要的数据质量监管。方案中没有事务将读和写隔离，致使流式和批式读写无法相互隔离。Delta数据湖方案...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
资源伸缩和系统扩展
在云上架构设计过程中，需要考虑架构的可伸缩性和可扩展性，以实现高性能的云上架构。不同的应用部署方式需要使用不同的伸缩方案，常见的伸缩方案主要有以下几种：云服务自动扩缩 在阿里云上进行自动伸缩依赖的云服务是 弹性伸缩 ESS（Auto...
Celeborn
阿里云Spark已完成Celeborn适配，开源Spark 3.5版本已完成Celeborn适配。spark.celeborn.shuffle.writer Celeborn的wirter支持的模式：hash（默认值）：在Partition并发度过大的情况下会使用较多的内存。sort：使用固定大小内存，在...
选型配置说明
StarRocks是开源MPP（Massively Parallel Processing）架构的OLAP分析引擎，支持亚秒级的数据查询和多表JOIN功能。ClickHouse、StarRocks、Zookeeper DataServing 数据服务场景，提供更灵活、可靠、高效的数据服务集群。提供HBase服务，...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
性能监控最佳实践
为了解决此类问题，首先需要云服务商更好的支持开源链路标准，添加核心方法埋点，并支持开源协议栈透传与数据回流（如 应用实时监控服务 的前端监控能力支持 Jaeger 协议透传与方法栈追踪）。其次，由于不同系统的业务归属等问题，无法完成...
整体架构
羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎可以满足更复杂的离线处理场景和机器学习场景。湖仓版中Spark计算层和存储层互相打通，您可以...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
删除工作空间
前提条件 删除工作空间前，需要先清理当前工作空间的所有资源，包括 ECS、VPC、VSwitch、Security Group 资源，当所有资源都被回收之后，才可以删除工作空间，否则会报错。操作步骤 清理 ECS 资源。在 集群管理>节点列表 页面选择所有节点...
应用场景
对于传统企业的服务化转型来说，使用分布式框架不是银弹，在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后，分布式架构也为研发和运维增加了更大的复杂度和管理成本，基于分布式框架来进行架构改造的应用和业务通常会面临...
什么是 SOFAStack
SOFAStack™（Scalable Open Financial Architecture Stack）包含构建金融级云原生架构所需的各个组件，也是在金融场景里锤炼出来的最佳实践。提供项目管理、微服务应用开发、部署发布、监控运维、容灾高可用等全栈式解决方案，并兼容 ...
SOFAStack 总体经济影响报告
量化收益 受访企业获得了以下量化收益，所显示的收益金额是根据客户使用情况估算的风险调整后现值（PV）：开发人员学习成本降低92%在使用分布式微服务架构前，受访客户选用了开源的发展路径，为了在微服务组件上进行开发，开发人员都需要...
E-MapReduce支持倚天云服务器
大数据场景下倚天架构与X86架构对比 在相同规格下X86架构的ECS实例和基于倚天架构的ECS实例上进行了基准测试，可以看到在大数据业务场景下倚天架构实例比基于x86架构实例算力性价比更高。降低硬件成本 相比于X86架构ECS实例成本，倚天架构...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
单元化配置（专有云）
配置数据节点 在数据访问代理配置数据库前，需要添加物理数据库节点，在单元化部署架构下，数据库（OceanBase）会提供三个访问地址。其中两个为只能访问当前机房数据库节点的地址，即 local url。另外一个是可以跨机房访问所有数据库节点的...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
- 产品推荐
- 这些文档可能帮助您