产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
概述
卓越运营第三个关键领域是围绕快速和规律的自动化部署确定企业IT运营的技术平台，推动基础设施即代码、自动化运维、自动化配置等能力中心的技术架构，提高组织高速交付应用程序和服务的能力，与使用传统软件开发和基础设施管理流程相比，...
典型客户案例
实现从应用到数据的分布式多活架构 四川农信建成的下一代 IT 架构，要对标行业内的先进实践，并保证架构的持续迭代和进化能力，目前来看，需要实现“两地三中心异地多活”，多活机制覆盖从接入层、应用层到数据层，在接入层建立相应的流量...
应用容灾
同城应用多活的架构如下图所示：同城应用多活对应用系统的代码侵入较小，基于灵活的流量调度和单元格间的流量路由，能做到故障场景下的业务快速恢复，实现业务恢复与故障恢复的解耦。异地场景的应用多活 同城近距离的容灾建设难以抵御地域...
什么是多端低代码开发平台魔笔
什么是低代码开发平台 低代码开发平台（LCDP）英文全称为Low-Code Development Platform，它是一种软件开发方法，可以更快地以最少的手工编码交付应用程序。通过在图形界面中使用可视化建模来组装和配置应用程序，开发人员可以跳过所有基础...
引擎简介
产品架构 核心能力 云原生弹性 采用存算分离架构，扩容后分区秒级迁移，无需搬迁数据，迅速自动实现流量均衡。存储与计算可独立扩缩容，灵活应对多种场景业务。低成本 基于Lindorm文件引擎（LindormDFS）构建，支持容量型存储、本地HDD盘+...
什么是EMR Serverless Spark
产品架构 产品优势 云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升200%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
微服务引擎的线上流量治理
场景描述 随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中大量企业采用了开源的组件构建微服务，例如Spring Cloud体系或Apache Dubbo等。微服务在快速迭代过程中保障线上流量不受损是一个难题。同时开源产品无运维工具，...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
其他漏洞汇总说明
2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，默认配置下存在未授权漏洞，攻击者可以在未授权的情况下远程执行代码。修复建议如下：配置安全组规则时，授权对象禁止填写 0.0.0.0/0...
概述
SOFABoot 是基于 Spring Boot 的开发框架，用于快速、敏捷地开发 Spring 应用程序，特别适合构建微服务系统。SOFABoot 在 Spring Boot 的基础上...SOFABoot 作为开发框架，在整个微服务架构中起着至关重要的作用，其本身也在不断优化升级。
什么是EMR on ECS
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。产品...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
质量与风险管控（面向质检人员）
开发阶段 Push/MR 管控 基于 Gitflow 的最佳实践，通过合并请求向迭代分支提交代码，方便后续的代码评审和流水线检测。进入 研发迭代>我的应用，选择目标应用进入应用详情页面。可按架构域或应用名称搜索应用。进入 元数据信息 标签页。...
应用场景
通过微服务产品将传统金融业务系统拆分为模块化、标准化、松耦合、可插拔、可扩展的微服务架构，可缩短产品面世周期，快速上架，抢占市场先机，不仅可确保客户服务的效率，也降低了运营成本。传统应用微服务改造 通过微服务产品将传统金融...
什么是 SOFATracer
应用场景 解决在实施大规模微服务架构时的链路跟踪问题，达到透视化网络调用的目的，并可用于故障的快速发现、服务治理等。组件埋点 目前 SOFATracer 支持 Spring MVC、标准 JDBC 接口实现的数据库连接池（DBCP、Druid、c3p0、tomcat、...
应用场景
SOFAStack 微服务具有高性能、高可靠、高可用的特点，适用于以下应用场景。传统应用微服务改造 通过微服务产品将传统金融业务...自主可控：基于支付宝的业务迭代衍生完全自主研发，产品拥有完全自主知识产权，自身开源开放，并兼容开源生态。
功能总览
平台主要功能模块如下：项目协作 支持集中式管理项目架构 按需定制工作项模板和流程 高效进行冲刺规划，快速交付业务价值 研发迭代 创建应用开始研发活动 可按业务需求灵活变更迭代配置 通过流水线来编排持续集成 代码服务 提供基于 Git 的...
概述
分布式链路跟踪系统（Distributed System Tracing，简称 DST）是面向分布式架构、微服务（Spring Cloud、SOFAStack、Service Mesh 等）架构等云原生架构的一种具有应用可观察性（Observability）的金融级解决方案。通过 DST，运维人员、...
持续交付模式
二级架构域：在列表中选择平台自动初始化的架构域 开发负责人：选择当前租户下的一位用户。测试负责人：选择当前租户下的一位用户。应用描述：输入 sofabootdemo。绑定代码仓库：单击 新建代码仓库，然后在右侧弹出的 新建仓库 页面选择群...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
分布式链路概述
背景信息 分布式链路是面向分布式架构、微服务（比如 Spring Cloud、SOFAStack、Service Mesh）架构等云原生架构，提供应用可观测性的一种金融级解决方案。帮助运维人员、开发人员和架构师轻松应对复杂的大规模微服务架构下的应用及服务...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
产品架构
多端低代码开发平台魔笔（以下简称魔笔）以独立应用（独占云资源）作为标准化输出。支持开发者通过使用搭建平台，利用各类物料开发应用，完成对应用的搭建、运维、运营等全生命周期的管理。架构图 魔笔 产品架构图如下所示。平台：应用全...
注册中心路由
软负载的情况下，消费方会从注册中心做服务发现，默认选择蚂蚁的注册中心 DSR。您也可以手动指定服务的注册中心。注册中心 目前支持的注册中心如下：注册中心 alias 注册中心名称 普通注册中心 dsr 蚂蚁注册中心（企业版）sofa 蚂蚁注册...
架构域管理
研发效能平台除了默认架构域外，还支持用户自行创建架构域来满足实际开发中的应用需求。新建架构域 登录研发效能控制台。在左侧导航栏单击 持续交付>研发迭代>我的架构域。在 我的架构域 页面，单击 新建，配置架构域信息。参数说明如下：...
OSS/OSS-HDFS概述
JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式），JindoFSx存储加速系统（原JindoFS Cache模式），JindoSDK大数据万能SDK和全面兼容的生态工具（JindoFuse、JindoDistCp）、插件支持。更多信息，...
什么是架构感知
AHAS的架构感知模块能够自动识别并分析在阿里云上部署的应用程序和服务的架构，通过收集和处理数据，构建系统架构图。您可以更加直观的了解架构的组成以及架构组件间的依赖关系。架构和架构组件 为了更好地理解AHAS提供的架构感知模块，您...
基础架构风险分析
网络架构风险 和在IDC面临的风险一样，在云上需要设计网络架构，以便减小网络暴露面和因为网络架构设计不合理导致的网络攻击。网络架构的风险是指由于网络分段、资产暴露、DMZ区设计不合理导致的网络被任意用户访问、内部接口或地址可以被...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
前言
相比于传统IDC环境，云计算的基础设施和服务在不断快速迭代和演进，对云用户而言，在上云、用云、管云过程中持续维持良好的云上架构变得极具挑战。对云上应用来说，稳定、安全、性能、成本是架构设计中最通用领域的抽象，也是组织层面最...
结束语
企业使用云技术是一个动态的过程，大部分情况下的良好架构都是基于一个时点的“共时性”设计，但企业IT既有自身的历史，也有未来的发展，云产品和最佳实践也在不断迭代，因此架构的演进需要有更多的“历时性”观点，始终关注架构的演进和...
Node 跨语言调用
SOFARPC 的开源社区提供了 Node.js 的支持，协议上与商业版 SOFARPC 兼容，但是无法使用商业版注册中心。当同时指向同一开源注册中心时，商业版 SOFARPC 可以与开源的 Node.js 版SOFARPC相互通信。详情请参见 Node跨语言调用。
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
- 产品推荐
- 这些文档可能帮助您