中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案，助力自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发。
基于阿里云 E-MapReduce、OSS、边缘网络加速等产品及服务，帮助自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原自建 Hadoop 组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发.中小企业自建Hadoop集群上云解决方案.提供高性能、稳定版本 Hadoop、Spark、...
来自：
解决方案
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力，同时融合视频特效、音频特效等音视频AI能力，为用户提供一体化SDK，支持多终端接入，搭配产品级Demo，支持用户根据业务需求快速集成所需
音视频终端 SDK（MediaBox SDKs）集成了直播推流、视频播放、短视频创作、美颜特效、音频特效等核心能力，为用户提供一体化 SDK，支持移动端、PC 端、Web 端等多终端接入，搭配开源 UI 组件和产品级 Demo，支持用户根据业务需求集成所需 SDK 以及采用低代码方式快速搭建所需应用.MediaBox音视频SDK｜WEB体验馆.端侧智能免费...
来自：
云产品
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
微服务×容器Meetup成都站-云原生架构与应用专场PPT合辑微服务 x 容器开源开发者 Meetup 是由阿里云云原生应用平台打造的，面向一线开发者的技术交流活动，整体聚焦容器&微服务方向，旨在通过热门的开源技术、云原生在企业的应用实践案例、架构设计思维等，帮助开发者学习云原生技术、交流实践中的问题和痛点，推进云原生...
来自：
云产品
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
文档版本：20210517 34 基于 Elasticsearch的订单检索加速最佳实践 配置大数据组件 步骤7 创建独享数据集成资源组成功后，刷新资源组列表页面查看资源组创建详情。待资源 组状态为运行中后，表示资源组成功启动。步骤8 单击右侧操作功能中的修改归属工作空间，进行工作空间绑定。步骤9 在修改归属工作空间页面，找到已创建...
云消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务，广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议，开箱即用，轻松实现快速上云，更专业、更可靠、更安全。
支持 AMQP 0-9-1 版本标准协议，兼容 RabbitMQ 开源所有语言客户端和 Queue、Exchange、Vhost 组件.海量消息堆积能力，解决因消息堆积引起内存问题而导致宕机的痛点。集群分布式无主架构彻底根除了开源脑裂的痛点，高可扩展、弹性扩缩容、单队列吞吐量无上限.解决开源痛点.支持百万级队列，单队列横向扩展，无并发限制；可...
来自：
云产品
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
文档版本：20220915 19 EMR HBase on OSS存算分离集群快速恢复 写入测试数据与集群恢复 步骤2 点击进入 HBase服务查看各组件已停止：步骤3 回到 CADT，切换当前应用为编辑模式。文档版本：20220915 20 EMR HBase on OSS存算分离集群快速恢复 写入测试数据与集群恢复 步骤4 右键点击图中的 EMR，点击复制，新增一个与之前...
E-MapReduce
阿里云E-MapReduce(简称EMR)是阿里云云原生数据湖的核心计算引擎，全面支持Hadoop、Spark、HBase、Hive、Flink等大数据组件，为客户提供企业级开源大数据平台服务。通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可节省50%以上的费用，同时支持创建抢占式实例，相比按量付费的购买方式，可节省50%~80%的费用。
需自行更新和升级开源版本，验证各组件版本兼容性，自行修复社区bug.社区版本无服务支持，Hadoop发行版，需额外支付License和服务费用.自建Hadoop集群.为什么选择E-MapReduce?EMR Workflow商业化公告.全链路数据湖开发治理解决方案2.0重磅升级.阿里云智能数据湖入选第六届数字中国建设峰会“十大硬核科技”.阿里云EMR 2.0：...
来自：
云产品
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：https://www.aliyun.com/product/pts ARMS：应用实时监控服务(Application Real-Time Monitoring Service,简称 ARMS)...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
文档版本：20220223（发布日期）80 基于 Flink的资讯场景实时数仓 业务系统 步骤8 在图层页选中图示组件，在右侧数据页，勾选自动更新请求，单击配置数据源。步骤9 在设置数据源页，数据源类型选择数据库，选择已有数据源 bp-demo-adb，输入以下 SQL。SELECT '' as `name`,SUM(total_pay_amount)as `value`,'' as prefix,''...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
基于 K8S多集群隔离环境下的 DevOps实现 最佳实践 业务架构 场景描述 DevOps 是一组过程、方法与系统的统 称，并通过工具实现自动化部署，确保部署任 务的可重复性、减少部署出错的可能性。随着 微服务、中台架构的兴起，devops重要性日 益显著。本方案使用两个独立的 k8s集群：用户已 有的 k8s模拟测试，ack集群模拟生产...
大数据workshop
大数据workshop
2.整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学 会运用各个服务组件及各个组件之间如何联动。前置知识要求 熟练掌握 SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 1.实时采集埋点日志数据 2.实时采集业务数据库中数据 3.对数据进行清洗和处理 4.保存...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
由于本最佳实践采用 Mac系统开发，如果使用 Windows平台请自行找到 hosts文 件。其中所有 MongoDB的 IP都设置为安装的 MongoDB的 ECS IP地址，而 rabbitmq 的 IP设置为安装的 ECS IP地址。2.修改配置文件中所有 password变量的值为常量”password”。请替换配置文件中，如下变量的值为 password。{CONFIG_SERVICE_PASSWORD}...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 Filebeat时，它会启动一个或多个查找器，查看您为日志文件指定的本地路径。对于 prospector 所在的每个日志文件，prospector 启动 harvester。每个 harvester 都会为新内容读取单个日志文件，并将新日志数据发送到 libbeat，后者将聚合事件...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
文档版本：20220208 24 Dubbo应用上云 部署 Dubbo云应用 步骤4 代码源选择本地仓库，并单击创建镜像仓库。请参考本节步骤 1~步骤 4，完成镜像仓库（dubbo-consumer）的创建。步骤5 创建完成 2个镜像仓库。文档版本：20220208 25 Dubbo应用上云 部署 Dubbo云应用 设定仓库密码 设定登录仓库密码，后续操作要使用。步骤1 在...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
2.整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。背景知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解 1.2.需求分析 本最佳实践，首先搭建一个简化的电商demo系统，然后为此demo系统构建一套离 线大数据分析系统。1.2.1.项目需求分析 大数据分析...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
- 产品推荐
- 这些文档可能帮助您