SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的 聚合、分析处理和导出等,本方案给出了在多 云/混合云场景下,构建通过标准的Kafka协议 和托管服务,SLS可以连接Kafka数据入湖导 入,然后进行统一的海量数据的集中存储、智 能转储、...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
RocketMQ性能压测快速方案
RocketMQ性能<em>压测</em>快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
应用场景 借助CADT迅速搭建RocketMQ实例,并构建压测环境,快速对实例的性能进行压测,以验证实例的性能指标,帮助客户快速的做出具体规格的选型。主要步骤:1.通过CADT快速完成压测服务单环境部署,以及压测客户端的初始化 2.配置压测变量,并完成压测 3.销毁环境 文档版本:20240506 4RocketMQ性能压测快速方案 最佳实践...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
应用场景 通过 SAE提供的内置 CICD能力,代码提交后可 以触发自动构建,并部署应用到 SAE,部署完成 后,应用自动产生访问域名,外部请求通过域名 可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通 过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供 代码仓库,后续的 CICD,应用...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
Kafka性能压测快速方案
Kafka性能<em>压测</em>快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
消息队列kafkaserverless版本身实例未提供具体的云盘类型来选择,其性能表现只 与购买实例时预留的写入、读取的指标有关,写入峰值为预留写入的2倍,读取峰值 为读取预留的2倍 应用场景 借助CADT迅速的搭建Kafka不同类型的实例,并构建压测环境,快速对不同的实例 配置的性能进行压测,以验证不同配置对性能影响,帮助客户...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与<em>压测</em>
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
文档版本:20240415 36基于MSE和SAE的微服务部署与压测 场景验证 测试过程指标:文档版本:20240415 37基于MSE和SAE的微服务部署与压测 场景验证 4.应用监控ARMS验证 4.1.查看sc-A应用监控大盘 步骤1 在应用sc-A控制台跳转到ARMS监控大盘。步骤2 使用新版本ARMS控制台,参考下图的提示,选择sc-A应用。步骤3 查看sc-A应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
飞天企业版
阿里云飞天企业版是基于阿里云飞天云计算操作系统,为政企客户专属构建的资源和云管完全独立的企业级云平台,阿里云专有云与公共云同根同源,支持私有化部署。
服务介绍咨询及交付上云及应用容灾运维及管理一朵云及资源运营培训及认证云平台咨询规划服务基于阿里云专有云的最佳实践和经验总结,提供包括云平台咨询规划、云内云外场景化技术集成和高阶交付架构设计等覆盖“、管、用”的全生命周期的规划设计服务,为客户云平台的技术选型、演进规划和架构规划提供全流程的平台架构...
来自: 云产品
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
基于SpringCloud应用玩转MSE实践 业务架构 场景描述 随着业务不断创新,大型的单个应用和服务会被拆分为数 个甚至数十个微服务,微服务架构已经被广泛应用。微服 务的好处在于快速迭代,迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具,常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
基于MSE云原生网关同城多活
基于MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
步骤1 打开 PTS控制台(https://pts.console.aliyun.com/),配置 PTS压测场景 步骤2 参考下图配置,其中压测 URL为 http:// MSE网关入口地址/helloDuohuo 文档版本:20240423 39 基于MSE云原生网关同城多活最佳实践 场景验证 步骤3 请阅读免责声明后,确认当前账号有足够的额度后启动压测。文档版本:20240423 40 基于MSE...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
创建自定义模板2023.11.23功能场景配置全局参数实现不同用户订阅不同数据2023.08.02产品简介Quick BI是一款全场景数据消费式的BI平台,秉承全场景消费数据,让业务决策触手可及的使命,通过智能的数据分析和可视化能力帮助企业构建数据分析系统,您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台阿里云产品基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。阿里云为全球客户提供稳定性全球领先的产品技术。产品月刊产品手册2024版...
来自: 云产品
性能测试PTS
阿里云性能测试PTS可轻松模拟任意体量的用户访问业务的场景。任务随时发起,免去繁琐的搭建和维护成本。是活动大促、产品交付、版本迭代、系统维护不可缺少的性能优化工具。
压测场景构建.可对 API 进行串行或并行编排,并定义多种参数。支持 Cookie 传递,提供集合点、思考时间等指令,便于模拟复杂业务场景.压测场景构建.可对 API 进行串行或并行编排,并定义多种参数。支持 Cookie 传递,提供集合点、思考时间等指令,便于模拟复杂业务场景.提供虚拟用户并发和 RPS 吞吐量两种模式,可自动或纯...
来自: 云产品
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS<em>构建</em>游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
基于 ECI+FaaS构建游戏战斗结算服 最佳实践 业务架构 背景描述 在游戏行业的很多游戏类型中,尤其是 SLG,为了防止客户端作弊,在每局战斗之 后,在客户端预判玩家胜利的情况下,需要 服务端来进行战斗数据的结算,从而确定玩 家是不是真正的胜利。战斗结算是强 CPU 密集型,结算系统每日需要大量的计算力,尤其是开服或者...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
基于日志服务构建业务可观测性系统
基于日志服务<em>构建</em>业务可观测性系统
现在已知的各种监控数据的工具,以及对应的监控系统有非常多的选择,比如ZABBIX,Prometheus,Skywalking等。但是这些系统都存在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用到很多的辅助设备,仪表盘,行车记录仪,导航,倒车影像等等,这些设备都各自承载了一部分的功能,但是都存在着如下的问题: l 数据覆盖不完整 l 存在数据孤岛(无法关联协同) l 使用门槛高,不够人性化 核心价值 l 全覆盖,统一协议,支持各类平台。 l 数据关联,统一Schema,关联Metrics/Logs。 l 云原生,SaaS服务,拥抱云原生。 l 简单易用,自动化埋点,数十项易用功能。 智能化,异常诊断,根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具,以及对应的监 控系统有非常多的选择,比如 ZABBIX,Prometheus,Skywalking等。但是这些系统都存 在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用 到很多的辅助设备,仪表盘,行车记录仪,...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于MyBase构建自主可控数据库和高弹性应用实践
基于MyBase<em>构建</em>自主可控数据库和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
文档版本:20210323 48 基于 MyBase构建自主可控数据库和高弹性实践 MyBase集群的高负载使用场景 5.MyBase集群的高负载使用场景 5.1.MySQL实例的高负载创建 场景:以本次示例的业务场景为例,刚上线的电商创新业务可能无法准确预估客户的 增长曲线,使用自的 MySQL可能造成资源浪费。根据具体业务,DBA可超配创建 多个...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
数据湖-在线学习场景数据分析
数据湖-在线学习<em>场景</em>数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
数据湖-在线学习场景数据分析 最佳实践 场景描述 业务架构 本场景以在线教育中一个答题闯关类的应用为例,使用WebServer来模拟演示这类日志数据的分析 处理。通过Nginx和Python flask搭建Web Server,模拟应用中的关键页面,比如登录、课程 内容等,之后构造若干用户使用的模拟日志数据,投递到数据湖进行分析后获取应用PV...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
云服务器基准性能测试
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储,满 足 大 部 分 通 用 业 务 下 的 数 据 存 储 需 求。详见 https://help.aliyun.com/document_detail/63136.html 云监控(CloudMonitor)是一项针对阿里云资源和互联网应用进行监控的服务。云监控为云上用户提供开箱即用的企业级开放型一站式监控解决...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云速搭CADT
高性能数据库ECS测试及选型
高性能数据库ECS测试及选型
概述 客户自建高性能数据库(如电商大促)在做ECS选型时,对磁盘的IO、网络的吞吐都有很大要求,为了跟接近真实业务场景,使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景  自建数据库性能测试  磁盘性能测试  ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势  基于标准的TPC-C测试,接近真实业务场景。  提供多规格实例测试,快速选择最优性价比实例。
高性能数据库 ECS测试及选型 最佳实践 场景描述 业务架构 客户自高性能数据库(如电商大促)在做 ECS选 型时,对磁盘的 IO、网络的吞吐都有很大要求,为 了跟接近真实业务场景,使用 HammerDB选定真 实业务模型测试其 TPM。通过对比 TPM对比 ECS 性价比进行选型。同时使用 FIO测试磁盘性能作为 参考。解决问题 自数据库...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
云速搭构建大规模云手机压测集群
云速搭<em>构建</em>大规模云手机<em>压测</em>集群
在互联网游戏行业新游发行前、金融行业的基金或券商APP在大版本更新前,均需要将APP部署到大规模测试环境中进行压测,确保大规模并发场景下对APP本身可靠性和后台业务系统的稳定性及资源准备情况做好验证。 本实践设计一个游戏压测场景,在阿里云的多地域快速部署共一万台云手机,每台云手机之间网络可互通,每台云手机通过阿里云提供的NAT网关可访问互联网。
方案架构 本实践设计一个游戏压测场景,在阿里云的多地域快速部署共一万台云手机(因配额 有限,本次实际操作可调整到 100台),每台云手机之间网络可互通,每台云手机通过 阿里云提供的 NAT网关可访问互联网。本实践将以此场景为示例,按照下图的架构实现以下模拟的业务需求场景:通过 CEN打通各 Region的云手机内网互联。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,云速搭CADT,弹性云手机
Function Compute构建高弹性大数据采集系统
Function Compute<em>构建</em>高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
在这个示例的 中,第二个函数需要使用 Kafka模块和 Mysql模块,所以可以通过 fun工具结合 Python包管理工具 pip进行安装,在安装之前,我们需要先启动本机的 Docker。文档版本:20210806(发布日期)28 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 3.3.1.安装 docker 安装依赖包 yum install-y yum-...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
异地双活场景下的数据双向同步
异地双活<em>场景</em>下的数据双向同步
概述 随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 DTS双向同步,采用独立模块避免数据同步占用系统资源。 奇偶ID涉及,避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
异地双活场景下的数据双向同步 最佳...文档版本:20220209 61 异地双活场景下的数据双向同步 模拟业务测试 步骤3 在 PTS里面再次启动之前的压测场景。步骤4 再次观察 DTS同步链路,可以看到双向链路正常同步中,避免了数据冲突问题。文档版本:20220209 62 异地双活场景下的数据双向同步 模拟业务测试 文档版本:20220209 63
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,数据传输,云企业网,容器镜像服务 ACR,云解析DNS
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 物联网无线连接服务 云数据库 RDS 云数据库 Redis 版 运维安全中心(堡垒机) 弹性公网IP

新品推荐

切换为移动版

新人特惠 爆款特惠 最新活动 免费试用