基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现<em>阿里云</em>Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性,无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力,灰度,回滚,监控开箱 云速搭 CADT 即用•按量付费,没有资源闲置费用 最佳实 践频道 ...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现<em>阿里云</em>Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体的内 容做判断,然后对 MongoDB 做增,删,改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制,录制结束后会把录制的结果写入 OSS 存储桶,并把录制的结果写到消息队列,下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 ,大部分场合都需要对直播相关的业务...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
高效防护 Web 应用-自定义模板
随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
阿里云提供WAF 3.0版实例的免费试用活动,如果您是产品新用户,可以在免费试用频道领用。如果您不符合试用资格,选用最低规格的按量计费ECS实例与WAF 3.0按量付费版体验本方案,并在体验结束后释放资源,预计产生的费用不超过5元。实际费用以控制台账单为准。方案部署跟随方案教程,使用 WAF 高效防护您的 Web 应用。背景...
来自: 解决方案
从http到https让您的网站更安全-自定义模板
在ECS上部署Web应用是常见的业务场景,用户使用HTTP请求访问网站域名,浏览器通常会显示“感叹号”,提醒用户当前访问的站点存在安全风险。为了解决该问题,需要网站支持HTTPS协议访问。HTTPS协议可以防偷窥、防篡改及完成服务端身份验证等,保证请求全链路的数据访问安全。本方案介绍如何在ECS上搭建Web应用以及在Nginx服务器上部署SSL证书开启HTTPS安全访问。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景HTTP 明文访问的风险支持 HTTPS 访问的方案方案介绍在ECS上部署Web应用是常见的业务场景,用户使用HTTP请求访问网站域名,浏览通常会显示“感叹号”,提醒用户当前访问的站点存在安全风险。为了解决该问题,需要网站支持...
来自: 解决方案
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
弹性公网IP:是独立的公网IP资源,可与阿里云专有网络VPC类型的云服务器ECS、NAT 网关、ENI网卡、私网负载均衡SLB绑定,并可以动态解绑满足灵活管理的要求。弹性公 网IP可为您在云上部署的网站提供Internet访问服务。 云速搭CADT(CloudArchitectDesignTools):是一款为上云应用提供自助式云架构管理 的产品,显著地...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
自建数据库迁移到数据库-自定义模板
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用...
来自: 解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
云服务器ECS(ElasticComputeService):是阿里云提供的性能卓越、稳定可靠、弹性扩 展的IaaS(InfrastructureasaService)级别云计算服务。云服务器ECS免去了您采购IT 硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
云服务器ECS:用于部署单节点Kubernetes,模拟非阿里云自建容器集群 产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里云创建的自定义私有 网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。 云速搭CADT...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
通过 WAF 防护 Web 应用
随着网络技术的不断发展,您的web应用如果没有流量入口的防护,会面临恶意篡改、SQL注入、XSS、CC攻击等风险。本方案推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
阿里云提供WAF 3.0版实例的免费试用活动,如果您是新用户,可以访问免费试用频道领用。如果您不符合试用资格,可前往控制台操作,体验费用以控制台显示为准。方案部署一步步跟随方案教程,带你快速上手进行高可用博客网站方案部署。方案介绍WAF支持为ECS实例开启安全防护。将ECS实例接入WAF后,实例所有的Web业务流量将被...
来自: 解决方案
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC,实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑,对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中,以图片,视频,音频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
密评咨询服务
密评咨询服务是阿里云依托云平台密评经验和云密码产品优势,提供全流程密评咨询服务,助力企业快速完成密评合规
阿里云密评架构.更多产品与服务.立即领取密评大礼包.阿里云密评整体解决方案.密评合规差距分析.通过差距分析,帮助用户分析业务系统商用密码应用与密评要求的实际差距.密评整改方案咨询.根据差距分析结果,结合用户的业务现状,设计满足密评要求的《密码应用方案》.安全管理制度完善.根据密评管理要求,提供商用密码管理...
来自: 云产品
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
弹性公网IP:是独立的公网IP资源,可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定,并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 NAT网关(NATGateway)提供公网NAT和私网NAT两种功能。公网NAT网关通过自定义SNAT、文档版本:...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
阿里云微服务引擎(MSE)解决问题  阿里云容器服务(ACK) 安全组  因为K8s的HPA设置相对复杂,默认提供  云速搭CADT 的CPU和内存不能满足实际需求(尤其是 Java技术栈),所以可以将弹性波动大的 部署在SAE,借助SAE更丰富的HPA规 则应对流量脉冲。 K8s架构向Serverless架构迁移的平滑过 渡。最佳实践...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云服务器 ECS产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云服务器 ECS云服务器是一种安全可靠、弹性可伸缩的云计算服务,助您降低 IT 成本,提升运维效率。立即购买免费试用快捷入口...
来自: 云产品
Oracle RAC 12C上部署
Oracle RAC 12C<em>云</em>上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
文档编号 357 文档版本 V1.0 版本日期 2024-02-06 文档状态 外部发布 制作人 游士 审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2024-02-06 游士,潘文宇 创建 文档版本:20240206 IOracleRAC12C云上部署 前言 前言 概述 通过云服务器ECS、高可用虚拟IP、共享块存储、神龙裸金属实例和VPC构建云上 OracleRAC...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
IPv4网关实现流量统一出入口
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制,禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
云服务器 ECS(Elastic Compute Service):是阿里云提供的性能卓越、稳定可靠、弹性扩展的 IaaS(Infrastructure as a Service)级别云计算服务。云服务器 ECS 免去了您采购 IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便 捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云 ECS持续 提供...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,云速搭
阿里云DNS
阿里云DNS覆盖了公网权威域名解析、内网域名解析、移动解析以及专有云的域名解析场景。为广大用户提供稳定、安全、快速、智能的域名解析服务,助力网站快速实现域名迁移及网站搭建,企业上云就来阿里云。
企业需求自定义内网域名,并把域名解析到专有网络VPC内的云服务器ECS,负载均衡SLB、云数据库Redis版、对象存储OSS等云资源,实现云资源在VPC内直接通过内网域名互相访问.内网域名解析时,私有域名只能在被与之关联的VPC内进行访问.支持自定义域名托管Zone及各种后缀与子域名,满足企业在构建私有域名DNS系统时的定制化需求...
来自: 云产品
阿里云电子政务云安全解决方案
阿里云电子政务云安全解决方案基于合规的阿里云平台,并标配多项高等级安全能力,满足政务应用系统的综合安全防御需求,为此提供一个合规、安全、可靠的政务专属云平台;只需业务上阿里政务云,便可一站式解决安全、合规等需求;减少传统繁琐建设流程。
根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前专家免费服务!售前专家免费服务....保障企业的服务器(包括非阿里云服务器)在遭受大流量DDoS攻击时,不造成服务不可用,不影响业务运行.DDoS高防IP.云上统一策略管控,入侵防御、东西向、南北向流量可视;业务上云后,业务可视、可管、可控.
来自: 解决方案
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
最佳实践频道 阿里云最佳实践分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 数据库快速搭建疫情分析系统 最佳实践 文档版本:20210725 文档版本:20150122(发布日期)II 阿里云数据库快速搭建疫情分析系统最佳实践 文档版本信息 文档版本信息 文本信息 ...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
< 1 2 3 4 ... 17 >
共有17页 跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云服务器 ECS 阿里邮箱 商标服务 轻量应用服务器 弹性公网IP 短信服务

新品推荐

切换为移动版

新人特惠 爆款特惠 最新活动 免费试用