基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
文档版本：20240408 14 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 资源开始进行下单购买，请耐心等待资源创建 进入部署阶段后，请耐心等待，这里浏览器关闭或者电脑出现异常不会影响部署。文档版本：20240408 15 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 等待资源创建完成，可以...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断，然后对 MongoDB 做增，删，改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务...
高效防护 Web 应用-自定义模板
随着网络技术的不断发展，您的Web应用如果没有流量入口的防护，会面临诸多风险。本方案以ECS实例接入WAF为例，推荐您使用Web应用防火墙（WAF）开启应用防护，避免网站服务器被恶意入侵导致性能异常等问题，保障网站的业务安全和数据安全。同时，为您节约开发成本，满足行业合规要求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景如何防护 Web 应用与传统方案对比WAF 应用场景部署 WAF随着网络技术的不断发展，您的Web应用如果没有流量入口的防护，会面临诸多风险。本方案以ECS实例接入WAF为例，推荐您使用Web应用防火墙（WAF）开启应用防护，避免网站...
来自：
解决方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板，帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS，BGP公网精品IP等产品，实现低成本的出海业务加速。
方案优势 1、低成本出海加速业务 2、最小核数 1CPU最多支持 20人同时在线 产品列表 访问 3、支持弹性扩容、弹性带宽、按流量等多种 云速搭 CADT 模式付费 专有网络 VPC 4、智能传输路径选择、阿里云海外多节点覆 阿里云交换机 盖，享受安全、快速、超低延迟访问 阿里云安全组 云服务器 ECS BGP公网精品 IP 最佳实践频道 ...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
开通阿里云容器镜像服务 ACR 步骤1 因为部署 Web端录制应用需要将应用模板使用的镜像发布到用户自己的镜像仓库中，所以需要使用到阿里云容器镜像服务 ACR。打开 ACR 控制台（https://cr.console.aliyun.com/cn-beijing/instances），创建容器镜像服务实例，生产 中建议创建企业版实例，在该最佳实践中，可以创建个人版。...
通过 WAF 防护 Web 应用
随着网络技术的不断发展，您的web应用如果没有流量入口的防护，会面临恶意篡改、SQL注入、XSS、CC攻击等风险。本方案推荐您使用Web应用防火墙（WAF）开启应用防护，避免网站服务器被恶意入侵导致性能异常等问题，保障网站的业务安全和数据安全。同时，为您节约开发成本，满足行业合规要求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台随着网络技术的不断发展，您的Web应用如果没有流量入口的防护，会面临恶意篡改、SQL注入、XSS、CC攻击等风险。本方案以ECS实例接入WAF为例，推荐您使用Web应用防火墙（WAF）开启应用防护，避免网站服务器被恶意入侵导致性能异常等问题，...
来自：
解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
专有网络VPC 跨帐号或异地容灾：这类场景比如主Kafka是阿 里云Kafka，备Kafka是IDC开源自建Kafka， 阿里云交换机 或者是其他云上的Kafka。 阿里云安全组 不同业务之间消息同步：因为现在的业务通常不 阿里云函数计算(FC)会是信息孤岛，都需要消息互通，所以可能是A 阿里云云消息队列Kafka版 业务的Kafka...
从http到https让您的网站更安全-自定义模板
在ECS上部署Web应用是常见的业务场景，用户使用HTTP请求访问网站域名，浏览器通常会显示“感叹号”，提醒用户当前访问的站点存在安全风险。为了解决该问题，需要网站支持HTTPS协议访问。HTTPS协议可以防偷窥、防篡改及完成服务端身份验证等，保证请求全链路的数据访问安全。本方案介绍如何在ECS上搭建Web应用以及在Nginx服务器上部署SSL证书开启HTTPS安全访问。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景HTTP 明文访问的风险支持 HTTPS 访问的方案方案介绍在ECS上部署Web应用是常见的业务场景，用户使用HTTP请求访问网站域名，浏览器通常会显示“感叹号”，提醒用户当前访问的站点存在安全风险。为了解决该问题，需要网站支持...
来自：
解决方案
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建RAM授权 为 已 创 建 服 务 关 联 的 默 认 角 色（AliyunFCDefaultRole）授 予 oss:WriteGetObjectResponse权限。具体的权限策略如下：步骤1 登录RAM访问控制（https://ram.console.aliyun.com/roles），对角色进行配置。文档版本：20240304 17基于OSSObjectFC实现非结构化文件实时处理最佳实践 场景验证 步骤2 新增...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
弹性公网IP：弹性公网IP是独立的公网IP资源，可与阿里云专有网络VPC 类型的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定，并可 以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供 Internet访问服务。 微服务引擎MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注 册配置中心和...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
弹性公网IP：是独立的公网IP资源，可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定，并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 NAT网关（NATGateway）提供公网NAT和私网NAT两种功能。公网NAT网关通过自定义SNAT、文档版本：...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
vpc for public use（外网服 10.99.0.0/19 10.99.8.0/21 10.99.16.0/21 务）10.99.32.0/19 10.99.40.0/21 10.99.48.0/21 vpc for private（内网服务）10.99.128.0/18 10.99.144.0/20 10.99.160.0/20 vpc for database（数据库）10.99.252.0/22 10.99.253.0/24 10.99.254.0/24 vpc for reserve（预留）10.98.64.0/18-10.98....
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
执行安装启动脚本：sudo/usr/pgadmin4/bin/setup-web.sh 文档版本：20210725 16 阿里云数据库快速搭建疫情分析系统最佳实践 环境配置 步骤4 通过浏览器访问安装好的 pgadmin4。http://xx.xx.xx.xx/pgadmin4 如果无法访问，请调整 ECS的安全组开启 80端口：文档版本：20210725 17 阿里云数据库快速搭建疫情分析系统最佳实践 ...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
本例使用阿 里云提供的容器镜像服务。文档版本：20220301（发布日期）21 阿里云ACK容器服务workshop Docker实践 2.7.1.创建命名空间 步骤1 登录阿里云容器镜像服务控制台。（https://cr.console.aliyun.com/）步骤2 设置 Registry登录密码。文档版本：20220301（发布日期）22 阿里云ACK容器服务workshop Docker实践 步骤3 ...
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台系统运维管理产品简介产品优势产品功能入门与试用技术解决方案安全合规常见问题系统运维管理 OOS云上统一的自动化管理与运维平台，支持对ECS、RDS、SLB等多种云产品进行编排，提升日常运维管理效率。立即购买免费试用快捷入口控制台文档API...
来自：
云产品
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
通常自建的ELK系统在弹性、功能、成本、优化、稳定性等方面客户会遇到较多问题，本文介绍 如何将自建的ELK系统迁移到阿里云SLS日志服 务。应用场景 1.自建ELK系统快速迁移阿里云日志服务SLS 解决问题 1.自建ELK如何迁移到阿里云日志服务SLS 2.ES存量日志如何一键导入日志服务SLS 3.新增日志如何通过Logtail采集到日志服务...
- 产品推荐
- 这些文档可能帮助您