基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
target_kafka_topic：业务系统Kafka云上备份实例的Topictopic-sync-b 业务系统Kafka云上备份实例的连接地址可以打开CADT控制台，双击业务系统Kafka 云上备份实例图标，在下方资源清单中找到。文档版本：20240330 49基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 4.6.配置sync-metadata-func-ram-b...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
函数计算具有完善的日志系统、容错机制。可 l 阿里云云消息队列 Kafka 版 以清晰的看到对每条消息的处理日志，如果逻辑 执行失败，也有重试机制和函数失败补偿机制，l 云速搭 CADT 保证业务数据的完整性和一致性。最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 函数计算 FC用户交流...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型 RAG对话系统部署 最佳实践 业务架构 场景描述 大语言模型（LLM）在生成准确和实时的回复方面存 在局限性，不适合直接用于需要精确信息的客服或问 答等场景。当前业界普遍采用基于检索增强的 RAG 技术来改善 LLM的表现。该方法通过结合 LLM的归 纳生成能力和向量检索库的检索能力，增强对用户查 询的理解，并产生更加...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
分布式云容器平台ACKOne：是阿里云面向混合云、多集群、分布式计算、容 灾等场景推出的企业级云原生平台，ACKOne可以连接并管理您任何地域、任 何基础设施上的Kubernetes集群，并提供一致的管理和社区兼容的API，支持 对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管 控。 日志服务SLS：是云...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着云原生及微服务技术的普及，越来越多的系 统已经通过云原生和微服务技术实现企业的降 本增效，同时因微服务及云原生的复杂性给系统 运维带来非常大的挑战，云原生应用监控arms 通过全链路应用监控，从端到端及代码级别的链 路下钻能力、CPU...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
提供的 场景编排、API调试、流量定制、流量录制等功能，可快速创建业务压测脚本，精准模拟不同量级用户访问业务系统，帮助业务快速提升系统性能和稳定性。 云速搭 CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助 式云架构管理的产品，显著地降低应用云上管理的难度和时间成本。本产品提 供丰富的预制应用...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
初始化时系统会自动创建：topic：xl-test，group：xl-test-group、xl-test-group_gray 2.2.核心模块 MSE云原生网关：目前支持SpringCloudGateway、Zuul和Kong三种引擎类型，本实 践选择MSE云原生网关。以下列举MSE云原生网关的一些优势： 服务发现：支持ACK容器服务、NACOS、ZOOKEEPER、SAE、固定IP、DNS等 多种服务...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
负载均衡SLB（ServerLoadBalancer）：一种对流量进行按需分发的服务，通过将流量分发 到不同的后端服务来扩展应用系统的服务吞吐能力，并且可以消除系统中的单点故障，提 升应用系统的可用性。 Serverless应用引擎SAE（ServerlessAppEngine）：是一款零代码改造、极简易用、自适应 弹性的应用全托管平台。SAE能够让您...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
步骤5 价格预估，如果上一个页面中的部署资源校验没有问题的话，点击【下一步:价格清单】按钮，即可触发整个应用的价格预估，系统会计算出当前所采用的产品及组件的价格 清单。文档版本：20240402 4 MSE网关使用 JWT实现认证鉴权 部署基础环境 步骤6 确认订单，上述的价格清单确认无误后，点击【下一步：确认订单】按钮，...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
mkdir/root/kafka-perf 文档版本：20240229 4Kafka性能压测快速方案 部署基础环境#sleep10s sleep10#生成本地执行文件 cat>/root/kafka-perf/install_env.sh/root/kafka-perf/kafka-perf.sh/root/kafka-perf/kafka-perf.log2>&1&可用 tail-f/root/kafka-perf/kafka-perf.log查看系统启动部署kafka压测软件日志。echo"压测...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP（例如固定公网 IP或 者 EIP），可以直接访问公网，不受 VPC路由表控 制。为了降低 ECS直接访问公网可能带来的安全管 控风险，可以使用 IPv4网关及子网路由能力，对 VPC 中访问公网的行为进行约束，根据需求使得子网具备 访问公网的能力...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
步骤3 给 yitian-perf用户增加以下系统权限策略，每次可以添加 5个权限，需要分两次添加 AliyunCADTFullAccess 文档版本：20230801 8 倚天ECS实例加速Flink运行 CADT部署压测环境 AliyunECSFullAccess AliyunConfigReadOnlyAccess AliyunVPCFullAccess AliyunQuotasReadOnlyAccess AliyunNATGatewayFullAccess ...
Flink+Hologres搭建实时数仓
解决方案将Hologres与Flink深度集成，提供一体化的实时数仓联合解决方案，实现了数仓分层之间实时数据的高效流动，解决实时数仓分层问题。本方案支撑各个业务方的报表查询（交易大屏、行为数据分析、用户画像标签）以及个性化推荐等多个业务场景，具有中间层数据可查、支持数仓分层复用和架构简单等优势。
本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景，满足企业的实时分析需求，具有中间层数据可查、支持数仓分层复用和架构简单等优势。方案预估：体验本方案预计费用不超过35元（假设您选择的是本方案示例的资源规格，且资源运行时间不超过1.5小时，数据源3张表约20条数据。具体价格与您选择的资源规格、数据量、...
来自：
解决方案
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
基于 Flink的资讯场景实时数仓 最佳...当用户的行为触发某些控制点时，系 统会捕获这个事件，并根据用户当前和之前的行为进行分析，决定是否对用户进行风 险控制或推荐。可参考：https://nightlies.apache.org/flink/flink-docs-release- 1.13/docs/dev/table/sql/queries/match_recognize/ 文档版本：20220223（发布日期）90
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
管理IP规划 SA2600/3600需要配置的IP地址主要有系统管理IP（至少1个）、服务IP（每个控 制器1个）、以太网端口IP（数据传输）。 系统管理IP：每一个集群系统至少有1个地址，用来管理和配置存储平台。每个 集群系统最多可以设置2个管理IP。 服务IP：有2个地址，每个控制器上都有一个服务地址，服务IP 地址提供对每 个...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
弹性计算OOS审批流程自动化运维最佳实践 业务架构图 场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。2.运维...
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
提供百万并发、千万TPS流量发起能力，模拟不同量级业务访问，快速提升系统性能和稳定性.查看更多商品.Kubernetes 监控.Kubernetes 监控.系统架构面临的三大挑战，看 Kubernetes 监控如何解决？Kubernetes 监控.如何发现 Kubernetes 中服务和工作负载的异常.Kubernetes 监控.通过Kubernetes监控探索应用架构，发现预期外的...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您