云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
还可通过订阅消息的实时投递，将消息流用于实时监控与业务分析或加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理。.网站所有用户产生的行为信息极为庞大，需要非常高的吞吐量来支持；可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统；云服务器ECS.负载均衡SLB.实时计算 Flink版.推荐...
来自：
云产品
云数据库 SelectDB 版
云数据库 SelectDB 版是新一代云原生数据仓库 SelectDB 在阿里云上的全托管服务，聚焦于满足企业级大数据分析需求，Apache Doris 2.0 进一步增强数据导入能力，为客户提供极致性能、简单易用的数据分析服务。
相关产品云数据库 SelectDB 版本产品日志服务 SLS检索分析服务 Elasticsearch 版在线咨询湖仓一体分析传统的大数据平台解决方案通过组合多套数据湖查询引擎和数据仓库系统，来满足客户复杂多样的大数据分析需求，面临人力及资源成本高、数据开发使用复杂、数据分析实时性差等问题。基于 SelectDB 构建湖仓一体的分析系统，...
来自：
云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统.云消息队列 MQ.实时计算 Flink 版.推荐搭配使用.天猫双11大促，各个分会场琳琅满目的商品需要实时感知价格变化，大量并发访问数据库导致会场页面响应时间长，集中式缓存因为带宽瓶颈限制商品变更的访问流量，通过 RocketMQ 构建分布式缓存，...
来自：
云产品
大数据workshop
大数据workshop
2.整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学 会运用各个服务组件及各个组件之间如何联动。前置知识要求 熟练掌握 SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 1.实时采集埋点日志数据 2.实时采集业务数据库中数据 3.对数据进行清洗和处理 4.保存...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
2.整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会 运用各个服务组件及各个组件之间如何联动。3.理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方 法。前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
该最佳实践需要从代码库克隆示例代码，所以请提前准备好Git环境 文档版本：20240418 1通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 1.基础环境搭建 本实践可通过CADT官方模板快速拉起演示环境。步骤1 登录云速搭CADT管理控制台（https://bpstudio.console.aliyun.com/），单击新建>官 方解决方案>模版...
AnalyticDB和通义千问快速构建RAG应用
本方案利用AnalyticDB PostgreSQL与DashScope灵积模型服务提供的通义千问模型构建Retrieval-Augmented Generation (RAG) 应用，通过检索相关信息并结合上下文生成准确的自然语言回答，增强语言模型处理和理解复杂查询的深度。该应用可广泛应用于智能问答系统、文搜图、内容创作等多种场景。
相关产品云服务器 ECS云原生数据仓库 AnalyticDB PostgreSQL 版模型服务灵积 DashScope在线咨询方案优势检索外部知识RAG支持从企业专属的知识库中检索与用户查询强相关的信息，避免了传统模型在内嵌知识上的限制。回答准确度高RAG结合检索到的信息和上下文生成准确的答案，针对问句，提供具体且有针对性的答案，而非固定...
来自：
解决方案
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
解决问题 解决应用请求信息保存在body中，并且希望根 据body的内容进行路由转发的场景。产品列表 专有网络 VPC 传统负载均衡 CLB 云原生网关 MSE Serverless应用引擎 SAE 云速搭 CADT 最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类摄像头（家 用摄像头、车载摄像头、工业监控摄像头等）采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
这些场景通常需要处理大 产品列表 量的数据，并实时生成准确的响应。通过将 SD等模 阿里云函数计算(FC)型部署在函数计算 FC上，提供了高效、弹性、低成 阿里云镜像容器服务（ACR）本的部署解决方案。云服务器（ECS）解决问题•简化模型部署流程•全链路自适应弹性，无需为流量峰谷做频繁的手 工处理•内置CICD平台能力，...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
MNS能够帮助应用开发者在他们应用的分布式组件上自由的传递数据、通知消息，构建松耦合系统。云速搭 CADT（Cloud Architect Design Tools）：是一款为上云应用提供自助式云架构管 理的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构 模板，同时也支持自助拖拽方式定义应用云上架构；支持较多...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
43525005207入群 检索分析服务 Elasticsearch版 实时数仓 Hologres 云原生数据仓库 AnalyticDB PostgreSQL版 大模型 RAG对话系统部署 最佳实践 文档版本：20240204（发布日期）大模型RAG对话系统部署最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 大模型 RAG对话系统部署最佳实践 文档编号 355 文档版本...
高效构建企业门户网站
使用云效将项目代码部署到云服务器ECS，快速完成一个企业门户网站的开发和部署。
与内部系统、外部服务集成复杂一站式DevOps平台：集成项目协作、代码管理、自动化流水线、制品仓库、测试管理、应用交付等工具；减少基础架构构建与运维工作，专注于产品开发；免搭建、免运维，注册登录阿里云即可使用；无缝对接ECS、OSS、CDN等阿里云产品成本投入物理服务器问题：购买硬件设备，占用机房资源；维护与升级...
来自：
解决方案
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
多云、混合云成为常态，Forrester报告中指出，未来89%的企业至少使用两个云，74%的企业 至少使用三个甚至更多公有云，在面对多云/混 合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑 战，本方案给出了在多云/混合云场景下，构建 基于容器环境下的统一管理、统一监控和统一日 ...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
kafka-message-sync.py：同步消息的示例代码 metadata_cloud_kafka_to_idc_kafka.py：阿里云Kafka向自建IDCKafka同步元数 据的示例代码。 metadata_cloud_kafka_to_cloud_kafka.py：阿里云Kafka向阿里云Kafka同步元数 据的示例代码。以上三份Python代码在文档后续内容中会替换到函数计算的函数中。文档版本：...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
通过简单几步配置即可将RDS、PolarDB 或者日志服务中某个日志库中的数据快速同步到云原生数据仓库AnalyticDB MySQL版集群中.将RDS和PolarDB的多个数据库实例一键配置DTS同步链路.数据库数据接入.配置SLS数据同步链路，将日志数据快速接入.日志数据接入.PolarDB MySQL数据免费接入、多表增量更新物化视图、UDF、Multi-...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您