大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型 RAG对话系统部署 最佳实践 业务架构 场景描述 大语言模型（LLM）在生成准确和实时的回复方面存 在局限性，不适合直接用于需要精确信息的客服或问 答等场景。当前业界普遍采用基于检索增强的 RAG 技术来改善 LLM的表现。该方法通过结合 LLM的归 纳生成能力和向量检索库的检索能力，增强对用户查 询的理解，并产生更加...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 58 游戏数据运营融合分析 部署 ECS-SLS数据采集 步骤3 可以看到 json格式的文本日志已经在持续生成了，这也是游戏日志场景最常见的格 式。步骤4 按照相同的方式，部署 APP-002和 APP-003服务器，本文不再赘述。3.2.创建日志服务 Project 步骤1 通过产品与服务导航，定位到日志服务，单击进入日志服务...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
这些数据库或 者表中的数据在写入到任何设备（磁盘、SSD、PCIe卡）或者服务（表格存储 OSS、归档存储 OAS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存 在的。TDE加密采用国际流行的 AES算法，密钥长度为 128比特。密钥由 KMS服务加密保 存，RDS只在启动实例和迁移实例时动态读取一次密钥。您可以自行...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 67 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤5 字段映射，新增两行：日志表中的_client_ip_映射到 MaxCompute表中的 ip 日志表中的_receive_time_映射到 MaxCompute表中的 receive_time 注意：这里需要注意去掉日志原格式中的前缀“_tag_”。步骤6 点击调度配置，参数设置为：startTime...
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
面向海量文本、表格数据，具备全文检索、聚合计算、复杂多维查询等能力，同时可无缝作为宽表、时序引擎的索引存储，加速检索查询，适用于日志、账单、画像等场景，兼容开源Solr标准接口.面向海量非结构化数据，具备弹性低成本、HDFS协议兼容的文件存储能力，与多模引擎共享存储，同时支持外部系统直接访问多模引擎的底层...
来自：
云产品
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
详见：https://www.aliyun.com/product/ots 步骤1 登录表格存储 Tablestore控制台，切换地域为华东 2（上海），单击实例名称，进入 详情页。步骤2 在详情页里，拷贝实例访问的地址，用于后续试验。文档版本：20210519 21 新零售商超基于 Serverless服务化改造 架构环境搭建 步骤3 DTS数据同步成功后，目标库数据可见。步骤4...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
ￚ.index文件为数据文件提供索引，存储的核心内容是以 tensor name为键以 BundleEntry为值的表格 entries，BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。ￚ.data文件保存所有变量的值，即网络权值。ￚ pb文件则是 graph_def的序列化文件，便于发布和离线预测。说明：关于文件格式转换，TensorFlow官方提供...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
–.index文件为数据文件提供索引，存储的核心内容是以tensorname为键以 BundleEntry为值的表格entries，BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。–.data文件保存所有变量的值，即网络权值。 pb文件则是graph_def的序列化文件，便于发布和离线预测。文件格式转换：TensorFlow官方提供了一个freeze_...
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
注意：请根据您的实际结果整理该表格，后续配置过程中需要反复查看该对应关系表。host ENI 主私网IP MAC地址 ENIID PCI设备编号 ebm-...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
CREATE TABLE `article_table`(`id` bigint(10)NOT NULL AUTO_INCREMENT,`action` text(50)NULL,`articleTitle` text(50)NULL,`articleAuthorId` text(50)NULL,`articleAuthorName` text(50)NULL,`ts` bigint(20)NULL,PRIMARY KEY(`id`))ENGINE=InnoDB DEFAULT CHARACTER SET=utf8;文档版本：20210806（发布日期）33 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
authzmigrator：在导出 Sentry acl的过程中，将其转换为 Ranger可以读取的格 式，然后通过 CM界面执行”Import Sentry Policies”命令。推荐使用第二种 authzmigrator进行 Sentry 迁移。3.1.2.1.复制策略的 Sentry权限部分 下图显示了创建复制策略向导中的 Sentry 权限部分：文档版本：20211029 83 CDH迁移升级 CDP最佳实践...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2.file_format，用于指定storeas所使用FileFormat，如orc、textfile等，设置后忽 略input_format，output_format 3.input_format，用于指定文件存储时所使用的InputFormat对应的类名，如 org.apache.hadoop.mapred.TextInputFormat 4.output_format，用于指定文件存储时所使用的OutputFormat对应的类名，如 org.apache....
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
数据分析包括以下两步：a)通过实时计算 Flink抽取 DWD中对应信息并进行轻度汇总（如部分业务指标 计算），生成 DWS（Data Warehouse Summary，汇总数据层），并将数据存 储到 AnalyticDB for MySQL。b)通过 AnalyticDB for MySQL进行多维数据分析和大屏实时查询。4.业务系统：业务系统通过 DataV数据可视化实现业务指标实时...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
无需 ETL，就可通过此服务在云上通过标准 JDBC 直接对阿里云 OSS、TableStore、RDS等不同数据源里存储的数据轻松进行查询 和分析。DLA 无缝集成各类商业分析工具，提供便捷的数据可视化。详见：https://www.aliyun.com/product/datalakeanalytics DMS：数据管理服务（Data Management Service，简称 DMS）支持 MySQL、SQL ...
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库，它可提供低成本、高性能的存储方案，同时也可提供稳定与极致的数据服务。
表格存储（Tablestore）面向海量结构化数据提供 Serverless 表存储服务，同时针对物联网场景深度优化提供一站式的 IoTstore 解决方案。适用于海量账单、IM 消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力.表格存储 Tablestore.阿里...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您