基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型...部分返回结果如下：后续操作 MaxCompute已与阿里云人工智能平台PAI成功对接，您可基于PAI Desinger进行更多LLM算子的开发和使用，LLM算子详情请参见 组件参考：大模型数据处理。
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
错误码说明
请检查标签code是否存在 170011 应用流程处理失败 提交工单反馈 170012 请输入数据库Schema信息 请检查nl2sql数据库schema信息是否正确 200001 大模型调用失败 提交工单反馈 200002 大模型请求用量受限 提交工单反馈 200004 大模型调用超时...
如何快速调用官方预置应用-RAG检索增强应用模板
视频介绍 定义 阿里云百炼提供的RAG检索增强应用模板可以帮助大家实现让大模型瞬间“开挂”的技能。结合上传的知识数据，大模型识别解析学习文档内容，最终给出生成式回复。我们在通义千问-Turbo/Max大模型基础上，将文件上传、读取、切片...
精模建筑
说明 当模型数据较大时，建议使用OSS上传方式上传模型。您可以在上传成功页面，单击 下一步 进入模型信息配置页面，或者单击选择 重新上传 重新上传新的模型压缩文件；也可单击 取消 即可取消上传模型压缩文件。在完善模型信息对话框中，您...
精模建筑
说明 当模型数据较大时，建议使用OSS上传方式上传模型。您可以在上传成功页面，单击 下一步 进入模型信息配置页面，或者单击选择 重新上传 重新上传新的模型压缩文件；也可单击 取消 即可取消上传模型压缩文件。在完善模型信息对话框中，您...
概述
您可以通过客户端开发MaxCompute SQLML作业，基于 人工智能平台 PAI 对MaxCompute上的数据进行学习，并利用机器学习模型对数据进行预测，进而为业务规划提供指导。其中：MaxCompute：提供应用机器学习能力的SQL语言入口SQLML。客户端：SQL...
背景
模型和案例丰富，专家在线支持 表格存储针对不同业务场景提供了相应的数据模型，简化业务的设计和开发，例如消息和Feed流提供Timeline模型，时序数据提供Timestream模型，科学大数据的多维网格数据提供Grid模型等。针对典型业务场景，提供...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
BI分析功能简介
DataV的BI分析功能是基于DataV6.0迭代更新后的数据映射能力，通过简便实用的数据模型构建、视觉绑定和交互式动态数据查询，向用户提供探索数据间关系的能力，可以丰富可视化视图的创作模式，完善可视分析循环。本文介绍BI分析的基本概念。...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
机器阅读理解解决方案
步骤二：构建机器阅读理解模型 在 Designer 平台上，使用机器阅读理解训练组件，基于海量大数据语料预训练获得的NLP预训练模型，构建机器阅读理解模型。步骤三：离线批量预测 在 Designer 平台上，使用机器阅读理解预测组件，基于海量篇章...
什么是数据资源平台
解决方案：对数据资源平台中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产进行导入导出，便于在不同环境中快速搭建数据治理工作的初始化。运营 资产注册：支持平台侧需管理的数据表资产自动化注册...
功能特性
数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理...
流程编排
可以通过bizVars引用入参当中声明的变量值，也可以引用节点执行的中间过程的变量，例如在大模型的prompt引用变量：${bizVars.abc} 是引用入参abc${svcVars.Plugin_0ebur6.response.data} 是引用Plugin_0ebur6节点（API节点）执行的结果数据 ...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
什么是流程编排
可以通过bizVars引用入参当中声明的变量值，也可以引用节点执行的中间过程的变量，例如在大模型的prompt引用变量：${bizVars.abc} 是引用入参abc${svcVars.Plugin_0ebur6.response.data} 是引用Plugin_0ebur6节点（API节点）执行的结果数据 ...
管理数据模型
查看数据模型详情 在数据模型列表中，您还可以单击任一数据模型名称，进入该模型的详情页，查看详细信息，主要包括以下信息：基本信息：展示了数据模型名称、创建人、创建时间与描述。绑定的 API：列出了绑定了该数据模型的所有 API 及其...
循环属性说明
例如，用大模型生成测评数据，如果需要生成多条时，可以选择多次执行当前大模型节点，而不需要拉多个节点，更不需要通过多次执行应用调用来实现。考虑到循环的中间结果与业务逻辑实现紧密相关，同时方便控制循环的次数和跳出条件，我们将...
插件和流程编排应用
响应数据 ResponseId string 大模型的responseId。SessionId string 对话历史的会话唯一标识。Text string 本次模型调用的输出内容。Usage list 应用级别的token消耗 Usage[x].InputTokens int 本次请求输入内容的token数。Usage[x]....
三方模型应用
响应数据 ResponseId string 大模型的responseId。SessionId string 对话历史的会话唯一标识。Text string 本次模型调用的输出内容。Usage list 应用级别的token消耗 Usage[x].InputTokens int 本次请求输入内容的token数。Usage[x]....
检索增强应用
响应数据 ResponseId string 大模型的responseId。SessionId string 对话历史的会话唯一标识。Text string 本次模型调用的输出内容。Usage list 应用级别的token消耗 Usage[x].InputTokens int 本次请求输入内容的token数。Usage[x]....
模型应用
功能描述 本文主要介绍如何使用API调用阿里云百炼模型应用，包括从模型广场中创建的官方大模型应用（如通义千问-Plus、通义千问等）、自训练模型应用和官方预置应用（如营销标题生成、营销文案生成、摘要抽取、文案续写和商品评论等）。...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
使用数据模型设计器
使用数据模型设计器，您可以直观地看到数据模型的主键、字段和模型之间的引用关系，也可以在图形化界面创建、编辑及删除数据模型。操作步骤 登录BizWorks，在 选择平台 下拉列表中选中 建模平台。单击页面右上角 图标或其文本框区域，在...
开发流程
创建表 导入数据 通用数据开发 ② Designer 支持大规模分布式的传统机器学习、深度学习、强化学习训练，支持流批一体训练，该子模块封装了上百种机器学习算法，您可以拖拽式建模、自动调参，从而无编程玩转人工智能。Designer概述 ③ ...
简介
数据模型是业务数据的抽象模型，它由实体互相关联形成的关系网来表征模型之间的关系。数据模型 通过数据实体建模，用户不用关心底层数据表的设计，通过创建数据模型可定义应用的数据模型的格式。数据模型里的每个实体代表一个业务抽象体，...
数据模型
作为业务人员，您可以将 API 服务的请求与响应定义成数据模型，通过模型复用减少繁琐的参数设置。该功能用在定义 HTTP 类型的 API 服务的参数，其他类型的 API 服务无需手动定义。关于此任务 目前支持以下数据模型定义方式：可视化编辑：...
创建数据模型
API 网关支持将 API 服务的请求与响应参数定义成数据模型。继而在创建 API 时，可以直接引用数据模型的配置参数，提高参数设置效率。本文介绍如何快速创建 API 参数数据模型。操作步骤 进入 API 网关控制台页面，在左侧导航栏中选择 API ...
入门实践
基于DataWorks的数据建模流程如下：空间管理员角色创建数据标准 模型设计师角色创建数据模型 模型设计师角色修改数据模型 模型设计师角色保存模型至模型库 开发角色提交模型至开发环境计算引擎 运维、部署或空间管理员角色发布模型至生产...
导出导入数据模型
如果您选择 覆盖导入：覆盖系统中相同表名的模型数据，所有的字段和索引以数据库中为准全量覆盖，不会增量导入。如果您选择 终止导入：所有的表都不会导入。说明 系统会为每张表自动生成一个模型编码，您也可以在下一步中手动修改。不管表...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
提交并发布模型
您可以将已创建的数据模型提交至开发环境，并发布至生产环境进行调度运行。本文为您介绍如何提交并发布已创建的数据模型。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情请...
模型广场
通义千问 大语言模型 通义千问开源系列 大语言模型 通义万相系列 LLaMa2 大语言模型 百川开源 大语言模型 ChatGLM开源双语对话语言模型 姜子牙通用大模型 Dolly开源大语言模型 BELLE开源中文对话大模型 元语功能型对话大模型V2 BiLLa开源...
07批量导入逻辑表
通过数据模型导入功能，一次批量导入多张数据模型。前提条件 已完成数据模型目录规划。按照数据模型导入Excel模板完成模型录入。操作目的 通过数据模型导入功能，一次批量导入多张数据模型。导入模型如下：workspace-tables 说明 该Excel中...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大规模语言模型，它在大模型服务平台上的模型名称为"ziya-llama-13b-v1。Ziya-LLaMA大模型V1是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，...
数据缓存概述
例如在机器学习场景下，是否使用数据缓存部署模型应用的流程如下：不使用数据缓存 下载模型数据到开发环境。将模型数据和应用打包制作容器镜像，并创建镜像缓存。基于镜像缓存部署应用。使用数据缓存 创建数据缓存拉取模型数据。将应用打包...
数据缓存概述
例如在机器学习场景下，是否使用数据缓存部署模型应用的流程如下：不使用数据缓存 下载模型数据到开发环境。将模型数据和应用打包制作容器镜像，并创建镜像缓存。基于镜像缓存部署应用。使用数据缓存 创建数据缓存拉取模型数据。将应用打包...
示例：模型设计
背景信息 技术建模包括限界上下文划分、领域模型、数据模型、服务模型等内容，主要目的是能够基于DDD的建模方法论将业务模型转化成技术模型，从而能高效指导中台应用的开发。更多信息，请参见 技术建模。限界上下文 示例项目中预置了两个...
- 产品推荐
- 这些文档可能帮助您