数据类型定义
Doc Python@dataclass(frozen=True)class Doc(object):id:str#主键 vector:Union[List[int],List[float],np.ndarray]#向量数据 sparse_vector:Optional[Dict[int,float]]=None#稀疏向量数据 fields:Optional[FieldDataType]=None#Doc自定义...
SmartData 3.6.x版本简介
特性 描述 JindoSDK支持本地缓存（Local）策略 JindoSDK支持本地缓存策略，使得在未部署SmartData服务的情况下，也能支持本地数据缓存，提高OSS数据的访问效率。JindoSDK支持和FileSystem平级的Object Store API JindoSDK在已有FileSystem...
应用场景
用户只需要先将商品的图像和描述信息使用Embedding技术转换为向量表示，并将其存储到向量数据库中。当用户输入查询请求时，向量检索服务 可以将其转换为向量表示，然后计算查询向量与向量数据库中所有商品向量的相似度，然后返回相似度最高...
向量新增
参数 对应API参数名称 说明 是否必选 向量 vector 向量数据，例如[1.00,2.00,3.00,4.00]。说明 新增向量的向量维度和数据类型必须与创建的Collection一致。是 主键ID id 必须由大写字母、小写字母、数字和_-!字符组成。大小不超过64个字符...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
向量更新
参数 对应API参数名称 说明 是否必选 向量 vector 向量数据，例如[1.00,2.00,3.00,4.00]。说明 新增向量的向量维度和数据类型必须与创建的Collection一致。是 主键ID id 必须由大写字母、小写字母、数字和_-!字符组成。大小不超过64个字符...
创建Collection
是 向量数据类型 dtype 向量数据类型，指向量数组中元素的数据类型，向量检索服务目前支持"Float"（默认）/"INT8"两种数据类型。例如：[11,22,33,44]则为INT8型，[1.1,2.2,3.3,4.4]则为Float型。请根据业务实际情况选择。是 距离度量方式 ...
产品更新动态
2023年4月 发布时间 2023-04-25 功能名称 功能描述 相关文档 支持数据更新——实现卡片内容的动态数据呈现 通过数据库连接方式的数据源，可以设置数据更新频率，手动/周期完成数据内容的更新，目前支持的可更新数据源是：MySQL、ADB MySQL...
使用限制
使用MongoDB工具将MongoDB Atlas迁移至阿里云 使用DTS将MongoDB Atlas数据库迁移至阿里云 云数据库MongoDB实例间迁移 迁移MongoDB实例至其他地域 云数据库MongoDB支持使用以下方法同步分片集群实例数据。云数据库MongoDB版（分片集群架构）...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
MaxCompute数据源
BINARY 支持 支持 支持 FLOAT 支持 支持 支持 DOUBLE 支持 支持 支持 DECIMAL(pecision,scale)支持 支持 支持 VARCHAR(n)支持 支持 支持 CHAR(n)不支持 支持 支持 STRING 支持 支持 支持 DATE 支持 支持 支持 DATETIME 支持 支持 支持 ...
使用限制
云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）使用MongoShake实现MongoDB实例间的单向同步 使用MongoShake实现MongoDB实例间的延迟同步 连接实例 云数据库MongoDB支持使用以下方法连接副本集实例。...
通用文本向量
基于LLM底座的统一向量化模型，面向全球多个主流语种，提供高水准的向量服务，帮助用户将文本数据快速转换为高质量的向量数据。开发者可以通过以下链接，了解如何通过大模型服务平台调用通用文本向量API。快速开始 同步接口API详情 批处理...
向量计算实例规格推荐
向量维度 向量数据行数 建议最小实例规格 128 小于2亿 32Core 2亿~4亿 64Core 大于4亿 128Core起 256 小于6000万 32Core 6000万~12000万 64Core 大于12000万 128Core起 512 小于3000万 32Core 3000万~6400万 64Core 大于6400万 128Core起 ...
常见问题
DashVector当前支持单精度浮点数的向量数据类型，又称FP32或float32。其精度范围如下：若传入的向量数据精度超出上述表达范围，将自动近似到单精度表达范围内的最近值，也就发生了“精度损失”。一个典型的场景：使用DashScope的 ONE-PEACE...
添加数据
表单模式添加数据 添加向量数据 在向量管理>添加数据页中选择表进行添加数据：添加相应字段值（包括主键、稠密向量），点击 添加：当执行结果出现"message":"success"说明数据上传成功：数据上传成功后，可以在查询测试页面进行查询：添加...
新功能发布记录
备份恢复计费说明 备份恢复概览 备份策略 2023 年 3 月 17 日 功能描述 相关文档 开发者中心使用指南 支持数据脱敏，提供数据静态脱敏功能，在数据导出、结果集导出等场景支持开启数据脱敏策略。例如：ODC 支持对邮箱、银行卡号、固定电话...
向量索引通用配置
向量分隔符 可自定义 向量检索时各维度使用的分隔符（如vector:'1.05066,0.15610,0.156145.' 其中分隔符为逗号）线性构建的阈值 默认为5000 表示数据量在5000以内用线性 忽略有问题的向量数据 true false 当向量维度不正常，向量数据为空时...
概述
本文介绍如何利用 AnalyticDB PostgreSQL版 的OpenAPI快速构建Retrieval Augmentation Generation（RAG）应用。RAG架构通过信息检索系统，增加了大语言模型...初始化向量数据库。创建Namespace。创建文档库。文档管理。文档检索和LLM集成。
API概览
UpsertCollectionDataAsync 异步上传向量数据 使用本地文件或公网可免密访问的文件链接异步上传向量数据，最大支持200MB。CancelUpsertCollectionDataJob 取消异步上传向量数据任务 通过JobId取消异步上传向量数据的任务。...
pgvector兼容模式使用指南
pgvector目前主要在单机PostgreSQL数据库上使用，而 AnalyticDB PostgreSQL版 向量数据库是分布式版，能处理更大的向量数据量。AnalyticDB PostgreSQL版 向量数据库使用自研的FastANN向量检索引擎，具备比原生pgvector更优秀的性能，详情请...
创建Redis数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 host Redis的连接地址。若您...
创建RocketMQ数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint RocketMQ实例的...
创建Impala数据源
参数 描述 数据库类型 请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
产品优势
自己用工具，不支持在线增量 自己用工具，不支持在线增量 Spark分析 产品化深度集成，支持将Lindorm数据增量同步到Spark、通过Spark SQL分析Lindorm、分析结果离线回流到Lindorm等。无优化，数据集成需要较大开发 无优化，数据集成需要较大...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
创建OpenGauss数据源
使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图指引，进入 新建数据源 对话框。在新建数据源对话框的 关系型数据库 区域，选择 ...
创建OpenGauss数据源
使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图指引，进入 新建数据源 对话框。在新建数据源对话框的 关系型数据库 区域，选择 ...
创建PostgreSQL数据源
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
创建Microsoft SQL Server数据源
使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 新建数据源 对话框。在 新建数据源 对话框的 关系型数据库 ...
创建Hologres数据源
使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
组件与数据类型的兼容
JDBC 支持 支持 支持 支持 支持 Graph 支持 支持 支持 支持 不支持 Tunnel 支持 支持 支持 支持 支持 DataWorks（数据集成）支持 支持 支持 支持 支持 DataX 支持 支持 支持 支持 不支持 DataWorks（数据质量）支持 支持 支持 支持 不支持 ...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
创建Redis数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 host Redis的连接地址。若您...
创建Microsoft SQL Server数据源
使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 新建数据源 对话框。在 新建数据源 对话框的 关系型数据库 ...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
- 产品推荐
- 这些文档可能帮助您