产品架构
数据订阅的工作原理 数据订阅支持实时拉取RDS实例的增量日志，用户可以通过DTS提供的SDK数据订阅服务端来订阅增量日志，同时可以根据业务需求，实现数据定制化消费。DTS服务端的日志拉取模块主要实现从数据源抓取原始数据，通过解析、过滤...
向量计算概述
Hologres与Proxima深度整合，在向量计算方面的优势如下：向量计算功能强大：时效性：支持向量数据实时写入、实时更新，数据写入即可查。查询能力：支持向量检索与其他复杂过滤条件融合查询，支持同时使用向量索引和其他结构化索引。高性能...
线性支持向量机
背景信息 本文中的线性支持向量机算法不通过核函数方式实现，具体实现理论请参见 算法原理 中的Trust Region Method for L2-SVM部分。使用限制 线性支持向量机算法组件仅支持二分类场景。组件配置 您可以使用以下任意一种方式，配置线性...
使用向量检索插件（aliyun-knn）
POST test/_doc {"feature":[1.0,2.0]} 说明 除binary类型外，其他类型数组长度必须与 dim 保持一致，而binary类型的向量数据需要转换成无符号的32位十进制（uint32）数组表示，且 dim 必须为32的整数倍。向量查询 标准检索 执行如下命令，...
高维向量检索（PASE）
左边向量数据类型必须为float4[]，右边向量数据类型必须为pase。pase类型为插件内定义的数据类型，最多包括三个构造函数。以示例第三条的 float4[],0,1 部分进行说明：第一个参数为float4[]，代表右向量数据类型；第二个参数在此处没有特殊...
高维向量检索（PASE）
左边向量数据类型必须为float4[]，右边向量数据类型必须为pase。pase类型为插件内定义的数据类型，最多包括三个构造函数。以示例第三条的 float4[],0,1 部分进行说明：第一个参数为float4[]，代表右向量数据类型；第二个参数在此处没有特殊...
高效向量检索（PASE）
左边向量数据类型必须为float4[]，右边向量数据类型必须为pase。pase类型为插件内定义的数据类型，包含如上示例的三种构造方法，以示例第三条的 float4[],0,1 部分进行说明：第一个参数为float4[]，代表右向量数据类型；第二个参数在此处...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
通过SQL访问向量数据库
Java 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库支持使用PostgreSQL或Greenplum的JDBC驱动包连接。JDBC连接数据库的操作，请参见 JDBC。在确保有PostgreSQL JDBC驱动的前提下，如果您使用Maven，可以在pom.xml文件中添加以下依赖：...
2023年
无 V6.3.10.20 类别 功能 功能描述 相关文档 新增 向量检索 向量数据库支持内积（IP）距离和余弦（COSINE）距离。向量数据库概述 缺陷修复 修复pg_cron非superuser账号不能创建指定用户定时任务的问题。修复Oracle字符串连接兼容性的问题。...
非结构化数据向量检索
同时，Lindorm也支持向量数据与标量数据的混合检索。背景信息 非结构化数据向量检索适用于以图搜图、声纹匹配、基于语义的文本检索和推荐（通过文本内容检索相近文本）、文件去重（通过文件指纹去除重复文本）、商品图片分析（例如在大量...
基于AnalyticDB for PostgreSQL图搜API构建图搜应用
export ALIBABA_CLOUD_ACCESS_KEY_ID="<YOUR_ALIBABA_CLOUD_ACCESS_KEY_ID>"export ALIBABA_CLOUD_ACCESS_KEY_SECRED="<YOUR_ALIBABA_CLOUD_ACCESS_KEY_SECRET>"准备工作 创建向量表或索引 创建向量索引：收集并准备要建立索引的向量数据，...
支持向量机
计算逻辑原理 支持向量机分类：就是找到一个平面，让两个分类集合的支持向量或者所有的数据离分类平面最远。支持向量机回归：就是找到一个回归平面，让一个集合的所有数据到该平面的距离最近。参数说明 IN端口 参数名 参数描述 是否必填 ...
文档修订记录
向量计算使用指南 2023.12.27 新增向量计算概述 新说明 Hologres支持向量计算，可以使用向量数据表示非结构化数据的特征，通过高性能向量检索实现对非结构化数据的快速查询。本文为您介绍Hologres中向量计算的特点及优势。向量计算概述 ...
向量生成（rds_embedding）
在生成嵌入时，向量数据的值取决于所参照的模型数据，RDS PostgreSQL支持使用rds_embedding插件，将数据库中的文本内容，基于引入的外部模型，生成对应的向量数据，还支持使用向量相似度运算符，计算数据库内文本与模型中指定文本的相似度...
应用场景
当用户搜索时，支持以文搜图，图搜图以及文字+图片组合搜索精确过滤等多种模态的搜索模式，将搜索需求也通过向量表示，在向量数据库中进行相似搜索，帮助用户迅速找到想要的图片，从而提升用户体验。视频检索场景 在视频检索场景中，例如...
向量计算SDK
data_filters定义过滤条件 holo.search([0.1,0.1,0.1,0.1,0.1],k=2,schema_data_filters={'t':'text 1'})#结果[{'id':'1','metadata':{'b':123},'distance':4.05}]其他操作 更新向量数据 通过Hologres Vector进行数据更新的原理为：当插入...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
配置同步任务
参数 描述 数据源 支持根据数据类型筛选数据源。Dataphin支持的同步来源数据源类型包括MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL、MongoDB、Microsoft SQL Server。模式 当数据源类型为MySQL、Oracle、PostgreSQL、AnalyticDB...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
概述
云原生数据仓库AnalyticDB PostgreSQL版 向量数据库本身既支持向量索引也支持全文索引，因此它可以通过向量检索与全文检索实现双路召回，极大地提高向量数据的召回准确性。数据实时更新和实时查询。云原生数据仓库AnalyticDB PostgreSQL版 ...
基于PolarDB PostgreSQL和LLM构建企业专属Chatbot
LangChain和ChatGPT Retrieval Plugin均已经支持了基于PGVector扩展的PostgreSQL作为其后端向量数据库，这使得与 PolarDB PostgreSQL版 集群的集成变得更加便捷。通过这样的集成，您可以方便地完成第一阶段领域知识库的数据准备，并充分...
新功能发布记录
发布记录 发布记录 时间 特性 类别 描述 2023-03-26 产品新功能迭代 新增 向量管理：控制支持向量数据管理（增、删、预览）全量灰度切换 监控指标更新 变更历史FSM 优化 2024-01-17 产品新功能迭代 新增 控制台支持主键查询、上传图片/文本...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
阿里云大模型RAG对话系统最佳实践
在左侧导航栏单击 工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。在工作空间页面的左侧导航栏选择 模型部署>模型在线服务（EAS），进入 模型在线服务 页面。在模型在线服务页面，单击 部署服务，在 ...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
高维向量相似度搜索（pgvector）
pgvector主要提供如下能力：支持数据类型vector，能够对向量数据存储以及查询。支持精确和近似最近邻搜索（ANN，Approximate Nearest Neighbor），其距离或相似度度量方法包括欧氏距离（L2）、余弦相似度（Cosine）以及内积运算（Inner ...
如何选择备份方式
增量备份原理 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能...
数据查询与分析管控
DataWorks支持授权某角色或成员，在产品模块拥有指定数据源的查询权限；同时，对查询结果可执行的展示、复制、下载、分享等操作进行权限管控，确保数据操作的安全性。本文为您介绍数据查询与分析管控的相关内容。背景信息 数据查询与分析...
基于RDS PostgreSQL构建由LLM驱动的专属ChatBot
LangChain和ChatGPT Retrieval Plugin均已经支持了基于pgvector扩展的PostgreSQL作为其后端向量数据库，这使得与RDS PostgreSQL实例的集成变得更加便捷。通过这样的集成，您可以方便地完成第一阶段领域知识库的数据准备，并充分利用...
AliPG功能模块
PASE暂时不支持特征向量的抽取与产出，您需要自行检索实体的特征向量，PASE负责的工作是根据已产出的海量级别的向量进行相似向量的检索。日志查询 log_fdw AliPG提供log_fdw插件，可以直接通过外部表查询到日志内容。Replication Slot管理 ...
Linux集成开发指南
说明 以上API接口的第一个参数是向量数据库的指针，该指针可以通过 sail:face:FaceController:GetNormalFaceDB()获取正常的向量数据库。口罩 本版本暂不支持该功能，如有业务需要，请通过钉钉群（23109592）加入阿里云视觉智能开放平台咨询...
功能特性
云原生内存数据库Tair 云原生内存数据库Tair是阿里云自研数据库，兼容Redis的同时提供更多数据结构和企业级能力，包括全球多活、任意时间点恢复和透明加密等。支持多种存储介质和不同场景性价比需求：内存型支持超高吞吐，性能为Redis三倍...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
功能优势
高维向量数据的高准度和高性能 以典型的人脸512维向量为例，分析型数据库MySQL版向量分析提供百亿向量100 QPS、50毫秒响应时间（RT）约束下99%的数据召回率；两亿向量1000 QPS、1秒 RT约束下99%的数据召回率。结构化和非结构化混合检索 ...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
2020年
消费监控告警消费控制 2020年3月更新记录 时间 特性 类别 描述 产品文档 2020-03-27 支持三种MaxCompute数据类型版本。新说明 介绍三种MaxCompute数据类型版本配置、适用场景和支持的数据类型。数据类型版本说明 1.0数据类型版本 2.0数据...
2023年
JSON_SET 2023-10-09 新增Sugar BI连接MaxCompute 新说明 Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar ...
模型创建
否 retrieval_num_shards INTEGER 向量索引使用的分片个数，向量数据和结构化数据进行融合检索时，每个索引表分片会先根据向量的相似查询获取topK数据，再基于合并后的topK数据进行结构化数据过滤。默认值为4。否 text_analyzer VARCHAR 此...
- 产品推荐
- 这些文档可能帮助您