PolarDB HTAP实时数据分析技术解密
而这些分布式数据库产品大部分采用了分布式Share Nothing的方案。核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性。由于一份数据在多个副本之间完全独立，因此在不同副本上使用不同格式进行存储，来服务不同的...
列存索引技术架构介绍
基于多副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议，这些分布式数据库产品大部分采用了分布式Share Nothing方案，其一个核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性...
名词解释
实例管理 名称 说明 实例 实例是用户的一套数据配置，包括数据源结构、索引结构及其它属性配置。一个实例即一个搜索服务。文档 文档是可搜索的结构化数据单元。文档包含一个或多个字段，但必须有主键字段，高性能检索版实例通过主键值来...
安装Proxima CE包
在使用向量计算功能之前，您需要安装Proxima CE包，本文为您介绍Proxima CE的环境准备、安装包获取方式、上传及输入数据准备等过程。环境准备 已创建MaxCompute项目，详情请参见 创建MaxCompute项目。已创建DataWorks工作空间，并绑定...
多路召回实战
该实践可用于有大模型算法的团队实现对话式搜索服务，方案架构如下（比较简略，后期会优化的）：以上就是对话式搜索的简易架构，召回引擎版在整个架构中类似于向量检索数据库，支持用户通过向量和文本进行多路召回，同时支持丰富的排序函数...
名词解释
实例管理 名称 说明 实例 实例是用户的一套数据配置，包括数据源结构、索引结构及其它属性配置。一个实例即一个搜索服务。文档 文档是可搜索的结构化数据单元。文档包含一个或多个字段，但必须有主键字段，OpenSearch通过主键值来确定唯一...
基于PolarDB PostgreSQL和LLM构建企业专属Chatbot
在云原生分布式数据库领域整体处于国际领先水平。PGVector 插件目前已经在开发者社区以及基于PostgreSQL的开源数据库中得到广泛应用，同时ChatGPT Retrieval Plugin等工具也及时适配了PostgreSQL。这表明 PolarDB PostgreSQL版 在向量化...
自媒体：易撰
解决方案 通过 PolarDB-X+RDS的分布式数据库架构承载数据获取端高并发写。通过 PolarDB-X+PolarDB承载大范围时间查询业务场景。通过PolarDB海量存储能力承载5 TB~10 TB级的数据存储场景。通过PolarDB满足客户复杂大范围数据查询的诉求同时...
基于RDS PostgreSQL构建由LLM驱动的专属ChatBot
随着ChatGPT的问世，人们开始认识到大语言模型（LLM，Large language model）和生成式人工智能在多个领域的潜力，如文稿撰写、图像生成、代码优化和信息搜索等。LLM已成为个人和企业的得力助手，并朝着超级应用的方向发展，引领着新的生态...
内核版本发布记录
Analyticsearch查询优化上线，基于日志检索插件实现查询性能大幅提升，具体说明如下：日志检索场景，例如Kibana Discover查询加速，优化索引合并策略及Date_histogram执行计划策略，无条件或单条件查询性能提升6倍以上（日增量>1 TB数据量...
Tair小版本发布日志
Tair介绍 随着互联网的高速发展，业务场景变得越来越丰富和复杂，云原生内存数据库Tair 作为一个高可用、高性能的分布式NoSQL数据库，从访问延时、持久化需求、整体成本这三个核心维度考量，基于DRAM、NVM和ESSD云盘存储介质，推出了多种...
版本特性
6.x版本（6.3、6.7、6.8版本）新增开源特性：一个index只能有一个type，推荐使用_doc。从6.6.0开始，新增索引生命周期管理ILM（Index Lifecycle Management），降低索引维护成本。新增 Rolling up historical data 功能，实现历史数据汇总...
进阶使用
前置知识 BM25简介 BM25算法（Best Matching 25）是一种广泛用于信息检索领域的排名函数，用于在给定查询（Query）时对一组文档（Document）进行评分和排序。BM25在计算Query和Document之间的相似度时，本质上是依次计算Query中每个单词和...
RDS MySQL 8.0开放参数一览表
参数名称 大版本 是否 动态参数 默认值 取值范围 小版本范围 中文描述 社区链接 automatic_sp_privileges 8.0 1 ON[ON|OFF]无限制 当这个变量具有值1（默认值）时，如果用户无法执行、更改或删除存储程序，则服务器会自动授予创建存储程序...
RDS MySQL 5.7开放参数一览表
参数名称 大版本 是否 动态参数 默认值 取值范围 小版本范围 中文描述 社区链接 autocommit 5.7 1 ON[ON|OFF]无限制 自动提交模式。如果设置为1，则对表的所有更改立即生效。如果设置为0，则必须使用COMMIT接受一个事务或ROLLBACK取消它。...
RDS MySQL开放参数一览表
各版本参数说明目录如下：MySQL5.7 MySQL8.0 MySQL5.7 参数名称 大版本 是否 动态参数 默认值 取值范围 小版本范围 中文描述 社区链接 autocommit 5.7 1 ON[ON|OFF]无限制 自动提交模式。如果设置为1，则对表的所有更改立即生效。如果设置...
时空检索
时空检索是指基于空间元数据从空间和时间两个范围统一检索数据，检索结果支持查看详情和下载。前提条件 已添加空间元数据，具体操作，请参见 添加数据。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
HDFS概述
HDFS适用于大规模数据的分布式读写，特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下：具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面，方便管理。拥有类似于Linux的文件权限管理。Locality感知，...
MaxFrame概述
使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、...
向量检索使用指南
高效检索：通过使用ANN技术，能够在大规模数据集上实现快速搜索。向量检索正逐渐成为搜索引擎、推荐系统以及其他多种应用中的核心技术。例如，电商网站使用它来提升商品推荐的相关性，社交媒体平台使用它来提高内容发现的精确度等。前提...
规格计算器
向量数据情况：向量数据条数：用户要写入引擎向量数据doc数。向量维度：用户写入引擎的向量维度。向量算法：可根据需求进行选择，目前支持三种算法：HNSW：基于图的向量检索算法，召回率极高且性能很好，内存及存储占用与Linear相当，在低...
Serverless应用指南
本文介绍了访问Serverless应用的各种方式，将源数据（MySQL数据、日志数据、ES数据）迁移到Serverless应用的方法，以及在Serverless应用中实现数据检索、分析、交互的方法。访问指南 访问方式 相关文档 curl 通过curl命令访问与管理...
实例指标
SEARCHER-QUERY（数据节点-查询相关）指标项 含义 qps 数据节点查询qps totalLatency 数据节点查询耗时 fetchFieldsLatency 数据节点获取召回结果耗时 vectorSeekCount 向量检索seek doc数 vectorRecallRatio 向量检索召回率 ...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
全文检索
全文检索（Full Text Search）指数据库将自然语言文本转换为可被查询数据的能力。云原生数据仓库AnalyticDB PostgreSQL版 使用PostgreSQL内核，提供完善的全文检索功能。本文介绍 AnalyticDB PostgreSQL版 如何实现“一站式全文检索”业务...
安装DashVector SDK
DashVector向量检索服务提供下列编程语言的SDK供开发者选择。...Python SDK 说明 需要提前安装Python3.7及...HTTP 协议进行Collection操作（如创建Collection、删除Collection等）、Doc操作（插入Doc、检索Doc等）。详情可参考 HTTP API 列表。
什么是自动驾驶开发平台
非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力，构建自动调度的10倍加速的自动驾驶数据工作流 多模态数据检索对自动驾驶各类数据支持结构化标签检索、无标签自然语义检索、以图搜图和万物检索等多种检索方式，...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
获取Collection
说明 通过Collection对象，后续可进行Doc相关操作，如插入Doc、检索Doc、管理Partition等 前提条件 已创建Cluster：创建Cluster。已获得API-KEY：API-KEY管理。已安装最新版SDK：安装DashVector SDK。接口定义 Python Client.get(name:str)...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
什么是智能开放搜索OpenSearch
大数据检索，较之行业算法版，高性能检索版取消了繁重的行业算法能力，在支持搜索通用能力（分析器、排序）的基础上，重点关注业务查询和写入的吞吐，为开发者提供了大数据集检索场景下，秒级响应、实时查询的能力。向量检索版 Pass平台，...
产品规格
或有任何反馈、期望获取更多技术支持，欢迎通过如下方式联系我们：官方钉钉群：25130022704 技术支持邮箱：dashvector@service.aliyun.com 存储容量参考 实例类型 实例规格 Doc容量参考（基于768维FP32向量数据）Doc容量参考（基于1536维FP...
获取Collection
说明 通过Collection对象，后续可进行Doc相关操作，如插入Doc、检索Doc、管理Partition等 前提条件 已创建Cluster：创建Cluster。已获得API-KEY：API-KEY管理。已安装最新版SDK：安装DashVector SDK。接口定义 Java/class DashVectorClient...
pgvector兼容模式使用指南
pgvector目前主要在单机PostgreSQL数据库上使用，而 AnalyticDB PostgreSQL版 向量数据库是分布式版，能处理更大的向量数据量。AnalyticDB PostgreSQL版 向量数据库使用自研的FastANN向量检索引擎，具备比原生pgvector更优秀的性能，详情请...
约束与限制
数据一致性说明 由于读写分离架构设计，插入Doc、更新Doc、插入或更新Doc 操作后，对应的Doc可能无法立即被 检索Doc 和 获取Doc 操作获取到；同样，删除Doc 操作后，对应Doc可能无法立即对 检索Doc 和 获取Doc 不可见。DashVector会保障...
东软案例
客户感言 利用阿里云新一代 云原生多模数据库 Lindorm“灵动”引擎驱动的政府、企业数字信息系统智能运维解决方案，东软做到了实时、海量、异构监控数据一站式存储，实现指标、日志、代码链路和网络包等异构数据融合分析，高可靠数据保障和...
图扑案例
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展，推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增，与之对应的采集数据量和数据类型快速增长，导致数据存储、检索难度更大。现有解决方案中，通常依赖自建单...
产品优势
灵活、可定制 开发者可基于自身业务特性与数据，定制相应的算法模型、应用结构、数据处理、查询分析、排序等配置，满足个性化搜索需求，提升搜索结果点击率，实现业务快速迭代，极大缩短需求上线的周期。安全、稳定 提供7×24小时的运行...
- 产品推荐
- 这些文档可能帮助您