DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
2.0数据类型版本
您可以通过内建函数对TIMESTAMP类型数据执行与时区相关的计算，如 cast(<a timestamp>as string)将TIMESTAMP类型数据按照当前时区值转换成STRING类型。TIMESTAMP_NTZ TIMESTAMP_NTZ '2017-11-11 00:00:00.123456789' 无时区时间戳类型。取值...
增量导入
本章节介绍搜索引擎如何进行增量导入。请参见 RDS增量导入，将增量数据导入到宽表引擎中。导入宽表引擎后，后台会通过BDS服务自动将宽表引擎的增量数据同步到搜索引擎中。注意 同步到搜索引擎的数据仅限于已经配置好的schema映射。
增量导入
本章节介绍搜索引擎如何进行增量导入。请参见 RDS增量导入，将增量数据导入到宽表引擎中。导入宽表引擎后，后台会通过BDS服务自动将宽表引擎的增量数据同步到搜索引擎中。重要 同步到搜索引擎的数据仅限于已经配置好的schema映射。
向量检索使用指南
向量检索正逐渐成为搜索引擎、推荐系统以及其他多种应用中的核心技术。例如，电商网站使用它来提升商品推荐的相关性，社交媒体平台使用它来提高内容发现的精确度等。前提条件 已 开启PolarDB for AI功能。已通过 PolarDB MySQL版 的集群...
通过Reindex API迁移自建Elasticsearch数据
如果您需要迁移数据，且源索引的数据不需要进行复杂的转换和处理，您可以按照本文提供的步骤，使用Reindex API将数据从自建Elasticsearch集群迁移至Lindorm搜索引擎。前提条件 自建Elasticsearch（简称ES）集群为7.0.0~7.10.1版本。已开通...
搜索引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm 搜索引擎会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm搜索引擎的版本更新说明，选择在业务低峰期升级实例的搜索引擎版本。如何查看或升级实例的搜索引擎...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
Sensors Data（神策）数据源
示例"dataConverters":[{"type":"Date2Str","param":{"pattern":"yyyy-MM-dd"} }]pattern（可选）：将Date数据转换为String类型数据后，String类型数据的时间格式。Date2Long 将Date时间类型的数据转换为Long长整型类型。dataConverters":...
GetLindormInstanceList-获取Lindorm实例列表
lindorm SupportEngine integer 否 查询的实例支持的数据引擎类型，取值：1：支持搜索引擎。2：支持时序引擎。4：支持宽表引擎。8：支持文件引擎。说明 例如：SupportEngine 取值为 15，15=8+4+2+1，表示该实例支持搜索引擎、时序引擎、宽...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
存储类型
存储类型说明 云原生多模数据库Lindorm支持的存储类型及其适用场景如下：存储类型 访问延迟 适用场景 支持的引擎类型 扩展能力 标准型云存储 3ms~5ms Feed流数据、聊天、实时报表、在线计算等实时访问数据。宽表引擎、时序引擎、搜索引擎、...
MongoDB数据源
支持的字段类型 MongoDB Reader支持的MongoDB数据类型 数据集成支持大部分MongoDB类型，但也存在部分没有支持的情况，请注意检查您的数据类型。对于支持读取的数据类型，数据集成在读取时：基本类型的数据，会根据同步任务配置的读取字段...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
OpenSearch产品选型
开箱即用，无需运维，可一键式完成行业智能搜索全链路配置 高性能检索版 有订单、优惠券、物流、保单等高性能大数据检索场景需求，需低成本一站式快速搭建搜索系统的企业及开发者，可接入此类型 基于自研搜索引擎实现千亿数据毫秒级响应，...
配置列映射
推荐使用搜索引擎提供的动态列功能，搜索引擎通过动态列的后缀自动识别这一列的数据类型，格式为 列名:列的数据类型，列名以name为例，动态列支持的数据类型如下表：数据类型 targetField 示例值 INT name_i LONG name_l STRING name_s ...
异地备份方案概览
NoSQL 数据库类型 推荐方案 方案 方案特点 云Redis数据库 自建Redis数据库 其他云厂商的Redis数据库 云MongoDB数据库 自建MongoDB数据库 其他云厂商的MongoDB数据库 推荐在DBS进行 逻辑备份。通过公网将数据库实例进行异地备份，详情请参见...
创建实例
选择数据引擎 包括宽表引擎、时序引擎、搜索引擎、文件引擎和流引擎。您可以根据实际业务需求选购数据引擎的节点规格和数量，具体请参见 选择引擎类型 和 选择节点规格和数量。宽表引擎：可按需选择 宽表节点规格 和 宽表节点数量，以core...
发布模型至引擎
引擎实例 根据需求将表物化至 引擎类型 参数中相应类型的数据存储引擎。生效环境 可选择发布至 开发 或 生产 环境。说明 如果您使用的是简单模式的DataWorks工作空间，则仅支持发布表到生产环境。如果您使用的是标准模式的DataWorks工作...
全量导入
本章节介绍搜索引擎如何进行全量导入。请参见 RDS全量导入 将全量数据导入到宽表引擎中。将数据导入到宽表引擎后，请参见 通过构建索引完成全量数据同步，将全量数据导入到搜索引擎中。
全量导入
本章节介绍搜索引擎如何进行全量导入。请参见 RDS全量导入 将全量数据导入到宽表引擎中。将数据导入到宽表引擎后，请参见 构建全量数据索引，将全量数据导入到搜索引擎中。
基于向量检索版+LLM构建对话式搜索
行业算法版与高性能检索版的区别：产品概述:OpenSearch简介 OpenSearch是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，在大数据场景下实现千亿数据毫秒级响应，提供订单、物流、保单等场景检索方案。...
基于向量检索版+LLM构建对话式搜索
行业算法版与高性能检索版的区别：产品概述:OpenSearch简介 OpenSearch是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，在大数据场景下实现千亿数据毫秒级响应，提供订单、物流、保单等场景检索方案。...
开通指南（Elasticsearch兼容版本）
本文介绍如何开通 云原生多模数据库 Lindorm 搜索引擎Elasticsearch兼容版本以及如何查看连接地址。前提条件 云原生多模数据库 Lindorm 搜索引擎Elasticsearch兼容版本目前处于公测阶段，如需使用，请您 提交工单 进行申请，工单中需提供...
产品系列
引擎类型：宽表、时序、搜索、文件、计算和流引擎。存储类型：标准型云存储、性能型云存储、容量型云存储、本地SSD盘和本地HDD盘。大中型企业的生产环境。车联网、物联网、IoT工业互联网、风控、账单、广告、Feeds流、数据大屏等。Lindorm...
SQL其他常见问题
但您需要注意，MaxCompute支持的DECIMAL类型数据的最大长度为38位，但实际业务处理过程中如果数据存储为最大长度，在数据处理过程中很容易出现数据溢出问题，建议调小数据长度。新创建的MaxCompute项目不支持数据类型自动隐式转换，如何...
ALTER SYSTEM
已支持的配置项列表 配置项名称 数据类型 适用引擎 描述 FILE_FORMAT_VERSION Integer 宽表引擎 设置宽表引擎中数据文件的版本。宽表引擎数据文件的默认版本是2。说明 如果您在使用过程中遇到报错 Cell Tag is not supported since ...
数据可视化展现
在页面右上角，图示位置选择当前SQL查询需要查询的工作空间、引擎类型或数据源。您可以联系管理在 安全中心 对要查询的数据源进行授权。在 安全中心>安全策略>可查询数据源 界面，找到 odps_first 数据源，为您操作账号授权。回到SQL查询...
TSDB全量迁移至时序引擎
本文介绍时间序列数据库（Time Series Database，简称TSDB）全量迁移至 云原生多模数据库 Lindorm 时序引擎的方法。前提条件 已安装Linux或者macOS操作系统，并且安装以下环境。已安装Java环境，版本为JDK 1.8及以上。已安装Python环境，...
设置冷热分离
本文介绍各数据引擎设置冷热分离的方法。引擎类型 设置方法 宽表引擎 按自定义时间列冷热分离 按时间戳冷热分离 时序引擎 冷数据归档 搜索引擎 配置冷存储
产品优势
高效 分布式搜索引擎，可以高效的支持海量数据的检索，同时也支持数据的实时更新（秒级生效），非常适用于对查询耗时敏感、时效性要求高的搜索场景。低成本 支持多种索引压缩策略，同时支持多值索引加载测试，能够以较低的成本满足用户的...
查看连接地址
本文介绍通过云原生多模数据库Lindorm控制台查看各引擎类型的连接地址。专有网络和公网 网络类型 说明 专有网络 专有网络VPC（Virtual Private Cloud）是您自己专有的云上私有网络，不同的专有网络之间通过二层逻辑隔离，拥有较高的安全性...
创建实例
各个数据引擎的介绍和使用场景，请参见 引擎类型。Lindorm为分布式集群架构。各个数据引擎有各自独立的部署节点，且需要至少运行在2个节点上，以实现任务的分布式处理。不需要选购的数据引擎，保持节点数量为0即可。重要 实例创建成功后，...
概述
本文介绍 云原生多模数据库 Lindorm 搜索引擎（Elasticsearch兼容版本）支持的Java客户端以及Client兼容性说明。客户端简介 Lindorm搜索引擎支持使用以下两种Java客户端访问：Java High Level REST Client（推荐）：Elasticsearch官方于...
配置冷存储
云原生多模数据库 Lindorm 搜索引擎支持配置表级别的冷存储功能，可以将表数据存储至冷存储介质中，从而降低存储成本。本文介绍搜索引擎配置冷存储的具体操作。前提条件 已下载并安装Search Shell，具体操作请参见 通过Search Shell连接并...
常见问题
分词查询：数据查询时，搜索引擎会先对原始字符串进行分词，再对分词字段执行关键词匹配操作，例如在通用搜索引擎产品中进行关键词检索。这种查询方式通常无法保证每次检索都一定能匹配到数据，即使原始写入的数据中包含检索内容，但这些...
产品优势
聚合器 流式聚合，内存管理粒度细，可控性强 内存物化聚合，容易造内存OOM Lindorm VS 开源ElasticSearch VS 开源Solr 云原生多模数据库 Lindorm 搜索引擎是面向海量数据设计的分布式搜索存储，兼容开源Solr标准接口，下表介绍Lindorm搜索...
- 产品推荐
- 这些文档可能帮助您