数据去重
本文介绍数据去重算子的使用方法和注意事项。用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
设计阶段
企业应根据自身实际情况来进行设置，也可以参考如下数值：数仓分层 说明 ODS层 非去重数据：默认不保留。ETL临时表：保留14日。镜像全量表：重要数据建议采用极限存储。流水全量表：如果不可再生，则永久保存。DWD层 维度表：按日分区的...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
LLM-MD5去重（DLC）
LLM-MD5去重（DLC）组件主要用于计算文本的MD5哈希值，根据哈希值对文本进行去重。输入的OSS数据文件（JSONL格式，示例）需符合：每一行是一个合法的JSON对象，文件由多行JSON对象组成，整个文件本身不是合法的JSON对象。支持的 计算资源 ...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
非结构化分析
基于 AnalyticDB PostgreSQL版 实现非结构化数据向量分析示例 Web App把文本，图片或者视频等非结构化数据（后续简称非结构化数据）通过特征提取服务提取特征向量，然后再把特征向量写入云原生数据仓库PostgreSQL版向量分析的向量表。...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化数据，通常...
全文检索
人们通常选择数据库或数据仓库存储文本数据，但是将文本数据中有价值的信息提取出来并进行高效分析，往往需要涉及多个数据处理系统配合来实现，用户的使用门槛通常较高、维护成本较大。通常在使用数据仓库进行文本数据的加工和分析时，离不...
表引擎
Full-text Search using Inverted Indexes 使用倒排索引进行全文搜索，用于在大规模文本数据中进行全文搜索和检索。Log Log系列引擎适用于快速写入小表（1百万行左右的表）并读取全部数据的场景。该系列引擎的共同特点如下。数据被追加写入...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 已创建源数据库自建Oracle和目标实例 云原生数据仓库AnalyticDB PostgreSQL版。说明 目标实例...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
自建Oracle迁移至自建PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c。自建Oracle数据库已开启...
自建Oracle迁移至阿里云消息队列Kafka版
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
导入概述
如果单表的数据量特别大，或者需要做为全局数据字典来精确去重可以考虑使用 Spark Load。实时数据导入：日志数据和业务数据库的Binlog同步到Kafka后，优先推荐通过 Routine Load 导入StarRocks。如果导入过程中有复杂的多表关联和ETL预处理...
RDS MySQL迁移至AnalyticDB MySQL 3.0
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 快速...
RDS MySQL同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 RDS MySQL 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
RDS MySQL实例间的同步
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例间的数据同步。支持的源和目标数据库 MySQL间同步支持以下源或目标数据库。本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。源数据...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
迁移时源库为Oracle的注意事项及限制
如果源Oracle数据库中存在表名相同仅大小写不同的表，可能会导致迁移对象重名并在结构迁移中提示“对象已经存在”。如果出现这种情况，请在配置迁移对象的时候，使用DTS提供的对象名映射功能对重名的对象进行重命名，将表名转为大写，详情...
深度解析Lindorm搜索索引（SearchIndex）特性
按照某个字段进行聚类统计，求取sum/max/min/avg等，或者返回去重后的结果集。模糊查询。查询以'阿里'开头的数据，可以匹配出'阿里云'的结果集，类似MySQL的like语法。诸如此类对海量数据低成本存储和检索多样化的需求，成为越来越多业务的...
时空引擎版本发布记录
4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue 函数，支持指定像素位置设置像素值。栅格数据支持对HDFS文件系统支持。增强 ST_CreateRast 函数，支持基于HDFS栅格数据创建。增强 ST_...
PolarDB-X 2.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至阿里云消息队列Kafka，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
RDS MySQL迁移至MaxCompute
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以RDS MySQL实例为源数据库介绍配置...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
数据湖管理FAQ
“Lakehouse”是基于数据湖的数仓，一种新的大数据范式，最根本出发点就是为了解决单纯Data Lake应用下的各种问题，例如不支持UPSERT，不支持多版本，不支持增量ETL，小文件太多，格式不是分析型的，元信息不统一，Schema没有约束，缺乏...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 ...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB MySQL版 集群同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB MySQL版 集群，...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以 RDS MySQL 实例为源数据库介绍配置...
PolarDB MySQL版迁移至AnalyticDB MySQL 3.0
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见...
自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle同步至PolarDB PostgreSQL版（兼容Oracle）
PolarDB PostgreSQL版（兼容Oracle）集群提供了分钟级的配置升降级、秒级的故障恢复、全局数据一致性的数据备份容灾服务。本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle同步至 PolarDB PostgreSQL版（兼容...
PolarDB PostgreSQL版间的迁移
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮...
自建MySQL迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
- 产品推荐
- 这些文档可能帮助您