数据导入常见问题
例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入语句中却指定制表符（\t）作为列分隔符，最终导致源数据的三列数据解析成了一列数据。解决方案 修改导入命令或导入语句中的列分隔符为逗号（,），...
列存索引技术架构介绍
MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
CDC问题
MySQL CDC读取全量数据后，不读增量数据是为什么？如何判断MySQL CDC作业是否已完成全量数据同步？全表读取阶段效率慢、存在反压，应该如何解决？Flink CDC作业失败后能不能彻底退出，而不是重启？MySQL/Hologres CDC源表不支持窗口函数，...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
MySQL数据源
不支持 不支持 不支持 MULTILINESTRING 不支持 不支持 不支持 不支持 MULTIPOLYGON 不支持 不支持 不支持 不支持 GEOMETRYCOLLECTION 不支持 不支持 不支持 不支持 数据同步前准备：MySQL环境准备 在DataWorks上进行数据同步前，您需要参考...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
当源端删除其中一条数据时，由于匹配条件是 where c1=1 and c2=2，会导致目标端的两条 c1=1 和 c2=2 的数据均被删除，导致源端和目标端的数据不一致。对于 tsvector 类型字段的迁移，如果涉及反向增量至 RDS PostgreSQL 实例，在 OceanBase...
Proxool 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Proxool 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 proxool-mysql-client 示例工程 前提条件 您已安装 OceanBase ...
过滤器
使用SingleColumnValueFilter过滤数据 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据Col0列的值过滤数据。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder ...
运行失败
例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121.23128767846816278193456789087654~0.000000000000000000000000000000000000000001~5.5，会导致在数值计算时溢出或者出现除零错误。...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
查询Profile
本文介绍 云数据库 SelectDB 版 的Profile功能和使用方式，为查询性能分析提供参考和依据。打开查询Profile 通过如下命令打开会话变量 is_report_success。SET enable_profile=true;打开查询Profile后，执行查询时，SelectDB会产生该查询的...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
列存索引如何实现高效数据过滤
如下图，为表的性别列和职级建立了位图索引，表中只有5行数据，那么一个列值对应的位图只需要5个bit即可。相对于传统的B+tree索引，位图索引所需要的存储空间非常少，具体大小与基数和总的行数相关。对于全局位图索引来说，由于位图索引的...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
文档修订记录
MySQL整库数据离线同步至Hive 2023.4.12 更新功能 数据集成 补充 行模式、列模式 两种数据读取与写入方式，可针对宽表与时序表进行数据读取与写入。Tablestore数据源 Tablestore Stream数据源 2023.4.7 新增功能 数据集成 DataWorks数据...
Tablestore数据源
使用限制 Tablestore Reader和Writer插件实现了从Tablestore读取和写入数据，包含 行模式、列模式 两种数据读取与写入方式，可针对宽表与时序表进行数据读取与写入。列模式：在Tablestore多版本模型下，表中的数据组织为 行>列>版本 三级的...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
Tunnel命令常见问题
Tunnel Upload命令支持上传海量数据，如果出现内存溢出，可能是因为数据的行分隔符和列分隔符设置错误，导致整个文本被认为是同一条数据，全部缓存至内存中，导致内存溢出报错。这种情况下可以先用少量的数据进行测试，当-td 及-fd 调试...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
开发和调试
如果不指定，只从 warehouse 读取表或资源的meta和数据，不存在则抛异常。如果指定，会先从 warehouse 读取，不存在时会远程连接MaxCompute读取。odps.access.id：连接MaxCompute服务的AccessKey ID，只在指定 odps.end.point 时有效。odps...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
CREATE TABLE
参与Join的两个表，按相同的分布键（Join列）进行数据分布，使得两个表相同键值的数据被分布到同一分片，可直接在同一分片进行Join操作，无需在分片之间进行数据传输，能够有效减少查询过程中的数据重分布，提升查询性能。例如，需要按照...
MariaDB数据源
DATE 支持 支持 DATETIME 支持 支持 TIMESTAMP 支持 支持 TIME 支持 支持 YEAR 支持 支持 LINESTRING 不支持 不支持 POLYGON 不支持 不支持 MULTIPOINT 不支持 不支持 MULTILINESTRING 不支持 不支持 MULTIPOLYGON 不支持 不支持 ...
Oracle数据源
支持 不支持 STRUCT 支持 支持 不支持 User-Defined Types 不支持 不支持 不支持 AnyType 不支持 不支持 不支持 AnyData 不支持 不支持 不支持 AnyDataSet 不支持 不支持 不支持 XmlType 不支持 不支持 不支持 Spatial Types 不支持 不支持...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
RDS术语
此外，它还提供了用于部署、监视和升级数据层组件（如应用程序使用的数据库和数据仓库）的工具以生成查询和脚本。实例 一个独立占用物理内存的数据库服务进程，是虚拟化的数据库服务器。可以设置不同的内存大小、磁盘空间和数据库类型。您...
通过文件管理优化性能
为了提升查询性能，Delta Engine对数据的存储和布局进行了优化，目前支持两种布局算法：bin-packing和Z-Ordering。在本文中，我们会介绍如何使用这两种布局算法并给出使用案例。此外我们还介绍了Delta Engine的Data skipping功能，以及该...
如何基于LSM-tree架构实现一写多读
本文主要阐述如何基于LSM-tree结构的存储引擎实现数据库的一写多读能力。LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
高并发点查
本文介绍 云数据库 SelectDB 版 中 高并发点查相关优化设计和使用指南，帮助您优化查询并发和响应延时。背景 在高并发服务场景中，一般是从系统中获取整行数据。而SelectDB基于列存构建，当表较宽时，列存格式将大幅放大随机读取IO，造成...
Tablestore Stream数据源
DataWorks数据集成支持使用Tablestore Stream Reader读取Tablestore的增量数据，本文为您介绍DataWorks的Tablestore Stream数据读取能力。数据同步前准备：Tablestore Stream环境准备 使用Tablestore Stream插件前，您必须确保Tablestore表...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
读取数据
读取最新版本数据和指定列 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据和读取指定的列。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder primaryKeyBuilder=...
- 产品推荐
- 这些文档可能帮助您