导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了以下导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都支持CSV...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了5种不同的导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都...
Broker Load
本文介绍如何通过Broker Load导入数据至 云数据库 SelectDB 版 实例。背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load ...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
Insert Into
StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似，但在StarRocks中，所有的数据写入都是一个独立的导入作业，所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
Insert Into
StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似，但在StarRocks中，所有的数据写入都是一个独立的导入作业，所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的...遇到权限错误时，导入任务不会跳过任何文件，因此修复权限问题后，导入任务会自动将Bucket中还未被处理的文件中的数据导入到日志服务Logstore中。
导入Kafka数据
本文介绍如何将Kafka数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Kafka集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。版本说明 目前，只支持Kafka 2.2.0及以上版本。...
Insert Into
Insert Into语句的使用方式和MySQL等数据库中Insert Into语句的使用方式类似。在Doris中，所有的数据写入都是一个独立的导入作业。因此，文本将Insert Into作为一种导入方式，介绍Insert Into的使用方法和最佳实践。背景信息 说明 本文部分...
OSS Load
云数据库 SelectDB 版 结合OSS对象存储提供了内网高速导入功能，且单次导入数据量可达百GB级别。本文介绍如何通过OSS Load导入数据至 云数据库 SelectDB 版 实例中。前提条件 已获取AccessKey信息。具体操作，请参见 创建AccessKey。已开通...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
Stream Load
完整示例 数据情况：数据在客户端本地磁盘路径/home/store-sales 中，导入的数据量约为15 GB，希望导入到数据库bj-sales的表store-sales中。集群情况：Stream Load的并发数不受集群大小影响。示例如下：因为导入文件大小超过默认的最大导入...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
Stream Load
本文介绍如何通过Stream Load导入数据至 云数据库 SelectDB 版 实例中。背景信息 Stream Load 是属于同步接口的导入方式，用户通过发送HTTP请求将本地文件或数据流导入到 云数据库 SelectDB 版 实例中。Stream load执行并返回导入结果，...
Insert Into
数据湖数据同步 如果数据在数据湖等外部系统中，可以在SelectDB中创建Catalog，映射到数据湖等外部系统中的数据，然后通过Insert Into Select将其中的数据导入到SelectDB表中。SelectDB支持对接Hive、Iceberg、Hudi、Elasticsearch、JDBC等...
Broker Load
在Broker Load模式下，通过部署的Broker程序，StarRocks可读取对应数据源（例如，Apache HDFS，阿里云OSS）上的数据，利用自身的计算资源对数据进行预处理和导入。本文为您介绍Broker Load导入的使用示例以及常见问题。背景信息 Broker ...
SelectDB数据源
DataWorks数据集成支持使用SelectDB Writer导入表数据至SelectDB。本文为您介绍DataWorks的SelectDB数据同步能力支持情况。支持的SelectDB版本 SelectDB Writer使用的驱动版本是MySQL Driver5.1.47，驱动能力详情请参见 MySQL Connectors。...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
添加物理数据节点
前提条件 请确保您已经在 RDS 或 OceanBase 控制台购买相应的数据库资源，并获取其实例 ID 及实例链接地址，才可以将其添加为数据访问代理数据库的数据存储节点。方法一：添加物理数据节点 在数据访问代理控制台左侧导航栏中，选择 运维>...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
读写外部数据文本文件（oss_fdw）
阿里云支持通过oss_fdw插件将OSS中的数据加载到RDS PostgreSQL数据库中，也支持将RDS PostgreSQL数据库中的数据写入OSS中。前提条件 RDS PostgreSQL实例大版本为10或以上。说明 如果实例版本为PostgreSQL 14，需要内核小版本大于等于...
Routine Load
Routine Load是一种例行导入方式，StarRocks通过该方式支持从Kafka持续不断的导入数据，并且支持通过SQL控制导入任务的暂停、重启和停止。本文为您介绍Routine Load导入的基本原理、导入示例以及常见问题。基本概念 RoutineLoadJob：提交的...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
通过导入工具导入至数仓版
本文介绍如何使用 AnalyticDB MySQL版 导入工具将本地数据导入至 AnalyticDB MySQL版 数仓版（3.0）集群。功能介绍 工作原理 AnalyticDB MySQL版 导入工具通过JDBC协议接入负载均衡器（Load Balancer），负载均衡器下可连接多个前端节点...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
功能特性
您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、折线图、饼图等图形或组件展现出来，并对这些图形或组件进行自由组合、布局，以某种分析思路对业务进行直观呈现。数据分析概述 访问数据分析...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
数据库常见问题
为了有效排查和解决在使用云虚拟主机数据库时遇到的功能问题（例如支持哪些数据库、是否支持开启event_scheduler组件）和其他操作问题（例如，如何扩大数据库空间、数据库导入失败问题等）。本文为您汇总了使用云虚拟主机数据库时遇到的...
Broker Load
在Broker Load模式下，通过部署的Broker程序，StarRocks可读取对应数据源（例如，Apache HDFS，阿里云OSS）上的数据，利用自身的计算资源对数据进行预处理和导入。本文为您介绍Broker Load导入的使用示例以及常见问题。背景信息 Broker ...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
批量配置数据标准
支持通过Excel批量导入或导出数据标准，提升配置效率。本文为您介绍如何批量配置数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。...
批量配置数据标准
支持通过Excel批量导入或导出数据标准，提升配置效率。本文为您介绍如何批量配置数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。...
Doris数据源
QUANTILE_STATE Aggregate 1.2.x、2.x 支持 实现原理 Doris Writer通过Doris原生支持的 StreamLoad 方式导入数据，Doris Writer会将Reader端读取到的数据缓存在内存中，并拼接成文本，然后批量导入至Doris数据库。更多详情请参见 Doris官方...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
- 产品推荐
- 这些文档可能帮助您