导出数据字典
具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产...
导出数据字典
具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”...
支持的数据源
湖仓版（3.0）Oracle数据导入 自建MySQL 外表 数仓版（3.0）自建MySQL数据导入 自建HBase DTS 数仓版（3.0）自建HBase数据导入 AnalyticDB for MySQL 2.0版 迁移工具 数仓版（3.0）AnalyticDB MySQL 2.0数据导入 存储 OSS 外表 数仓版（3.0...
数据迁移或同步方案概览
本文汇总了 PolarDB-X 1.0 支持的数据...详细操作步骤，请参见 使用程序进行大数据导入。大√数据集成：从MaxCompute导入到 PolarDB-X 1.0。从 PolarDB-X 1.0 导出到MaxCompute。详细操作步骤，请参见DataWorks文档 数据集成 相关内容。大√
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了5种不同的导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都...
功能特性
时空索引 AI引擎 模型创建 Lindorm AI引擎支持在数据库中导入预训练AI模型，对数据库内的数据进行分析和处理或对时序数据进行建模，执行时序分析类任务。模型创建 模型管理 管理Lindorm AI引擎内已导入或已创建的模型。模型管理 模型推理 ...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
引擎简介
数据库原生SQL交互 Lindorm AI引擎提供数据库原生SQL交互，无需掌握高级编程语言，只需使用简单的Lindorm SQL，就能实现端到端的AI模型创建（模型导入）和模型推理，并结合数据库原有能力实现多模融合分析。灵活模型导入 Lindorm AI引擎...
Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
配置离线数据集成节点
导入数据后置行为 输入导入数据后执行的SQL语句。字段映射-您可以根据需要选择目标表全部字段的映射关系。同名映射：系统默认将同名字段连接为映射关系。说明 您需要手动为未添加映射关系的目标表字段添加映射关系。同行映射：将同行的字段...
任务配置
平台可支撑自动驾驶生产线的全流程工作，包括 数据导入、数据标准化、数据预处理、数据预标注、人工标注、数据输出 等。您可拖拽所需任务节点，为其设置属性后，通过连线来快速构建所需工作流，并为其配置调度方式。任务流配置说明 数据...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了以下导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都支持CSV...
基础散点图
本文介绍移动组件中基础散点图的图表样式和配置面板的功能。图表样式 基础散点图是使用散点来展示数据的一种图表，支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示，适用于展示不同时间下离散数据的...
SelectDB数据源
DataWorks数据集成支持使用SelectDB ...否 无 flushInterval 数据写入批次的时间间隔（单位：ms），如果 maxBatchRows 和 batchSize 参数设置的很大，则可能还未达到设置的数据量大小，系统就会根据写入的时间间隔执行数据导入。否 30000
通过DataX导入数据
使用示例 如下以MySQL数据源为例，介绍在Linux环境下如何通过DataX将MySQL数据导入至 云数据库 SelectDB 版。步骤一：配置DataX环境 下载DataX程序包代码，插件代码下载请访问 Doris社区。运行DataX程序包中的init-env.sh脚本，构建DataX...
Broker Load
BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最终决定导入是否成功。1.user create broker load v+-+-+|FE|+-+-+|2.BE etl and load the data+-+|+-v-+-v-+-v-+|BE|BE|BE|+-+-^-+-+-...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
Doris数据源
DataWorks数据集成支持使用Doris Writer导入表数据至Doris。本文为您介绍DataWorks的Doris数据同步能力支持情况。支持的Doris版本 Doris Writer使用的驱动版本是MySQL Driver 5.1.47，该驱动支持的内核版本如下。驱动能力详情请参见 Doris...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
应用场景
支持离线导入和实时导入两种方式来处理数据。原有解决方案：通过多种OLAP引擎满足不同的场景。烟囱式搭建各自业务，导致运维难度大，开发人员需要投入大量的时间和精力。统一OLAP引擎：使用StarRocks统一OLAP引擎来满足各类分析需求。相较...
数据导入与迁移
数据的导入和迁移，都是基于LTS服务实现。RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中，使用说明：开通 LTS服务。在BDS中添加HBase增强版集群关联，具体操作方法参见 添加HBase增强版数据。请参见 RDS全...
功能特性
RDS MySQL数据导入 RDS SQL Server数据导入 导出至RDS MySQL PolarDB数据源 AnalyticDB for MySQL支持通过DTS、Dataworks、联邦分析等方式将PolarDB MySQL和PolarDB-X的数据导入至数仓版和湖仓版集群中。PolarDB MySQL数据导入 PolarDB-X...
应用场景
该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB、Oracle、SQL Server等），大数据（Flink、Hadoop、EMR、MaxCompute）、OSS、日志数据（Kafka、SLS等）以及本地数据导入。支持一键建仓 通过简单几步配置...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
数据导入
导入顺序 当需要导入的数据量较大时，您可以将数据划分为多个导入任务，然后按照先导入点文件，后导入边文件的顺序依次将数据导入至图数据库GDB。代码格式如下：导入点文件 curl-u {username}:{password}-X POST \-H 'Content-Type:...
Spark Load
适用场景 Spark Load通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移、大数据量导入Doris的场景。源数据在Spark可以访问的存储系统中，如HDFS。数据量达到10 GB...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
Transaction Table2.0概述
支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量处理链路和大规模离线批量处理链路，而且由统一的元数据服务支持...
Stream Load
导入任务超时时间=导入数据量/10M/s（具体的平均导入速度需要您根据自己的集群情况计算）例如，如果导入一个10 GB的文件，则timeout=1000s，为 10G/10M/s。完整示例 数据情况：数据在客户端本地磁盘路径/home/store-sales 中，导入的数据量...
新建离线物理表
在 导入数据 对话框，基础配置 步骤中上传数据和配置导入参数。参数 描述 上传文件 单击 选择文件，上传需导入的数据文件。仅支持.txt,.csv类型的文件，文件不超过10MB。分隔符 数据的分隔符，支持逗号（，）、水平制表符（\t）、竖划线...
新建离线物理表
在 导入数据 对话框，基础配置 步骤中上传数据和配置导入参数。参数 描述 上传文件 单击 选择文件，上传需导入的数据文件。仅支持.txt,.csv类型的文件，文件不超过10MB。分隔符 数据的分隔符，支持逗号（，）、水平制表符（\t）、竖划线...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
TiDB 数据库支持在线事务处理和在线分析处理（Hybrid Transactional and Analytical Processing，HTAP），是一款融合型分布式数据库产品。您需要部署 TiCDC 集群和 Kafka 集群来实现 TiDB 数据库至 OceanBase 数据库 MySQL 租户的增量数据...
Broker Load
在Broker Load模式下，通过部署的Broker程序，StarRocks可读取对应数据源（例如，Apache HDFS，阿里云OSS）上的数据，利用自身的计算资源对数据进行预处理和导入。本文为您介绍Broker Load导入的使用示例以及常见问题。背景信息 Broker ...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
- 产品推荐
- 这些文档可能帮助您