Excel导入
简介 Excel导入组件用于向数据库批量上传相关业务数据。组件内置两个按钮下载导入模板和批量提交。下载导入模板会下载Excel导入组件数据源对应实体的Excel模板文件。批量提交按钮会触发文件上传，并按Excel导入组件数据源对应实体字段解析...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移到 云原生数据仓库AnalyticDB MySQL版 2.0集群。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase ...
支持的数据源
数据入仓 类别 数据源 导入方式 产品系列 文档链接 数据库 RDS MySQL 外表 数仓版（3.0）通过外表导入至数仓版 湖仓版（3.0）通过外表导入至湖仓版 DTS 数仓版（3.0）通过DTS导入数据 湖仓版（3.0）通过DTS导入数据 DataWorks 数仓版（3.0...
导入结构和数据
通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅导入结构：仅导入数据库对象的定义语句。导入文件格式...
数据迁移或同步方案概览
大√大×大√大√评估导入导出：从RDS迁移至PolarDB-X 1.0 从MyCAT评估导入至PolarDB-X 1.0 大√大√MySQL官方命令：通过 source 命令将SQL文本文件导入到 PolarDB-X 1.0。通过 mysqldump 命令从 PolarDB-X 1.0 导出SQL文本文件。详细操作...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
使用程序进行大数据导入
本文介绍如何通过编写代码的方式，离线导入大数据量到 PolarDB-X 1.0 数据库。背景信息 假设当前数据库有一个表需要导入到 PolarDB-X 1.0 数据库中，数据量大致为814万，表结构如下。CREATE TABLE `post`(`postingType` int NOT NULL,`id` ...
JSON格式导入
Doris支持导入JSON格式的数据。本文为您介绍进行JSON格式数据导入时的参数说明和注意事项。支持的导入方式 目前只有以下导入方式支持JSON格式的数据导入：将本地JSON格式的文件通过 Stream Load 方式导入。通过 Routine Load 订阅并消费...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
产品和业务限制
C8：16个 联系技术支持申请更多 一次性申请的ECU个数上限 C8：8个 无需 单个分析型数据库MySQL版每天最大申请扩容或缩容 12次 无例外 单个分析型数据库MySQL版连续24小时导入数据量限制 2 ecuCount diskSize 无例外 单个分析型数据库...
07批量导入逻辑表
按照数据模型导入Excel模板完成模型录入。操作目的 通过数据模型导入功能，一次批量导入多张数据模型。导入模型如下：workspace-tables 说明 该Excel中的模型均使用demo来标识模型构建人，可以在Excel中做替换，用来标识不同的模型构建人。...
数据迁移和同步方案概览
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute外表导入（20...
数据导入优化建议
批量和实时导入如何选择 从MaxCompute或者OSS导入HybridDB for MySQL，推荐使用 INSERT OVERWRITE SELECT 做批量导入：批量导入适合大数据量导入，性能较好。批量导入适合数据仓库语义，即导入过程中旧数据可查询，导入完成一键切换新数据...
导入数据元
本文介绍如何通过Excel批量导入数据元数据。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的...
导入数据元
本文介绍如何通过Excel批量导入数据元数据。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作...
导入指标
通过Excel导入指标数据，可实现批量创建指标。本文介绍如何导入指标。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请...
导入指标
通过Excel导入指标数据，可实现批量创建指标。本文介绍如何导入指标。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳...
数据导入
本文介绍导入数据量大或数据属性复杂时，可以使用的解决方法，帮助您更快地导入数据。导入方法 图数据库GDB支持如下三种导入方法，具体请参见 数据导入简介。从阿里云云存储对象（OSS）导入数据。使用DataWorks数据集成同步数据到GDB。使用...
Broker Load
调大导入并发度会启动多个执行计划同时执行导入任务，加快导入速度。send_batch_parallelism 用于设置发送批处理数据的并行度，如果并行度的值超过计算集群BE配置中的 max_send_batch_parallelism_per_job，那么计算集群将使用 max_send_...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
Quick BI导入Excel后，数据集和Excel中字段顺序不一致
概述 Quick BI导入Excel后，数据集和Excel中字段顺序不一致。问题描述 导入Excel后，数据集和Excel中字段顺序不一致。同时Quick BI会把文本类型的数值，默认在后边加了.0。解决方案 Quick BI 数据集里字段的顺序不保证和数据库的表（也包括...
导入与导出
原因：因为MaxCompute表比较大，导入数据消耗的时间长，超过了AnalyticDB MySQL中INSERT操作的时间限制。解决方法：修改INSERT_SELECT_TIMEOUT参数后重新导入数据。具体操作，请参见 常见配置参数。如何解决 导入MaxCompute数据 时，出现...
通过Spark导入数据
工作原理 Spark SelectDB Connector底层实现依赖于SelectDB的Stage导入方式，当前支持两种使用方式：通过在用户对象存储上创建外部Stage（External Stage），进行批量数据拉取和导入，适用于大规模数据导入的场景。这种导入方式依赖用户侧...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
轮播页面
动作 动作 说明 导入大屏轮播数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据，参考数据示例。[{"id":1,"serieName":"大屏一","url":"https://img.alicdn.com/imgextra/i4/O1CN01nZeSa71FYaTamJg2D_!...
通过DataX导入数据
本文介绍使用DataX SelectDB Writer同步数据至 云数据库 SelectDB 版。概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
Broker Load
背景信息 因为Doris表里的数据是有序的，所以Broker Load在导入数据时需要利用Doris集群资源对数据进行排序，相对于Spark Load来完成海量历史数据迁移，Broker Load对Doris集群资源占用较大。Broker Load方式是在没有Spark计算资源的情况下...
导入Kafka数据
本文介绍如何将Kafka数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Kafka集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。版本说明 目前，只支持Kafka 2.2.0及以上版本。...
SelectDB数据源
DataWorks数据集成支持使用SelectDB Writer导入表数据至SelectDB。本文为您介绍DataWorks的SelectDB数据同步能力支持情况。支持的SelectDB版本 SelectDB Writer使用的驱动版本是MySQL Driver5.1.47，驱动能力详情请参见 MySQL Connectors。...
Doris数据源
DataWorks数据集成支持使用Doris Writer导入表数据至Doris。本文为您介绍DataWorks的Doris数据同步能力支持情况。支持的Doris版本 Doris Writer使用的驱动版本是MySQL Driver 5.1.47，该驱动支持的内核版本如下。驱动能力详情请参见 Doris...
Quick BI数据填报批量导入Excel报错“导入失败：Excel...
问题描述 数据填报批量导入Excel报错“导入失败：Excel 表单解析失败”。问题原因 排查上传成功的Excel与失败的Excel，发现失败的Excel中存在多余的字段，与成功模板不匹配。解决方案 删掉多余字段即可正常导入。适用于 Quick BI 说明：...
Insert Into
数据量 Insert Into对数据量没有限制，也支持大数据量导入。但Insert Into有默认的超时时间，如果您预估的导入数据量过大，需要修改系统的Insert Into导入超时时间。例如，当导入数据量为36 GB时，导入时间约小于等于3600s*10 M/s。其中10 ...
通过DataWorks导入数据
云数据库 SelectDB 版 支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks同步数据至 云数据库 SelectDB 版。使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 ...
Spark Load
适用场景 Spark Load通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移、大数据量导入Doris的场景。源数据在Spark可以访问的存储系统中，如HDFS。数据量达到10 GB...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
数据的导入导出
MSE ZooKeeper提供通过快照（Snapshot）导入数据，同时支持导出快照（Snapshot）和事务日志（Transaction log）文件。本文介绍如何使用ZooKeeper导入和导出数据。前提条件 已 创建ZooKeeper引擎。使用限制 在使用数据导入和导出功能时，...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了5种不同的导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都...
- 产品推荐
- 这些文档可能帮助您