支持的数据源
数仓版（3.0）通过Logstash导入数仓版 日志服务 数仓版（3.0）通过日志服务导入至数仓版 本地数据 LOAD DATA 数仓版（3.0）通过LOAD DATA导入至数仓版 导入工具 数仓版（3.0）通过导入工具导入至数仓版 Kettle 数仓版（3.0）通过Kettle导入...
近实时增量导入
涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据集成以及其它数据导入工具，...
数据迁移或同步方案概览
本文汇总了 PolarDB-X 1.0 支持的数据...详细操作步骤，请参见 使用程序进行大数据导入。大√数据集成：从MaxCompute导入到 PolarDB-X 1.0。从 PolarDB-X 1.0 导出到MaxCompute。详细操作步骤，请参见DataWorks文档 数据集成 相关内容。大√
数据迁移和同步方案概览
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute外表导入（20...
导入结构和数据
导入文件格式 ODC 导入工具支持导入 ZIP 压缩文件（批量导入和单表导入）、SQL 文件（批量导入）和 CSV 文件（单表导入）。其中，ZIP 压缩文件是以.zip 结尾的压缩包。创建导入任务时在面板中的 导入内容 项中选择了 ZIP 压缩文件 后还需在...
导入数据
本文以导入On Time数据集至clickhouse_demo数据库的分布式表ontime_local_distributed为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库ClickHouse。前提条件 已完成快速入门系列的如下步骤。新建集群 创建账号 设置白...
总体流程
快速入门介绍购买并使用 云数据库ClickHouse 集群的完整过程，旨在帮助新用户快速使用 云数据库ClickHouse...导入数据：以导入On Time数据集至已创建的分布式表为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库ClickHouse。
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
从Spark导入
本文介绍如何通过Spark程序导入数据至 云数据库ClickHouse。前提条件 已将本地机器的IP地址添加到 云数据库ClickHouse 的白名单中。如何添加，请参见 设置白名单。已创建与导入数据结构类型对应的 云数据库ClickHouse 表。如何创建，请参见...
产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
使用程序进行大数据导入
数据库之间大数据量的迁移，建议把原始数据导出成一个文本文件，然后通过程序或者命令的方式导入到目标数据库。对于上一节的 post 表，可以通过 SELECT INTO 语法将数据从MySQL导出到一个名为stackoverflow.csv的文件中。在MySQL客户端执行...
使用程序导入数据
使用程序导入数据到 PolarDB-X 您可以自行编写程序，连接 PolarDB-X，然后读取本地数据，通过 Batch Insert 语句导入到 PolarDB-X 中。下面是一个简单的Java程序示例：/需要mysql-connector-java.jar,详情界面：...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
数据导入优化建议
批量和实时导入如何选择 从MaxCompute或者OSS导入HybridDB for MySQL，推荐使用 INSERT OVERWRITE SELECT 做批量导入：批量导入适合大数据量导入，性能较好。批量导入适合数据仓库语义，即导入过程中旧数据可查询，导入完成一键切换新数据...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
数据导入
本文介绍导入数据量大或数据属性复杂时，可以使用的解决方法，帮助您更快地导入数据。导入方法 图数据库GDB支持如下三种导入方法，具体请参见 数据导入简介。从阿里云云存储对象（OSS）导入数据。使用DataWorks数据集成同步数据到GDB。使用...
导入Kafka数据
本文介绍如何将Kafka数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Kafka集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。版本说明 目前，只支持Kafka 2.2.0及以上版本。...
Insert Into
数据量 Insert Into对数据量没有限制，也支持大数据量导入。但Insert Into有默认的超时时间，如果您预估的导入数据量过大，需要修改系统的Insert Into导入超时时间。例如，当导入数据量为36 GB时，导入时间约小于等于3600s*10 M/s。其中10 ...
常见问题
除了通过MaxCompute客户端导入数据，您也可以使用MaxCompute Studio、Tunnel SDK、数据集成、开源的Sqoop、Fluentd、Flume、Logstash等工具将数据导入到MaxCompute，更多信息请参见 数据上云工具。误删除表数据如何恢复？MaxCompute提供...
Broker Load
本文介绍如何通过Broker Load导入数据至 云数据库 SelectDB 版 实例。背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load ...
数据处理
本文为您详细介绍GDB Automl数据导入的方法。操作步骤 数据导入。进入GDB Automl。在页面顶端，单击 数据，选择数据导入方式。说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。...
通过Spark导入数据
工作原理 Spark SelectDB Connector底层实现依赖于SelectDB的Stage导入方式，当前支持两种使用方式：通过在用户对象存储上创建外部Stage（External Stage），进行批量数据拉取和导入，适用于大规模数据导入的场景。这种导入方式依赖用户侧...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
Broker Load
背景信息 因为Doris表里的数据是有序的，所以Broker Load在导入数据时需要利用Doris集群资源对数据进行排序，相对于Spark Load来完成海量历史数据迁移，Broker Load对Doris集群资源占用较大。Broker Load方式是在没有Spark计算资源的情况下...
整体流程介绍
支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 使用ossutil工具上传...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
通过LOAD DATA导入至数仓版
本文介绍如何通过LOAD DATA将本地数据导入 AnalyticDB for MySQL 数仓版（3.0）。语法 LOAD DATA LOCAL INFILE 'file_name'[REPLACE|IGNORE]INTO TABLE table_name[{FIELDS|COLUMNS}[TERMINATED BY 'string'][[OPTIONALLY]ENCLOSED BY '...
轮播页面
动作 动作 说明 导入大屏轮播数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据，参考数据示例。[{"id":1,"serieName":"大屏一","url":"https://img.alicdn.com/imgextra/i4/O1CN01nZeSa71FYaTamJg2D_!...
SelectDB数据源
DataWorks数据集成支持使用SelectDB Writer导入表数据至SelectDB。本文为您介绍DataWorks的SelectDB数据同步能力支持情况。支持的SelectDB版本 SelectDB Writer使用的驱动版本是MySQL Driver5.1.47，驱动能力详情请参见 MySQL Connectors。...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
Doris数据源
DataWorks数据集成支持使用Doris Writer导入表数据至Doris。本文为您介绍DataWorks的Doris数据同步能力支持情况。支持的Doris版本 Doris Writer使用的驱动版本是MySQL Driver 5.1.47，该驱动支持的内核版本如下。驱动能力详情请参见 Doris...
整体架构
其中：数据接入 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的 Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
产品功能
未来还将支持直接从阿里云对象存储服务OSS中导入数据或借助DataWorks工具进行各种格式的数据导入。数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析）...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了5种不同的导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了以下导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都支持CSV...
通过DataWorks导入数据
云数据库 SelectDB 版 支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks同步数据至 云数据库 SelectDB 版。使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 ...
开发者中心介绍
概述 OceanBase 开发者中心（OceanBase Developer Center，ODC）是开源的企业级数据库协同开发工具，有桌面版、Web 版两种产品形态。可通过以下方式使用 ODC：在 OceanBase 管理控制台页面的左侧导航栏中，单击 数据研发 按钮即可直接登录 ...
使用MongoDB工具备份与恢复MongoDB Serverless版实例
您可以使用MongoDB数据库自带的备份还原工具mongodump和mongorestore，备份和恢复MongoDB Serverless版实例。背景信息 由于当前Serverless控制台暂不支持备份与恢复功能，您可以通过MongoDB官方工具来达到备份恢复的目的。注意事项 确保...
层级结构管理
等待数据导入成功后，单击 完成，查看导入结果。导入后城市要素面板显示已导入的对象，右侧显示数字即为该对象下所有实体个数。查看实体对象 右键单击城市要素，选择 查看实体对象。查看实体对象详情。说明 实体对象可选中，也可双击聚焦...
- 产品推荐
- 这些文档可能帮助您