数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
导出结构和数据
背景信息 ODC 支持批量导出数据库对象的结构和数据。通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
SQL Server数据源
增量数据同步的方式 SQL Server Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
如果不删除唯一索引和伪列，会导致无法写入数据，以及往下游导入数据时，会重新生成伪列，导致与源端数据库的伪列发生冲突。如果数据迁移项目已启用正向切换，数据传输会根据数据迁移项目的类型，自动删除隐藏列和唯一索引。详情请参见 ...
向量数据导入
本节介绍如何进行数据插入。向量的数据导入和普通的堆表数据导入相同，可以采用 INSERT 语法，也可以采用 COPY 语法。本文以 INSERT 语法为例进行介绍。说明 向量列支持两种表达方式。向量列采用ARRAY[]的方式表示 INSERT INTO chunks ...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
标准代码
导入标准代码 为了提高标准代码的添加效率，建议借助Excel数据标准的形式批量导入标准代码。您可以在 标准代码 页面，单击 批量导入，将本地标准代码导入至web端。编辑标准代码 在 标准代码 页面，您可以选择需要编辑的标准代码，单击 编辑...
配置任务时测试连接失败的排查及解决方法
概述 配置数据迁移任务时，可以进行数据库连接测试，很多时候会遇到测试连接失败。本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据...
导入数据字典
通过导入数据字典可以实现批量创建数据字典。本文介绍如何导入数据字典。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面...
导入数据字典
通过导入数据字典可以实现批量创建数据字典。本文介绍如何导入数据字典。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
整体架构
其中：数据接入 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的 Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接...
Oracle数据源
增量数据同步的方式 Oracle Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
AT 模式接入注意事项
访问 5.3 以下版本的 DRDS 数据库 当应用通过 GTS 访问 DRDS 数据库时，不能使用 TxcDataSource 数据源，可以使用 JDBC 数据源。配置方式如下：<bean id="DataSource1" class="org.springframework.jdbc.datasource.DriverManagerDataSource...
通过导入实现列更新
本文介绍如何在 云数据库 SelectDB 版 实例中，通过数据导入实现高效的 数据更新。概述 在SelectDB的Unique或Aggregate模型中，可以通过数据导入实现列更新能力。列更新支持高频的并发写入，写入成功后数据即可见，系统自动通过MVCC机制来...
无效映射关系管理
超级管理员、数据标准管理员、数据标准负责人可以批量导入自己负责的数据标准对应的无效映射关系并查看导入记录详情。所有用户均可导出无效映射关系并下载导出文件。无效映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作...
无效映射关系管理
超级管理员、数据标准管理员、数据标准负责人可以批量导入自己负责的数据标准对应的无效映射关系并查看导入记录详情。所有用户均可导出无效映射关系并下载导出文件。无效映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作...
功能更新动态（2023年）
数据标准批量操作优化，支持跨标准集批量导入、导出数据标准；支持查看批量导入记录；支持批量提交上线数据标准。新建和管理数据标准 新建及管理标准集 新建及管理标准模板 数据质量 质量报告支持选择全表分区。两表字段统计值一致性比较...
文档更新动态（2023年）
数据标准批量操作优化，支持跨标准集批量导入、导出数据标准；支持查看批量导入记录；支持批量提交上线数据标准。更新说明 新建和管理数据标准 新建及管理标准集 新建及管理标准模板 资产质量-质量监控-质量规则 质量报告支持选择全表分区...
有效映射关系管理
超级管理员、数据标准管理员、数据标准负责人可批量导入自己负责的数据标准对应的有效映射关系并查看导入记录详情。所有用户均可导出有效映射关系并下载导出文件。有效映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，...
有效映射关系管理
超级管理员、数据标准管理员、数据标准负责人可批量导入自己负责的数据标准对应的有效映射关系并查看导入记录详情。所有用户均可导出有效映射关系并下载导出文件。有效映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，...
支持的数据源
无公网IP:Port的自建数据库（通过数据库网关DG接入）MySQL 说明 批量导入功能支持添加MySQL公网自建数据库，具体操作，请参见 批量添加数据源。MongoDB Oracle SQL Server MariaDB Redis PostgreSQL 通过备份网关连接的数据库 说明 您可以...
文档更新动态（2022年）
更新说明 补数据、实例运行诊断 2022年10月25日 新增数据标准功能 支持标准集的属性配置、数据标准的批量导入、下载及上线管理、码表和词根的配置管理。新增落标映射规则管理配置。支持数据标准的标准集创建及发布、审批、下线等全线生命...
如何区分导入数据接口和请求数据接口
本文介绍在蓝图编辑器内，导入数据接口和请求数据接口的区别。接口区别示意图 接口区别详细介绍 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，...
BatchWriteRow
调用BatchWriteRow接口批量插入、修改或删除一个或多个表中的若干行数据。BatchWriteRow操作可视为多个PutRow、UpdateRow、DeleteRow操作的集合。各个操作独立执行，独立返回结果，独立计算服务能力单元。与执行大量的单行写操作相比，使用...
导入数据
本文介绍如何导入数据。前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL。操作步骤 ...
导入数据
本文介绍如何导入数据。前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL、Hologres...
导入数据接口和请求数据接口区别
本文介绍在蓝图编辑器内，导入数据接口和请求数据接口的区别。接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 ...
SOURCE
本文介绍 PolarDB-X 两种导入数据命令。MySQL命令导入 使用MySQL命令导入语法格式：mysql-u用户名-p密码<要导入的数据库数据(runoob.sql)示例：#mysql-uroot-p123456命令导入 source命令导入数据库需要先登录到数据库终端：create database...
导入导出表数据
导入数据 在 Project Explorer 区域，单击MaxCompute项目的 Tables&Views 节点前的下拉箭头，右键单击需要导入数据的表，选择 Import data into table。在 Importing data to table_name 对话框中，配置导入文件参数。Input File：导入数据...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
批量操作
阿里云物联网无线连接服务提供批量操作功能，包括：主动停复用、自动换绑复用、设置标签，并支持下载结果文件。本文介绍如何进行批量操作。使用说明 中国联通、中国电信的物联网卡更换设备后，会出现锁卡的情况，导致物联网卡无法使用。您...
客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
产品架构
云数据库SelectDB版 存储用于存放全量数据，支持通过Stage分段批量导入数据、通过S3协议导入对象文件或者通过JDBC连接集群后执行SQL dump方式导入数据。除此之外，云数据库SelectDB版 存储 还支持响应集群的低频读写请求。
通过LOAD DATA导入至数仓版
例如，某一列数据为"a"，定义 enclosed by '"' 后，导入数据时先将"a"前后的"移除，然后导入数据。[LINES]TERMINATED BY 'string' 定义行分隔符，默认为。IGNORE number LINES 设置导入数据时忽略开始的某几行。例如 IGNORE 1 LINES，导入...
数据处理
说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。数据解析。数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、...
整体流程介绍
本文介绍将数据文件导入至图数据库GDB实例中的前提条件及操作流程。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建...将OSS数据导入至图数据库GDB 使用curl命令导入数据文件 使用GdbLoader脚本导入数据文件
入门概览
本文旨在介绍如何购买实例、创建账号、设置白名单、导入数据、连接实例和查询分析图，使您能够了解从购买图数据库GDB到开始使用的流程。前提条件 如果您是初次使用图数据库GDB，请先了解相关使用限制。具体信息，请参见 使用须知。如果您...
新建离线物理表
步骤四：导入数据（可选）提交离线物理表后，您可导入数据至离线物理表。单击 导入数据 按钮，进入 导入数据 对话框。在 导入数据 对话框，基础配置 步骤中上传数据和配置导入参数。参数 描述 上传文件 单击 选择文件，上传需导入的数据...
- 产品推荐
- 这些文档可能帮助您