使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
Quick BI上传数据量比较大的附件时报“导入失败，任务...
转换成CSV格式文件上传（数据填报模块不支持CSV格式）。若附件数据量比较大，超过上万条数据，可以建议客户分批上传，确认具体哪部分数据有特殊字符。如果第2、3步尝试后还是有上传失败的数据或者报错，可以将附件导入到RDS关系型数据库中...
数据传输服务（上传）场景与工具
功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个批量操作将数据上传到MaxCompute中。例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您...
BufferedWriter上传示例
本文通过代码示例向您介绍如何使用BufferedWriter接口实现数据上传。初始化MaxCompute和tunnel的代码。RecordWriter writer=null;TableTunnel.UploadSession uploadSession=tunnel.createUploadSession(projectName,tableName);try { int i...
Tunnel SDK示例汇总引导
服务地址的选择会直接影响您上传数据的效率及计量计费。详情请参见 Tunnel SDK简介。数据上传时，建议您使用TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本SDK在使用时会有不同，文档示例中的版本信息仅供参考...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
Tunnel命令
Tunnel命令说明 命令格式 tunnel[options][args]可选项说明：Available subcommands:upload(u)download(d)resume(r)show(s)purge(p)help(h)参数说明 upload：上传数据到MaxCompute的表中。支持文件的上传，每一次上传只支持数据上传到一张...
简单上传示例
本文为您介绍如何使用StreamUploadSession和StreamRecordPack接口上传数据。典型的表数据上传流程 创建TableTunnel。创建StreamUploadSession。创建StreamRecordPack，写入Record。提交上传。示例 import java.io.IOException;import java....
复杂数据类型上传下载示例
上传数据-/为表创建上传会话。表schema为{"col0":ARRAY,"col1":MAP,BIGINT>,"col2":STRUCT,age:BIGINT>}。UploadSession uploadSession=tunnel.createUploadSession(project,table,partitionSpec);获取表schema。TableSchema schema=...
概述
MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确信息以 SDK Java Doc 为准。主要接口 描述 TableTunnel 访问MaxCompute Tunnel服务的入口类。您...
数据上传
本文为您介绍如何使用数据上传功能上传数据。使用限制 数据来源限制：仅支持上传 本地文件、DataWorks数据分析的电子表格、阿里云对象存储OSS 的数据。本地文件：支持 CSV、XLSX 格式，CSV 文件最大支持上传数据的数据量为5GB，XLSX 文件...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
上传数据
上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作，入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下，在 表管理 页面中，对开发表...
全量备份数据上云（SQL Server 2008 R2本地盘）
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
全量备份数据上云（SQL Server 2008 R2云盘、2012及...
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
SQL Server实例级别迁移上云
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
通过Tunnel迁移日志数据至MaxCompute
背景信息 Tunnel是MaxCompute的批量上传数据工具，适用于离线计算场景。Tunnel详细信息请参见 Tunnel使用说明。操作步骤 在MaxCompute客户端（odpscmd）执行如下命令创建表 loghub，用于存储上传的日志数据。打开新类型数据开关，此命令...
Quick BI数据源为Oracle时，上传文件创建数据集预览...
问题描述 Quick BI数据源为Oracle时，上传文件是报错：可能由于字段类型自动解析错误，请检查文件并进入高级设置调整。将字段设置为文本类型上传成功后，创建数据集预览报错：值大于为此列指定的允许精度。问题原因 报错原因为Oracle数据库...
使用说明
您可以通过Tunnel直接上传数据到MaxCompute内部表，或者是通过OSS Python SDK上传到OSS后，在MaxCompute使用外部表做映射。关于外部表详情请参见 概述。Tunnel命令不支持上传下载ARRAY、MAP和STRUCT类型的数据。每个Tunnel的Session在服务...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
API概览
数据服务 数据服务 GetUpsertCollectionDataJob 获取异步上传向量数据任务 通过JobId获取异步上传向量数据的任务的进度和结果。UpsertCollectionDataAsync 异步上传向量数据 使用本地文件或公网可免密访问的文件链接异步上传向量数据，最大...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
MaxCompute数据源
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
添加体验空间数据库
在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、.prj、....
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
简单上传示例
Tunnel SDK是MaxCompute提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载。典型的表数据上传流程 创建表，如果是分区表先创建分区。创建TableTunnel。创建UploadSession。创建RecordWriter，写入Record。提交上传。示例 ...
UpsertCollectionDataAsync-异步上传向量数据
注意 对于同一个 Collection 目前只允许串行上传数据任务，不允许并发上传。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
Tunnel操作
类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加模式导入。具备修改表权限（Alter）的用户。本文中的命令您需要在 MaxCompute客户端 执行。下载数据 将MaxCompute表数据或指定Instance的执行结果下载至...
使用阿里云Flink（流式数据传输）
背景信息 实时计算Flink版可以调用MaxCompute SDK中的接口将数据写入缓冲区，当缓冲区的大小超过指定的大小（默认为1 MB）或每隔指定的时间间隔时，将数据上传至MaxCompute结果表中。说明 建议Flink同步MaxCompute并发数大于32或Flush间隔...
TunnelBufferedWriter
本文向您介绍TunnelBufferedWriter接口，此接口用于上传数据。一次完整的上传流程通常包括以下步骤：先对数据进行划分。为每个数据块指定block Id，即调用 openRecordWriter(id)。用一个或多个线程分别将这些block上传上去，并在某个block...
数据上传下载成本优化
本文为您介绍如何优化数据上传和下载的同步成本。尽可能使用经典网络和VPC网络 您可以使用内部网络（经典网络或VPC）实现零成本数据导入和导出。网络设置详情请参见 配置Endpoint。合理利用ECS的公共下载资源 如果您的ECS使用包月资源，...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
数据集常见问题
本地上传数据集支持的格式和大小是多少 文件支持扩展名：.xlsx。文件大小：不超过50M。最大行数：10万行。最大列数：50列。数据集配额是多少 最大支持上传10个数据集。
- 产品推荐
- 这些文档可能帮助您