数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
使用MaxCompute控制台（离线）
使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件：支持上传CSV或XLSX格式的文件数据。CSV格式：最大支持上传5 GB数据 XLSX格式：最大支持上传100 MB数据。阿里云对象存储OSS：仅支持上传CSV格式的文件...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
上传数据
原始字符集 根据实际情况选择上传数据文件的原始编码格式。目前支持 GBK、UTF-8、CP936、ISO-8859。导入起始行 设置从待导入数据文件的多少行开始导入。首行为标题 选择是否设置待导入的数据文件的第一行为标题行。勾选 是，首行数据将不...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
添加体验空间数据库
在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、.prj、....
上传数据
单击 矢量 页签右上角的 上传数据 按钮，在下拉列表中选择 CSV。在弹出的 添加数据 对话框中，您可通过以下两种方式上传数据。本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 ...
上传数据
单击 矢量 页签右上角的 上传数据 按钮，在下拉列表中选择 CSV。在弹出的 添加数据 对话框中，您可通过以下两种方式上传数据。本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 ...
我的主页
在 我的主页 页面，您可以了解目前空间构建平台的功能、现有的时空基底数据、查看数据资源详情、上传数据、查看账号权限和近期打开项目的快速入口。用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底...
我的主页
在 我的主页 页面，您可以了解目前空间构建平台的功能、现有的时空基底数据、查看数据资源详情、上传数据、查看账号权限和近期打开项目的快速入口。用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底...
数据集常见问题
本地上传数据集支持的格式和大小是多少 文件支持扩展名：.xlsx。文件大小：不超过50M。最大行数：10万行。最大列数：50列。数据集配额是多少 最大支持上传10个数据集。
UploadSession
本文为您介绍 UploadSession 接口，此接口用于上传数据到表中。UploadSession 接口定义 UploadSession接口定义如下。public class UploadSession { UploadSession(Configuration conf,String projectName,String tableName,String ...
空间数据管理概览
空间数据管理页面内提供了我的主页、我的项目、我的数据和空间档案四大功能模块，用户可以在这里创建项目，上传数据和添加模型等。本文为您介绍空间数据管理页面的结构与功能，帮助您快速使用空间构建平台。进入空间构建平台 空间构建平台...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
空间数据管理概览
空间数据管理页面内提供了我的主页、我的项目、我的数据和空间档案四大功能模块，用户可以在这里创建项目，上传数据和添加模型等。本文为您介绍空间数据管理页面的结构与功能，帮助您快速使用空间构建平台。进入空间构建平台 空间构建平台...
通过Tunnel迁移日志数据至MaxCompute
背景信息 Tunnel是MaxCompute的批量上传数据工具，适用于离线计算场景。Tunnel详细信息请参见 Tunnel使用说明。操作步骤 在MaxCompute客户端（odpscmd）执行如下命令创建表 loghub，用于存储上传的日志数据。打开新类型数据开关，此命令...
数据传输服务（上传）场景与工具
例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您可以通过 Tunnel 向MaxCompute中上传数据。数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、...
概述
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
任务运行失败
FTP Check节点任务，运行报错：Connect Failed 报错内容：FTP Check节点检测FTP数据源中Done文件是否存在时，任务运行失败，错误提示为 Connect Failed。可能原因：FTP数据源连接FTP服务端失败。解决方案：您可以使用 telnet IP 端口 命令...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
Tunnel操作
类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加模式导入。具备修改表权限（Alter）的用户。本文中的命令您需要在 MaxCompute客户端 执行。下载数据 将MaxCompute表数据或指定Instance的执行结果下载至...
配置FTP输出组件
FTP输出组件用于向FTP数据源写入数据。同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。...
配置FTP输出组件
FTP输出组件用于向FTP数据源写入数据。同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
调度设计文档
节点ID 节点名称 用途 数据输入表 数据产出表 调度周期 320170257 workshop_start 虚拟节点，用于管理下游节点 Null Null 日 320170260 MySQL数据同步 拉取MySQL数据源数据 ods_user_info_d ods_user_info_d 日 320170260 FTP数据同步 拉取...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
入门概览
上传数据到OSS的操作，请参见 上传数据至OSS。将数据从OSS导入到图数据库GDB的操作，请参见 OSS数据导入至GDB。登录数据库 您需要登录图数据库GDB实例后，才能对图数据进行查询和分析。快速入门教程将使用数据管理服务DMS登录图数据库GDB。...
通过上传本地数据新建数据集
说明 待上传数据表要求：支持上传.xls和.xlsx格式的文件，且文件大小不超过35 MB。准备数据表时，数据表填写须知：请在第一行中填写字段中文名称。请在第二行中填写字段英文名称。从第三行开始填写数据。必须包含至少一条数据，否则无法...
FTP Check节点
FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在，则启动调度下游任务，不存在，则按照配置的间隔时间重复检测，直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号...
管理数据定义资源
上传数据定义 在 资源管理 窗口右上角，单击 导入>数据定义。在资源管理窗口，查看已导入的资源。搜索数据定义 在资源搜索框中输入需要查找的资源名称，按 Enter 键，快速查找所需资源。查看数据定义 在资源管理窗口，选中需要查看的数据...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
Tunnel SDK示例汇总引导
服务地址的选择会直接影响您上传数据的效率及计量计费。详情请参见 Tunnel SDK简介。数据上传时，建议您使用TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本SDK在使用时会有不同，文档示例中的版本信息仅供参考...
创建数据集
重要 待上传数据集的列名字段建议不要以_datav 开头，可能会导致该列相关的卡片推荐失败。设置数据集名称后，再次单击 确定。等待创建成功后，若单击 立即探索，直接分析数据集。若单击 查看详情，会跳转到数据明细页面。完成数据集创建后...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
- 产品推荐
- 这些文档可能帮助您