上传本地文件
上传数据文件 单击 下载数据模板，下载表格模板。系统会根据已选择的自定义存储表匹配生成对应的模板文件。在模板中填写对应字段值，然后保存文件。单击 上传文件，根据页面提示，上传本地CSV文件。单击 确认。在文件列表，查看 上传状态 ...
UpsertCollectionDataAsync-异步上传向量数据
注意 对于同一个 Collection 目前只允许串行上传数据任务，不允许并发上传。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
使用说明
使用 upload 命令上传数据文件 data.txt 至分区表sale_detail。命令示例 tunnel upload d:\data.txt sale_detail/sale_date=201312,region=hangzhou-s false;返回结果 Upload session:20230505xxxxxxxxxxxb0b02dbb6bd Start upload:d:\data...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
快速入门
您可以单击右侧的 上传数据，自定义上传列表中一种类型的数据；也可以在 我的数据 页面内预览某个已上传的数据，并移动该数据到一个分组下，或者将该数据重新编辑名称或删除数据；还可以在页面右上角的搜索框内搜索某个数据或按不同方式对...
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
快速入门
您可以单击右侧的 上传数据，自定义上传列表中一种类型的数据；也可以在 我的数据 页面内预览某个已上传的数据，并移动该数据到一个分组下，或者将该数据重新编辑名称或删除数据；还可以在页面右上角的搜索框内搜索某个数据或按不同方式对...
数据集成支持的数据源
不支持 ArgoDB 支持 支持 Paimon 不支持 不支持 文件数据源 FTP 支持 支持 OSS 支持 支持 Amazon S3 支持 支持 消息队列数据源 Log Service 支持 不支持 Kafka 支持 支持 RocketMQ 不支持 不支持 DataHub 支持 支持 关系型数据源 PolarDB ...
Tunnel SDK示例汇总引导
服务地址的选择会直接影响您上传数据的效率及计量计费。详情请参见 Tunnel SDK简介。数据上传时，建议您使用TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本SDK在使用时会有不同，文档示例中的版本信息仅供参考...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
入门概览
上传数据到OSS的操作，请参见 上传数据至OSS。将数据从OSS导入到图数据库GDB的操作，请参见 OSS数据导入至GDB。登录数据库 您需要登录图数据库GDB实例后，才能对图数据进行查询和分析。快速入门教程将使用数据管理服务DMS登录图数据库GDB。...
数据集成支持的数据源
支持 TDengine 不支持 不支持 A rgoDB 支持 支持 Paimon 不支持 不支持 文件数据源 HDFS 支持 支持 FTP 支持 支持 OSS 支持 支持 Amazon S3 支持 支持 消息队列数据源 Log Service 支持 不支持 Kafka 支持 支持 DataHub 支持 支持 关系型...
使用Copilot+增强分析实现一站式智能数据查询与可视化
主要参数配置如下：指定待上传数据：选择文件“2013-2020全球PS4游戏销量.csv。文件请参见 2013-2020全球PS4游戏销量.csv 获取。设置目标表：选择MaxCompute项目名称为 doc_test_000，目标表 设置为 新建表，表名 设置为 dws_game_salse_nd...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
创建数据集
重要 待上传数据集的列名字段建议不要以_datav 开头，可能会导致该列相关的卡片推荐失败。设置数据集名称后，再次单击 确定。等待创建成功后，若单击 立即探索，直接分析数据集。若单击 查看详情，会跳转到数据明细页面。完成数据集创建后...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
从OSS导入数据
如果您需要通过ossutil工具上传数据，请参见 使用ossutil工具上传数据文件。登录 OSS管理控制台。单击左侧导航栏的 Bucket列表，然后单击目标Bucket名称。单击 上传文件。在 上传文件 面板，配置文件存储目录、读写权限并选择待上传文件。...
简单上传示例
Tunnel SDK是MaxCompute提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载。典型的表数据上传流程 创建表，如果是分区表先创建分区。创建TableTunnel。创建UploadSession。创建RecordWriter，写入Record。提交上传。示例 ...
TunnelBufferedWriter
本文向您介绍TunnelBufferedWriter接口，此接口用于上传数据。一次完整的上传流程通常包括以下步骤：先对数据进行划分。为每个数据块指定block Id，即调用 openRecordWriter(id)。用一个或多个线程分别将这些block上传上去，并在某个block...
管理数据定义资源
上传数据定义 在 资源管理 窗口右上角，单击 导入>数据定义。在资源管理窗口，查看已导入的资源。搜索数据定义 在资源搜索框中输入需要查找的资源名称，按 Enter 键，快速查找所需资源。查看数据定义 在资源管理窗口，选中需要查看的数据...
HDFS与ClickHouse间的数据导入与导出
下载并上传示例数据 orders.csv 至HDFS集群的目录下，本文将文件上传到了HDFS集群的根目录下。执行以下命令创建数据库hdfs和HDFS表。CREATE DATABASE IF NOT EXISTS hdfs ON CLUSTER cluster_emr;CREATE TABLE IF NOT EXISTS hdfs.orders ...
新建实时自定义源类型
配置文件 上传数据源类型连接器的配置文件，单击 下载配置文件模板 进行配置。仅支持.yaml（不区分大小写）为后缀的文件。不能与已经存在的数据源的连接器或保留的连接器重复。文件中仅支持数据源级别的加密参数。配置文件详细说明如下：#...
新建实时自定义源类型
配置文件 上传数据源类型连接器的配置文件，单击 下载配置文件模板 进行配置。仅支持.yaml（不区分大小写）为后缀的文件。不能与已经存在的数据源的连接器或保留的连接器重复。文件中仅支持数据源级别的加密参数。配置文件详细说明如下：#...
功能发布记录（2024年）
2024.2.20 所有地域 所有DataWorks用户 数据上传 数据下载 数据开发新增CDH集群节点 您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。2024.2.19 所有地域 所有DataWorks用户 创建CDH Hive节点 ...
数据库画像
在 新建画像 面板中，输入 画像名，选择数据 类型、报告语言类型，单击 上传，上传数据文件，上传完成后单击 创建。说明 创建源库画像大约需要1~30 min，创建时间受源库采集内容的影响。画像的状态变为 完成，表明画像创建成功。查看画像...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
数据分析：即时快速分析
功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员，如数据分析、产品、运营等工作...
管理数据库资产
支持加密审计的数据库需满足以下条件：数据库类型为自建数据库MySQL 5.6 加密算法为AES256-SHA和AES128-SHA（单向认证）如果您的MySQL数据库满足上述条件并配置了SSL证书，您需要打开 使用SSL 开关，并在 SSL密钥 处上传数据库使用的证书，...
数据标准概述
批量上传数据标准。新增及管理所有码表，及查看码表的引用情况。新增及管理所有词根。新增及管理公共标准集属性。新建及管理落标映射规则。查看所有执行成功落标规则的落标明细。查看所有落标映射规则的执行日志。新建及管理标准集目录。...
数据标准概述
批量上传数据标准。新增及管理所有码表，及查看码表的引用情况。新增及管理所有词根。新增及管理公共标准集属性。新建及管理落标映射规则。查看所有执行成功落标规则的落标明细。查看所有落标映射规则的执行日志。新建及管理标准集目录。...
入门概述
通常，通过DataWorks的工作空间实现数据开发和运维包含以下操作：建表并上传数据 创建业务流程 创建同步任务 设置周期和依赖 运行及排错 使用临时查询快速查询SQL（可选）下图为数据开发和运维的基本流程。在正式开始操作DataWorks前，您...
全量备份数据上云（SQL Server 2008 R2本地盘）
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
PyODPS读取分区表数据
创建表并上传数据。操作方法请参见 建表并上传数据。表结构以及源数据信息如下。分区表 user_detail 建表语句如下。create table if not exists user_detail(userid BIGINT comment '用户id',job STRING comment '工作类型',education ...
数据开发：开发者
本文示例采用直接上传方式，导入本地文件 banking.txt 至DataWorks，通过上传数据模拟实际数据写入情况。操作图示如下。更多上传数据内容，请参考 本地数据上传至bank_data。步骤三：新建节点 根据业务需求，选择合适的节点类型进行开发。...
产品更新动态
订阅卡片 订阅作品 2023年2月 发布时间 2023-02-14 功能名称 功能描述 相关文档 分析板块升级——实现“主题分析”用户上传数据之后，将自动识别字段主题，并围绕“主题”展开数据特征挖掘和卡片推荐。相比面向全部数据的卡片推荐能够更...
DataX Writer
在DataWorks上创建测试表并上传数据到MaxCompute数据源，详情请参见 建表并上传数据。创建StarRocks数据源。在DataWorks的 工作空间列表 页面，单击目标工作空间操作列的 数据集成。在左侧导航栏，单击 数据源。单击右上角的 新增数据源。...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
- 产品推荐
- 这些文档可能帮助您