数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
适配组件数据
如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。具体配置API数据源时，是否选中 服务器代理请求 等操作，详情请参见 如何配置跨域数据。操作...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从...
修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
适配组件数据
如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据配置栏输入API即可。具体配置API数据源时，是否选中 服务器代理请求 等操作，详情请参见 如何配置跨域数据。操作步骤 ...
修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
敏感数据溯源
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
将表格存储数据下载到本地文件
通过DataX工具直接下载 通过DataX工具直接导出数据到本地CSV文件。具体操作，请参见 DataX快速入门。通过DataWorks工具同步数据到OSS后再下载 通过DataWorks控制台将数据同步到OSS后，在OSS侧下载数据到本地文件。通过DataWorks控制台将...
下载和导入同步对象配置
数据传输支持下载数据同步项目的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。下载对象配置 新建数据同步项目后，您可以下载同步对象的配置信息。...
数据迁移方案概览
从自建Db2迁移至RDS MySQL 使用mysqldump迁移MySQL数据 从自建Oracle迁移至阿里云 数据导入 从CSV文件、TXT文件或SQL脚本导入数据到RDS 将第三方云数据库迁移至阿里云 腾讯云云数据库MySQL迁移到阿里云 Google Cloud SQL for MySQL数据库...
Flink Python作业快速入门
无需填写 Python Archives 存档文件，Python Archives详情请参见 使用自定义的Python虚拟环境 和 使用数据文件。无需填写 附加依赖文件 填写目标附加依赖文件的OSS路径或者URL。无需填写 部署目标 在下拉列表中，选择目标 资源队列 或者 ...
通用批量导入服务
如果源数据源为HDFS数据源，CSV文件的读插件配置说明如下：filePath：CSV文件的所在目录。header：CSV文件是否包含header行。delimite：CSV文件分隔符。column：CSV文件中列名以及对应类型。如果源数据源为HDFS数据源，Parquet文件的读插件...
修改名单抽奖数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
修改名单抽奖数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
SDK简介
按应用语言 语言 文档 Java语言 通过OpenTelemetry上报Java应用数据 通过Jaeger上报Java应用数据 通过Zipkin上报Java应用数据 通过SkyWalking上报Java应用数据 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry ...
SDK简介
按应用语言 语言 文档 Java语言 通过OpenTelemetry上报Java应用数据 通过Jaeger上报Java应用数据 通过Zipkin上报Java应用数据 通过SkyWalking上报Java应用数据 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry ...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
GetDbfs-查询单个数据库文件系统
调用GetDbfs查询数据库文件系统详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
ListDbfs-查询数据库文件系统列表
调用ListDbfs查询您已经创建的数据库文件系统列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
添加入库任务
入库是指将添加的Shapefile、GeoJSON和CSV文件类矢量数据存入系统默认的空间数据库或者指定的PostGIS、Ganos数据库。入库后，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签...
JMeter使用CSV参数文件
同时，PTS支持切分CSV文件，将CSV文件中的数据分配到每个压测引擎。背景信息 CSV Data Set Config 是JMeter官方提供的配置元件，用于读取CSV文件中的数据并将它们拆分为变量。适用于处理大量变量的场景。如果上传的CSV文件在JMeter脚本中...
JMeter使用CSV参数文件
同时，PTS支持切分CSV文件，将CSV文件中的数据分配到每个压测引擎。背景信息 CSV Data Set Config 是JMeter官方提供的配置元件，用于读取CSV文件中的数据并将它们拆分为变量。适用于处理大量变量的场景。如果上传的CSV文件在JMeter脚本中...
CreateDataImportOrder-创建数据导入工单
false FileType string 是 文件类型，取值如下：SQL：SQL 文件 CSV：CSV 文件 CSV FileEncoding string 否 文件编码，取值如下：AUTO：自动识别 UTF-8：UTF8 编码 GBK：GBK 编码 ISO-8859-1：ISO-8859-1 编码 AUTO TableName string 否 ...
手工表概述
导入：支持导入TXT、CSV文件类型的数据。下载：先保存当前数据，再将当前页面数据以CSV格式下载到本地。分享：可将手工表分享给Dataphin其他成员。将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL...
手工表概述
导入：支持导入TXT、CSV文件类型的数据。下载：先保存当前数据，再将当前页面数据以CSV格式下载到本地。分享：可将手工表分享给Dataphin其他成员。将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL...
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
GetNodeTransferPacketsDownloadUrl
获取下载链接，该链接指向一个 CSV 文件，其中包括了节点上下行数据包的统计数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否...
GetGatewayTransferPacketsDownloadUrl
调用GetGatewayTransferPacketsDownloadUrl获取下载链接，该链接指向一个CSV文件，其中包括了网关上下行数据包的统计数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
GetNodeGroupTransferPacketsDownloadUrl
该链接指向一个CSV文件，其中包括节点分组的上下行数据包的统计数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
通过上传CSV文件选择实例
背景 在执行OOS模板进行批量操作的场景中，当设置实例参数时，有多种方式批量选择实例，其中 上传CSV文件 可以高效地选择维护在文件内的多个实例，本文着重介绍下，如何下载包含多台实例ID的CSV文件，以及上传CSV文件批量选择实例。...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
创建同步OSS
准备工作 1.准备OSS Bucket DataHub支持将数据同步到对象存储...确认同步数据同步文件在OSS中的命名格式如下图所示：包含Bucket、目录前缀、二级目录以及文件名等 下载该文件，并查看文件内容，TUPLE同步文件内容为csv数据格式，如下图所示：
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
Dataphin管道任务从本地CSV文件读取汉字显示乱码
产品名称 Dataphin 产品模块 数据集成 概述 本文描述管道任务中从本地CSV文件读取汉字乱码的原因及应对方法。问题描述 数据集成CSV(UTF-8)文件导入HIVE，预览时中文出现乱码。问题原因 因为CSV文件格式是UTF-8。解决方案 需要将CSV文件格式...
导出至HDFS
那么当 p1=1 且 p2=a 的外表分区导出数据时，数据文件相对路径目录为 adb_data/p1=1/p2=a/，且外表CSV或Parquet数据文件内不包含 p1 和 p2 这两列，只包含3列普通列的值。操作步骤 连接目标 AnalyticDB MySQL 集群。详细操作步骤，请参见 ...
- 产品推荐
- 这些文档可能帮助您