新增数据表
说明 如果上传的是 CSV 文件，则 CSV 文件的首行需要有表头，即列名称。您可以将类似以下两个 CSV 文件上传到训练节点服务器的~/nueva/agent/data/dataset/sample/data 目录中，以便后续添加数据表文件。linear_alice.csv linear_bob.csv ...
创建文件数据源
Excel和CSV 注意事项 上传文件时，需要注意以下几点：上传CSV文件时，建议您将CSV文件的格式转换为 UTF-8格式。UTF-8格式的CSV文件可以准确识别编码，GBK、GB2312格式的CSV文件的编码可能不能被智能识别出来，从而导致上传的文件为乱码。...
修改媒资存储类型
适用场景 适用于各种社交、分享类的图片、音视频应用、大型网站、大数据分析等业务场景。例如程序下载、移动应用等。适用于较低访问频率（平均每月访问频率1到2次）的业务场景。例如热备数据、监控视频数据等。适用于数据长期保存的业务...
常见问题
Tablet的最佳大小可以按下面进行评估，基于以下参数值和总数据量可以预估出Bucket的数目。原始非压缩数据，例如CSV格式，通常每个tablet设置为1 GB~10 GB之间。Parquet格式的数据，建议1 GB左右。在机器比较少的情况下，如果想充分利用机器...
OSS数据源
类型分类 数据集成column配置类型 整数类 LONG 字符串类 STRING 浮点类 DOUBLE 布尔类 BOOLEAN 日期时间类 DATE 数据同步任务开发 OSS数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
上传数据
OSS上传 在 方法二：OSS上传 下方的输入框中，输入CSV数据文件的OSS链接地址，并单击对话框右下方 上传 即可上传一个CSV数据文件。说明 大型文件建议选择OSS上传的方式。在上传成功页面，单击 下一步。在上传数据对话框中，您可以为当前...
上传数据
OSS上传 在 方法二：OSS上传 下方的输入框中，输入CSV数据文件的OSS链接地址，并单击对话框右下方 上传 即可上传一个CSV数据文件。说明 大型文件建议选择OSS上传的方式。在上传成功页面，单击 下一步。在上传数据对话框中，您可以为当前...
BulkLoad数据导入
TODO:读取csv文件，迭代读取每一行 while((line=csvReader.read())!null){ writer.addRow(ticker,DATE_FORMAT.parse(line.get(0)),new BigDecimal(line.get(1)),new BigDecimal(line.get(2)),new BigDecimal(line.get(3)),new BigDecimal...
基于OSS外表的单表多文件查询
您可以将CSV文件按行拆分为多个小的CSV文件，且单个CSV文件大小建议为128 MB，最大限制为1 GB。说明 拆分CSV格式的文件时，必须按照完整的一行数据进行拆分，不能从一行数据中间进行拆分，需要保证每一个OSS数据文件的完整性。文件命名规则...
Dataphin管道任务从本地CSV文件读取汉字显示乱码
产品名称 Dataphin 产品模块 数据集成 概述 本文描述管道任务中从本地CSV文件读取汉字乱码的原因及应对方法。问题描述 数据集成CSV(UTF-8)文件导入HIVE，预览时中文出现乱码。问题原因 因为CSV文件格式是UTF-8。解决方案 需要将CSV文件格式...
管理人群
说明 您需要上传不带header行的CSV文件，文件将按行解析为号码，目前仅支持国内号码段，例如：示例文件。多列CSV文件 目标用户的手机号和变量模板的变量内容，将这两类数据存储在一个多列的CSV文件中（需要包含列名），后续在人群管理页面...
OSS数据离线同步至MaxCompute
文本类型 选择您要同步的文件类型，目前向导模式支持读取CSV、TXT两种文件格式。TXT：是一个纯文本文件，文本格式没有任何限制，您可以在此文件中存储任何类型的文本。CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，...
OSS数据离线同步至MaxCompute
文本类型 选择您要同步的文件类型，目前向导模式支持读取CSV、TXT两种文件格式。TXT：是一个纯文本文件，文本格式没有任何限制，您可以在此文件中存储任何类型的文本。CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，...
OSS Foreign Table使用技巧
以下步骤以Linux系统为例，介绍如何切分大文件：获取当前大文件的行数。wc-l<csv_file>按照指定行数切分成多个小文件，N 表示切分后的小文件中的行数。split-l N<csv_file>说明 切分后的小文件需要保证行的完整性，即同一行记录只允许存在...
HDFS数据源
类型分类 数据集成column配置类型 Hive数据类型 整数类 long tinyint、smallint、int和bigint 浮点类 double float和double 字符串类 string string、char、varchar、struct、map、array、union和binary 日期时间类 date date和timestamp ...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
问题描述 问题表现 在Alibaba Cloud Linux 3系统的NFS文件系统中读取文件时性能不符合预期，典型表现如下：使用read、copy_file_range等系统调用从NFS文件系统中读取大文件时，耗时较久。使用 dd 命令从NFS挂载点的文件中读取数据时，...
文件分析
含义为跳过CSV文件的前几行。当format设置为 csv_with_names 或 csv_with_names_and_types 时，该参数会失效。path_partition_keys 指定文件路径中携带的分区列名，可选参数。例如/path/to/city=beijing/date="2023-07-09"，则填写path_...
参数文件
文件行数 参数文件的行数。默认参数名 文件可导出的参数默认名称，并按列的顺序排列。引用场景 参数文件的使用场景。操作 用户可以在操作栏中，执行 删除、添加使用场景、下载 等操作。管理参数文件 参数文件上传成功后，可进行 添加使用...
参数文件
文件行数 参数文件的行数。默认参数名 文件可导出的参数默认名称，并按列的顺序排列。引用场景 参数文件的使用场景。操作 用户可以在操作栏中，执行 删除、添加使用场景、下载 等操作。管理参数文件 参数文件上传成功后，可进行 添加使用...
标注数据管理
为了方便您使用该功能，我们为您提供各模型的测试标注文件demo供您下载使用：通用分类标注文件 通用检测标注文件 通用实例分割标注文件 方式一：上传标注文件 单击 下载标注模板。打开下载好的CSV格式模板文件，image 列填写文件详细名称，...
HttpFile数据源
否 不压缩 encoding 读取文件的编码配置。否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null（空指针），数据同步提供nullFormat定义哪些字符串可以表示为null。例如：nullFormat:"null"：表示“可见字符”。如果源头数据是null，...
对象概述
✓ ✓ 使用文件URL Object上传至Bucket后，您可以通过文件URL将文件分享给第三方预览或下载。✓ ✓ 搜索文件 当您向Bucket上传了大量的Object时，OSS支持通过指定文件名前缀快速搜索并定位目标文件。✓ ✓ 解冻文件 冷归档存储或者深度冷...
使用OSS Foreign Table进行数据湖分析
如何拆分源文件，请参见 切分大文件。连接 AnalyticDB PostgreSQL版 数据库，连接方式，请参见 客户端连接。创建OSS Server，示例如下：CREATE SERVER oss_serv FOREIGN DATA WRAPPER oss_fdw OPTIONS(endpoint 'oss-cn-*.aliyuncs.com',...
读CSV文件
文件路径 读取CSV文件的路径：当 文件来源 选择 OSS 时，支持输入或选择OSS文件路径，对于1 GB以内的单文件，支持在选择控件中直接上传至指定的OSS路径。当 文件来源 选择 OTHERS 时，支持输入HTTP或HDFS类型的文件地址。Schema 配置每一列...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
ClickHouse
name,age fox,18 tiger,20 alice,36 准备以下读写ClickHouse的代码，下面的代码是读取OSS的CSV文件，写入到新建的ClickHouse表中，然后从ClickHouse表中读取数据，打印到控制台。参考POM文件<dependencies><dependency><groupId>ru.yandex....
查询文件
csv_meta_params={'RecordDelimiter':'\r '} select_csv_params={'CsvHeaderInfo':'None','RecordDelimiter':'\r ','LineRange':(500,1000)} csv_header=bucket.create_select_object_meta(key,csv_meta_params)print(csv_header.rows)...
功能概览
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等）同步至目的端数据源（包括阿里云上）。本文介绍 云备份 的数据同步功能概览，包括数据同步的...
PAI-TF数据IO方式介绍
import csv csv_reader=csv.reader(open('csvtest.csv'))for row in csv_reader:print(row)不建议使用第三方库读取文件的方式。使用第三方库（如TFLearn、Pandas）的数据IO方式读取数据。通常，第三方库是通过封装Python的读取方式实现，...
使用clickhouse-client导入数据
当您需要将本地文件的数据导入到云数据库ClickHouse时，本文将指导您如何通过clickhouse-client工具进行数据导入，以帮助您快速的完成数据导入。注意事项 支持导入到 云数据库ClickHouse 的常见文件格式为TabSeparated、...
开发自有品牌项目插座产品
本文以TG7100C芯片为例，介绍在开发自有品牌项目智能插座产品时，使用开发板调试配网连云的过程，以及...在平头哥芯片开放社区的 资源下载页面 中，下载 五元组量产工具使用说明，按文档将包含设备证书的CSV文件，导入到数据库后进行烧录。
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
CSV文件
CSV意即逗号分隔符（comma-separated value），这是一种常见的文本文件格式，其中每行表示一条记录，用逗号分隔记录中的每个字段。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制...
Azure AD和无影云电脑实现SSO的示例
使用Excel打开下载的CSV文件，按 无影云电脑 便捷用户录入文件的格式要求调整用户信息，然后保存为CSV文件。说明 调整用户信息时，您需要注意以下事项：无影云电脑 录入文件的格式要求为：用户激活的便捷用户：第一列为用户名（必填），第...
SubscribeBillToOSS-导出订阅详单
MA BucketOwnerId long 否 存储文件的 Oss Owner 对应的 UID。如果是 Bid/ReSeller 订阅，并需要推送到子账号的 OSS 上时指定，需要此账号为调用账号子账号，并对此账号授予 AliyunConsumeDump2OSSRole 权限。普通用户则无需指定，默认为...
- 产品推荐
- 这些文档可能帮助您