Iceberg连接器
Iceberg是一种开放的数据湖表格式，使用Iceberg连接器可以用来查询Iceberg格式的数据文件。背景信息 Iceberg的详细信息，请参见 Iceberg概述。本文为您介绍Iceberg连接器相关的内容和操作，具体如下：配置Iceberg连接器 示例：查询Iceberg...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
功能特性
挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据，建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...
上传数据
上传GeoJSON数据 重要 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 上传数据 按钮，在下拉列表中选择 GeoJSON。在弹出的 添加数据 对话框中，您可通过以下两种方式上传数据。本地上传 单击 方法一：本地上传 ...
上传数据
上传GeoJSON数据 注意 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 上传数据 按钮，在下拉列表中选择 GeoJSON。在弹出的 添加数据 对话框中，您可通过以下两种方式上传数据。本地上传 单击 方法一：本地上传 ...
如何优化数据导入导出
方式 数据格式 文件大小 耗时 性能（行/每秒）性能（MB/S）mysql-e命令导出原始数据 原始数据格式 1998 MB 33.417s 299248 59.8 mysql-e命令导出csv格式 csv格式 1998 MB 34.126s 293031 58.5 mysqldump工具（net-buffer-length=10KB）sql...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与...数据文件组织 主要包含对全量和增量 数据文件格式 的管理以及读写相关的模块。
准备工作
准备CSV数据文件 格式要求：请参见 CSV数据文件格式。构造测试数据文件时，您可以从以下地址下载点文件和边文件。点文件的下载地址：https://github.com/krlawrence/graph/blob/master/sample-data/air-routes-latest-nodes.csv 边文件的...
基于OSS外表的单表多文件查询
若存在，确认数据文件格式是否符合命名规则。即符合 外表名.CSV，且文件名后缀CSV必须为大写格式。若不存在，则需要将数据文件上传至目标路径。There is not enough memory space for OSS transmission.Currently requested memory%d.没有...
冷数据归档备份与恢复
其中元数据存储在 PolarDB-X 的GMS元数据节点中，数据文件存储在OSS中，存储于OSS的数据文件格式为开源ORC格式。每一个OSS数据文件在对应的GMS元数据记录中都会包含两个时间戳字段commit_ts与remove_ts，用于版本控制，与MVCC多版本含义...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
UNLOAD
指定导出数据文件格式。例如ORC、PARQUET、RCFILE、SEQUENCEFILE和TEXTFILE。使用方法和MaxCompute外部表一致，请参见 创建OSS外部表。'<tbproperty_name>'='<tbproperty_value>'：可选。tbproperty_name 为外部表扩展信息属性名称，...
UNLOAD
指定导出数据文件格式。例如ORC、PARQUET、RCFILE、SEQUENCEFILE和TEXTFILE。使用方法和MaxCompute外部表一致，请参见 创建OSS外部表。'<tbproperty_name>'='<tbproperty_value>'：可选。tbproperty_name 为外部表扩展信息属性名称，...
通过外表导入至数仓版
HDFS数据文件格式需为CSV、Parquet或ORC。已创建HDFS集群并在HDFS文件夹中准备需要导入的数据，本文示例中所用文件夹为 hdfs_import_test_data.csv。已在HDFS集群中为 AnalyticDB MySQL 集群配置如下服务访问端口：namenode：用于读写文件...
备份集查询功能概览
通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的要求，且技术成本较高。数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询...
通过外表导入至数仓版
目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台创建存储空间 和 创建目录。已在OSS服务所在的同一VPC中创建 AnalyticDB MySQL 数仓版（3.0）集群，并...
从OSS导入数据
您也可以使用其它数据进行导入测试，图数据库GDB对CSV数据的文件格式有要求，具体要求，请参见 CSV数据文件格式。上传数据至OSS 以下内容为通过OSS控制台上传数据。如果您需要通过ossutil工具上传数据，请参见 使用ossutil工具上传数据文件...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
使用DataWorks（离线与实时）
场景2：导入本地文件至MaxCompute 同步能力说明 当前支持将 CSV 和 自定义文本文件 两种格式文件数据导入MaxCompute，其中 自定义文本文件 支持.txt、.csv 和.log 类型的文件。操作入口与通用操作指导 登录 DataWorks控制台，单击左侧导航...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，需要上传很多数据文件到一个表中，是否有方法写一个脚本就可以把文件夹下的所有数据文件上传上去？使用Tunnel Upload命令上传数据时，如何实现批量上传一个目录下的多个文件到同一张表，并且每个文件放在...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
创建OSS外部表
场景 语法格式 支持读取或写入OSS的数据文件格式 示例 通过内置文本数据解析器创建外部表 create external table[if not exists](<col_name><data_type>,.)[partitioned by(<col_name><data_type>,.)]stored by '<StorageHandler>' with ...
数据处理费用
按量付费：归档存储数据取回费用=解冻文件大小（GB）×归档存储文件数据取回单价 资源包：不支持 归档直读数据取回容量（RetrievalDataArchiveDirect）直读归档存储类型文件产生的费用。按直读文件的大小计费。重要 对于已解冻的归档存储...
概述
数据源作为脚本文件或输出文件的输入数据，其中：自定义Topic数据是设备上报的原始数据格式.物模型属性上报Topic的数据格式，请参见 设备属性上报.数据服务中数据解析后数据格式为JSON格式。API数据：指通过开放接口 ImportDTData 来触发...
计费常见问题
已购通用型NAS资源包容量 例如，您领取了一个通用型NAS资源包（50 GiB，3个月），在一个计费周期内，您账号下的容量型NAS文件系统A实际存储数据100 GiB，那么在这个计费周期内文件系统A先使用资源包抵扣50 GiB，超出的50 GiB存储容量将按量...
数据湖管理FAQ
OSS存储CSV格式文件时，为什么OSS元数据发现不出任何表？OSS存储CSV格式文件时，为什么OSS元数据发现的字段类型不对？OSS元数据发现，是否支持CSV文件第一行是说明，第二行是文件头，第三行才是数据？多库合并/一键建仓相关问题 如何处理一...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
敏感数据溯源
说明 例如，您查询表A之前未开启 数据水印 功能，此时，即使您开启了 数据水印 功能并启动对该数据文件的溯源任务，仍然无法通过 数据溯源 功能溯源到此次查询操作。创建并执行数据溯源任务 进入数据保护伞。在左侧导航栏，单击 数据溯源，...
表数据格式
本文为您介绍Transaction Table2.0的表数据格式详情。Transaction Table2.0的表关键属性 您可以在执行建表命令Create Table时设置Transaction Table2.0的关键属性：primary key(PK)及 tblproperties("transactional"="true"）。primary key...
使用MaxCompute控制台（离线）
仅支持上传一个CSV文件或XLSX文件：CSV文件：最大支持上传5 GB数据，文件里的数据以半角逗号（,）分隔。XLSX文件：最大支持上传100 MB数据。默认仅上传XLSX文件中首个Sheet页的数据，如果有多个Sheet，则其他Sheet的数据将被忽略。阿里云...
使用curl命令导入数据文件
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请确保图...
添加CSV文件
常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件，不能通过直接修改后缀改变CSV文件格式，会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制，需要使用HTTPS网址打开DataV控制台，再添加CSV...
使用OSS Foreign Table导出数据
支持的文件格式 OSS FDW目前仅支持导出如下格式的数据文件：支持导出CSV、TEXT格式的非压缩文本文件。支持导出CSV、TEXT格式的GZIP压缩文件。支持导出ORC格式的二进制文件。关于ORC与 AnalyticDB PostgreSQL版 的数据类型的区别，请参见 ...
添加CSV文件
常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件，不能通过直接修改后缀改变CSV文件格式，会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制，需要使用HTTPS网址打开DataV控制台，再添加CSV...
云盘备份数据导入至AnalyticDB MySQL版
注意事项 AnalyticDB MySQL版 仅支持CSV、Parquet两种数据文件导入，因此使用RDS MySQL下载备份功能时，请选择下载格式为CSV或Parquet。准备工作 通过以下步骤在 对象存储（Object Storage Service，简称OSS）中创建存储 AnalyticDB ...
创建数据流
文件格式 选择文件存储格式。支持4种文件存储格式：Parquet、ORC、Avro和CSV。压缩 选择文件的压缩方式。分区 选择数据的分区键。您可以通过分区键中的值，快速查找您需要的数据。说明 已配置数据输入节点和连接各节点，您才能选择分区键。...
冷数据归档常见问题
冷数据文件的格式是什么？目前支持CSV、IBD 和ORC格式。如何判断当前表或分区是否归档成功？归档完成后，您可以通过以下两种方式来查看表或分区是否归档成功：执行 SHOW CREATE TABLE table_name;命令查看表结构信息，以此来确认表或者分区...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
通过元数据发现导入至湖仓版
但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动探索OSS文件字段、自动感知字段变化的能力，能够自动创建和更新数据湖元数据。您可以...
- 产品推荐
- 这些文档可能帮助您