使用OSS Foreign Table导出数据
关于ORC与 AnalyticDB PostgreSQL版 的数据类型的区别，请参见 ORC文件数据类型对照表。创建OSS Server和创建OSS User Mapping 使用OSS FDW前您需要提前创建OSS Server以及OSS User Mapping。创建OSS Server的具体方法，请参见 创建OSS ...
上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
CreateDataFlowTask-创建数据流动任务
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
并发控制
使用默认隔离级别为WriteSerializable，盲 INSERT操作（即，在未读取任何数据的情况下盲目追加数据）添加的文件不会与任何操作冲突，即使它们接触相同的分区（或未分区表中的任何位置）也是如此。如果隔离级别设置为Serializable，则盲追加...
配置HDFS输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。行分隔符 文件类型为Text可配置字段之间行分隔符。非必...
本地运行
wc_in 及 wc_out 表示数据表，您在Jar命令中读写的表文件数据会被下载到这级目录下。文件中的内容表示表的元信息，其文件格式定义如下。project=local_project_name table=local_table_name columns=col1_name:col1_type,col2_name:col2_...
CSV
本文介绍如何在DLA中为不同编码格式的CSV类型的数据文件创建表，以及如何通过OpenCSVSerDe处理CSV文件中特殊格式的数据。创建数据文件表之前，您需要先创建OSS Schema，本文示例中所有数据文件表均使用以下OSS Schema。CREATE SCHEMA dla_...
DescribeDataFlowTasks-查询数据流动任务列表
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
Tunnel操作
具备读取表数据权限（Select）的用户。上传数据 将本地文件的数据上传至MaxCompute的表中，以追加模式导入。上传数据至MaxCompute不收取费用。使用限制 支持文件或目录（指一级目录）的上传，每一次上传只支持数据上传到一张表或表的一个 ...
设置透明数据加密TDE
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。PolarDB PostgreSQL版 TDE加密使用的密钥...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
UNLOAD
控制导出文件个数：设置单个Worker读取MaxCompute表数据的大小，单位为MB。由于MaxCompute表有压缩，导出到OSS的数据一般会膨胀4倍左右。set odps.stage.mapper.split.size=256;导出数据。unload from(select*from sale_detail)into ...
UNLOAD
控制导出文件个数：设置单个Worker读取MaxCompute表数据的大小，单位为MB。由于MaxCompute表有压缩，导出到OSS的数据一般会膨胀4倍左右。set odps.stage.mapper.split.size=256;导出数据。unload from(select*from sale_detail)into ...
设置透明数据加密TDE
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。PolarDB PostgreSQL版（兼容Oracle）TDE...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置同步任务
加载策略包括覆盖数据、追加数据、文件名冲突报错，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。文件名冲突报错：若目录下有重复的文件...
Flume插件
使用如下命令启动Flume，即可完成CSV文件数据采集进入DataHub：$cd${FLUME_HOME}$bin/flume-ng agent-n a1-c conf-f conf/datahub_basic.conf-Dflume.root.logger=INFO,console 案例二：REGEX serializer REGEX解析数据时将每一行作为一条...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高...
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
读取以分区方式存储的OSS数据
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与...数据文件组织 主要包含对全量和增量 数据文件格式 的管理以及读写相关的模块。
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作...数据处理完成之后，会由Meta Service来执行事务冲突检测，原子更新数据文件元信息等，保障读写隔离和事务一致性，详情请参考 事务管理。
查看运行分析
字节（Byte）每秒远端读取网络缓冲区的数据的字节数（numBuffersIn Remote PerSecond）每秒远端读取网络缓冲区的数据的字节数。字节（Byte）每秒输出字节总数。（numBytesOut PerSecond）可查看上游吞吐输出情况，协助您观察作业流量表现。...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
事务管理
数据文件版本管理 每次事务操作会生成一批新的数据文件，这些数据文件会绑定对应的事务版本，主要包含两个属性：时间版本：Timestamp类型，等效于事务Commit时间，只有由用户触发并且存在逻辑数据变更的操作才会产生新的时间版本，...
导入接口介绍
您可以发送请求至<gdb-endpoint>:<port>/loader 终端，实现将数据文件从OSS的Bucket中导入至图数据库GDB实例，还可以查看任务状态和删除导入任务。本文介绍添加导入任务（POST）、查看导入任务状态（GET）和删除导入任务（DELETE）的应用...
账号权限
详情请参见 使用oss_fdw读写外部数据文本文件。创建发布和订阅。示例如下：创建发布 create publication pub for table test_t;创建订阅 create subscription sub connection 'hostaddr=xxx.xxx.xxx.xxx port=xxxx user=PolarDB dbname=...
访问OSS数据源
步骤一：数据准备 准备用于数据读取的文本文件，将文本文件上传至OSS。本文示例的文本文件名为 readme.txt。具体操作，请参见 上传文件。云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的...
账号权限
详情请参见 使用oss_fdw读写外部数据文本文件。修改ROWID使用到的sequence。详情请参见 ALTER SEQUENCE。创建发布和订阅。示例如下：创建发布 create publication pub for table test_t;创建订阅 create subscription sub connection '...
从OSS导入数据
准备测试数据 本文将使用air-routes数据集作为测试数据，图数据库GDB的数据分为点文件和边文件，下载链接如下：下载点文件。下载边文件。说明 进入点文件和边文件网页后，单击右键，然后单击 另存为保存为CSV格式文件。您也可以使用其它...
Broker Load
1,saki,25,hangzhou 2,mutsumi,45,shanghai 3,uika,26,shanghai 4,umiri,27,shenzhen 5,nyamu,37,shanghai 将文件数据导入到表中。从HDFS导入文本文件 file1.txt，示例如下。LOAD LABEL example_db.label1(DATA INFILE("hdfs:/hdfs_host:...
Delta Lake参数
警告 如果您想删除近期合并过的小文件，可以设置此参数为false，来关闭此安全检查，但不建议您关闭此检查，这样可能会删除近期的数据而造成数据读写失败。spark.databricks.delta.schema.autoMerge.enabled 默认值为false。Delta有校验写入...
设置透明数据加密TDE
推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高数据库...
数据归档OSS
云盘版本的RDS SQL Server实例数据文件通常存储在ESSD云盘中，在数据量较大时，会面临较高的存储成本。为了帮助用户实现降本增效，RDS SQL Server提供了数据库级别的数据归档至对象存储OSS的功能。该功能允许用户在控制台数据库管理页面或...
- 产品推荐
- 这些文档可能帮助您