敏感数据溯源

建议您使用数据量大于500条,并且不包含重复数据文件进行溯源。原因二:被泄漏的数据非本租户名下的数据。解决方案:您需要确认溯源数据的来源,确保溯源的数据为本租户名下的数据。原因三:被溯源的文件中不包含水印信息。解决方案:您...

扩容分区和文件系统(Linux

重要 CentOS 6操作系统在扩容至2 TiB以上或者扩容GPT分区表时,需要参考 离线扩容分区和文件系统(Linux数据盘)使用 parted 命令进行操作,不能使用本文档介绍的 growpart 命令进行操作,否则会有分区表被破坏的风险。判断是否为GPT分区,...

其他问题

操作环境 挂载说明 Linux操作系统 可通过以下两种方式挂载访问:通过配置VPN网关实现本地数据访问阿里云NAS文件系统。具体操作,请参见 通过VPN网关实现本地数据中心访问阿里云NAS。通过配置NAT网关实现本地数据访问阿里云NAS文件系统。...

Linux实例的文件系统检查与修复

概述 本文主要介绍如何检查与修复Linux实例的文件系统。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,...

创建同步ADS

HostADS服务地址,请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到ADS中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据,即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复数据...

使用限制

一个普通的PolarDB表(非分区表)占用3个文件数据文件、visibilitymap文件、fsm文件,使用索引的话,每个索引一个文件)。文件数量达到上限后,继续创建表会提示类似以下错误:could not create file 此时需要删除部分表或者升级集群规格...

使用限制

一个普通的PolarDB表(非分区表)占用3个文件数据文件、visibilitymap文件、fsm文件,使用索引的话,每个索引一个文件)。文件数量达到上限后,继续创建表会提示类似以下错误:could not create file 此时需要删除部分表或者升级集群规格...

创建同步RDS/MySQL/ADS3.0

HostRDS服务地址,请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到RDS表中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据,即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

什么是备份数据

概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说,是购买时选择的存储空间;对于ECS来说,是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...

本地运行

如果本地的 warehouse 目录下已经下载了输入表及被引用的资源,在下一次运行时,会直接引用 warehouse 下的数据文件,无需重复下载。本地运行和分布式环境运行差异 在本地运行的过程中,仍然会启动多个Map及Reduce进程处理数据,但这些...

HDFS数据

HDFS是一个分布式文件系统,为您提供读取和写入HDFS双向通道的功能,本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时,请注意以下事项:由于连通默认...

数据归档

任务设置 插入策略:执行数据归档时,忽略重复数据/更新重复数据。限流策略:配置行限流和数据大小限流。备注 可在 备注 文本框中输入不超过 200 个字符的描述信息,该项为选填项。单击 新建,完成新建数据归档。任务生成后可以在 工单>...

管理问题数据

若存在数据不唯一,系统生成的问题数据表会保留该字段的重复数据,即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数,固定值。取该字段的空值数与固定值进行比较。说明 是否为...

CreateDataFlowTask-创建数据流动任务

Evict:释放 CPFS 上文件数据块,释放后文件在 CPFS 上只保留元数据,您仍能查询该文件,但文件数据块已清除,不占用 CPFS 上的存储容量。当访问该文件数据时,将再从源端存储按需加载。Inventory:获取 CPFS 上数据流动管理的文件清单,...

整体流程介绍

操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容:准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...

添加CSV文件

常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件,不能通过直接修改后缀改变CSV文件格式,会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制,需要使用HTTPS网址打开DataV控制台,再添加CSV...

添加CSV文件

常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件,不能通过直接修改后缀改变CSV文件格式,会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制,需要使用HTTPS网址打开DataV控制台,再添加CSV...

RDS PostgreSQL CSV或SQL文件恢复到自建数据库

您可以使用RDS PostgreSQL的备份下载功能,将云盘实例的快照备份数据转换成CSV文件或SQL文件导出,然后通过该文件数据恢复到自建PostgreSQL数据库中。操作步骤 本示例以RDS PostgreSQL云盘实例的SQL文件恢复至ECS实例(CentOS 7.8 64位)...

配置自定义区域右下角组件数据

在 添加数据 对话框中,设置 自定义数据源名称(如折线图数据样例),并单击下方区域上传文件,完成文件上传后单击 确定 即可完成CSV文件数据源的创建。在 选择已有数据源 下拉框中找到上一步创建的 折线图数据样例 数据源,选中该数据源...

导入数据

本文为您介绍如何通过MaxCompute客户端,使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件:已创建表。更多创建表操作,请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...

配置自定义区域右下角组件数据

在 添加数据 对话框中,设置 自定义数据源名称(如折线图数据样例),并单击下方区域上传文件,完成文件上传后单击 确定 即可完成CSV文件数据源的创建。在 选择已有数据源 下拉框中找到上一步创建的 折线图数据样例 数据源,选中该数据源...

OSS Foreign Table数据类型对照表

本文介绍ORC文件、Parquet文件和Avro文件与 AnalyticDB PostgreSQL版 的数据类型对照表。ORC文件数据类型对照表 ORC数据类型 AnalyticDB PostgreSQL版 数据类型 BOOLEAN bool SHORT int2 INT int4 LONG int8 FLOAT float4 DOUBLE float8 ...

DescribeDataFlowTasks-查询数据流动任务列表

Evict:释放 CPFS 上文件数据块,释放后文件在 CPFS 上只保留元数据,您仍能查询该文件,但文件数据块已清除,不占用 CPFS 上的存储容量。当访问该文件数据时,将再从源端存储按需加载。Inventory:获取 CPFS 上数据流动管理的文件清单,...

同步时源库为Db2 for LUW的注意事项及限制

待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如同步对象为表级别,且需进行编辑(如表列名映射),单次同步任务的表数量超过5000时,建议您拆分待同步的表,分批配置多个任务,或者配置整...

使用clickhouse-client导入数据

当您需要将本地文件数据导入到云数据库ClickHouse时,本文将指导您如何通过clickhouse-client工具进行数据导入,以帮助您快速的完成数据导入。注意事项 支持导入到 云数据库ClickHouse 的常见文件格式为TabSeparated、...

计费常见问题

本地数据迁移至 文件存储 HDFS 版 本地数据迁移至 文件存储 HDFS 版 时,需要配置ECS作为中转节点从公网访问阿里云 文件存储 HDFS 版。弹性公网IP对入方向流量不收费,仅对出方向流量收费。即从公网上传数据文件存储 HDFS 版 不会收取...

导出至OSS

云原生数据仓库AnalyticDB MySQL版 支持通过外表和INSERT INTO方式将 AnalyticDB MySQL版 数仓版(3.0)中的数据导出到对象存储OSS(Object Storage Service)中。将数据导出到OSS功能只支持CSV和Parquet格式文件。前提条件 在 对象存储 ...

新建实时自定义源类型

Dataphin支持自定义实时数据源类型,您可以基于自定义的实时数据源类型,创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务,以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...

Parquet

Parquet是Apache开源项目Hadoop支持的一种列存储文件格式,同一份数据以ORC格式和Parquet格式存储时,其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换,准备...

ORC

ORC(Optimized Row Columnar)是Apache开源项目Hive支持的一种经过优化的列存储文件格式,与CSV文件相比,ORC文件不仅节省存储空间,而且数据查询性能更高。本文介绍如何在DLA中为ORC类型的文件创建表。前提条件 请参见文档 文件格式转换...

数据下载

在DataWorks的数据开发(DataStudio)、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能,您可将所需历史下载文件重新下载至本地使用,也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...

堆表结构

结构 说明 table files 表文件,由一个或多个数据文件组成,文件数量与文件大小有关,超过1 GB就会生成一个新的数据文件。file 数据文件,由多个数据块组成。page 数据块,由多个数据行组成。page header 数据块头,详细信息请参见 数据...

常见问题

information_schema.file_storage 展示文件数据源配置信息,包含文件数据源读锁、写锁的持有情况。示例如下:select URI,ENGINE,ROLE,READ_LOCK_COUNT,WRITE_LOCK_COUNT from information_schema.file_storage where ENGINE='OSS';...

FTP数据

使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能,远程FTP文件本身是无结构化数据存储。对于数据同步而言,目前FTP Reader支持的功能如下所示:支持 不支持 支持且仅支持读取TXT的文件,并要求TXT中的schema为...

基于OSS外表的单表多文件查询

一般情况下,OSS外表存储的数据是冷数据数据量比较大,当单个CSV格式的数据文件过大时,对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能,您可以将单个OSS外表的数据文件拆分为多个小的数据文件,以加快查询速度。本文介绍...

初始化概述

操作指导 初始化小于等于2 TiB的数据盘 操作系统 初始化工具 分区格式 常见文件系统 参考文档 Windows 磁盘管理 GPT(推荐)MBR NTFS 初始化小于等于2 TiB数据盘(Windows)Linux 分区:Parted 文件系统:e2fsprogs GPT(推荐)MBR ext4 ...

上传数据

DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中,本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表,或者直接新创建一个MaxCompute表,建表操作可...

导出结构和数据

创建导出任务时,如果您指定 数据格式 为 SQL 格式,那文件包中的结构定义文件是以 对象名-schema.sql 命名的 SQL 文本,数据文件是以 对象名.sql 命名的 SQL 文本,其中对象名与数据库实际对象名保持一致。如果您指定 数据格式 为 CSV ...

元数据抽取

在业务运行中,经常会沉淀到大量数据数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据,并自动生成元数据信息,通过周期性或手动执行,实现数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用