删除文件系统
警告 删除文件系统后，存储在文件系统中的数据将被删除且无法恢复，请在删除前确认数据已不再使用。如果需要继续使用文件系统中的数据，请提前迁移数据。关于迁移数据的更多信息，请参见 迁移说明。前提条件 如果为RAM用户，请确认RAM用户...
库表恢复：按备份集恢复
若您要恢复至的时间点是某个备份集（快照）的时间点，可通过按备份集（快照）恢复的方式恢复误操作的数据库或者表的数据。前提条件 已存在备份集（快照）。版本要求和使用限制 版本要求 说明 您可以通过 查询版本号 来确认集群版本。当前 ...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
下载的RDS备份如何恢复到新的RDS实例
应用场景 如果您之前下载了RDS备份作为存档，并且释放了原实例，现在因为业务原因需要将数据恢复到新的RDS实例，您可以参见本文介绍的方法进行恢复。说明 RDS PostgreSQL暂不支持使用物理备份文件恢复到RDS实例，需要您在释放原实例前使用...
将NAS数据迁移至本地
重要 下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据下载，避免占用业务带宽。具体操作，请参见 使用新购ECS作为数据传输中转节点。通过SFTP客户端迁移数据 当有少量文件需要一次性下载时，建议您在本地系统上...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
文件系统存储类型
大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份存储 若您使用通用型NAS作为MySQL、Redis、MongoDB等数据库的...
DescribeDataFlowTasks-查询数据流动任务列表
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
释放文件系统实例资源
警告 删除文件系统后，存储在文件系统中的数据将被删除且无法恢复，请在删除前确认数据已不再使用。如果需要继续使用文件系统中的数据，请提前迁移数据。关于迁移数据的更多信息，请参见 迁移说明。前提条件 如果为RAM用户，请确认RAM用户...
备份下载的常见问题
本文列举出RDS实例有关备份下载的常见问题供您参考。下载的RDS MySQL备份文件如何恢复到新的RDS实例中？RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到...相关文档 下载备份 备份方案概览 数据恢复方案概览
备份下载的常见问题
本文列举出RDS实例有关备份下载的常见问题供您参考。下载的RDS MySQL备份文件如何恢复到新的RDS实例中？RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到...相关文档 下载备份 备份方案概览 数据恢复方案概览
备份下载的常见问题
本文列举出RDS实例有关备份下载的常见问题供您参考。下载的RDS MySQL备份文件如何恢复到新的RDS实例中？RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到...相关文档 下载备份 备份方案概览 数据恢复方案概览
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
版本说明
V2.6.13 2021年4月30日 问题修复 修复IgnoreError模式下未捕获异常的逃逸引发的行为不一致 修复查询时指定过小startTime时查不到数据的问题。V2.6.12 2021年4月9日 设计优化 添加数据写入的审计日志（由于会对写入性能有影响，只接受提交工...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
配置HDFS输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。行分隔符 文件类型为Text可配置字段之间行分隔符。非必...
使用clickhouse-client导入数据
说明 云数据库ClickHouse 表的结构类型需与本地文件数据类型对应。创建本地表：如果您的集群是单副本版，请输入如下建表语句。CREATE TABLE test_tbl_local ON cluster default(id UInt8,user_name String,age UInt16,city String,access_...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
Delta Lake参数
警告 如果您想删除近期合并过的小文件，可以设置此参数为false，来关闭此安全检查，但不建议您关闭此检查，这样可能会删除近期的数据而造成数据读写失败。spark.databricks.delta.schema.autoMerge.enabled 默认值为false。Delta有校验写入...
建表并上传数据
如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的文件数据。上传数据至OSS，详情请参见 上传文件，MaxCompute外部表映射，详情请参见 外部表。将数据文件上传至OSS...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
导出至OSS
重要 导入到OSS中的文件，数据文件内默认不带列名，只有数据。如果需要导出带列名的文件，请在导入语句前添加hint/*+sql_output_oss_file_head_enable=true*/。INSERT SELECT FROM 功能：如果您的数据在其他表中已经存在，可以通过 INSERT ...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
FTP数据源
DataX内部类型 远程FTP文件数据类型 LONG LONG DOUBLE DOUBLE STRING STRING BOOLEAN BOOLEAN DATE DATE 数据同步任务开发 FTP数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数...
删除或减少备份
您可以删除或减少RDS MySQL备份，以减少 备份费用。...相关操作 通过API删除RDS MySQL数据备份，详情请参见 DeleteBackup-删除实例数据备份文件。通过API变更实例的数据备份或日志备份策略，详情请参见 ModifyBackupPolicy-修改实例备份策略。
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
数据缓存
本文介绍 云数据库 SelectDB 版 中湖仓一体相关的数据缓存功能（File Cache），帮助您对外部数据源进行高效的联邦分析。概述 File Cache通过缓存最近访问的远端存储系统（HDFS或对象存储）的数据文件，可加速后续访问相同数据的查询。在...
CDH6数据迁移
为了保证在更换文件存储系统的过程中文件数据不丢失，需要暂停数据处理服务（例如：YARN服务、Hive服务、Spark服务、HBase服务等），HDFS服务仍需保持运行。此处以停止Hive服务为例进行说明。在CDH Web主页，找到Hive服务，在右侧的操作...
使用限制
4000}MBps min{100+0.5*容量,32000}MBps 快照 限制项 限制 限制说明 每个文件系统可以保留的快照总数（包括手动快照与自动快照）256 1，当数据库文件系统的快照数量达到额度上限，在创建新的自动快照时，系统会删除该数据库文件系统最早的...
OSS-HDFS数据源
说明 文件数据列（index）和常量列（value）配置二选一。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取LONG字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部...
配置同步任务
加载策略包括覆盖数据、追加数据、文件名冲突报错，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。文件名冲突报错：若目录下有重复的文件...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
导出结构和数据
创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义文件是以 对象名-schema.sql 命名的 SQL 文本，数据文件是以 对象名.sql 命名的 SQL 文本，其中对象名与数据库实际对象名保持一致。如果您指定 数据格式 为 CSV ...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
- 产品推荐
- 这些文档可能帮助您