添加CSV文件
前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂时不支持上传超出512KB的CSV...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
数据恢复方案概览
如果您误释放了RDS MySQL实例、误删除或修改了实例的数据、或有将备份文件恢复到云上或本地的需求等，可参考本文选择合适的MySQL数据恢复方案。场景一：恢复误释放的实例 回收站：进入 回收站，并 选择地域。如果在回收站里找到实例，可以...
版本发布记录
无 1.0.0 类别 功能点 描述 数据分析 OSS文件数据分析 支持针对单个OSS文件数据进行分析，或者多个OSS Bucket文件进行关联分析。分析结果写入OSS 支持将分析后的结果数据回流至OSS。Table Store数据分析 支持Table Store数据分析。RDS数据...
CreateDataFlowTask-创建数据流动任务
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
使用clickhouse-client导入数据
说明 云数据库ClickHouse 表的结构类型需与本地文件数据类型对应。创建本地表：如果您的集群是单副本版，请输入如下建表语句。CREATE TABLE test_tbl_local ON cluster default(id UInt8,user_name String,age UInt16,city String,access_...
功能特性
具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步...
数据变更最佳实践
删除数据、分区、表 AnalyticDB MySQL版 有多种删除数据的方式，建议如下：数据删除频率低、基于主键为条件的删除，可通过 DELETE FROM WHERE PK='xxx' 删除数据。数据删除频率低、基于任意条件的删除，可通过 DELETE 删除数据。通过 ...
生命周期管理FAQ
目标目录的所有文件数据只要满足生命周期管理策略，即会自动转储至低频存储或归档存储中。设置生命周期管理策略后，文件多久会被转储到低频存储或归档存储？转储时间会和文件系统的大小和转储数据量有关，功能开启后，符合生命周期管理策略...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
使用OSS Foreign Table进行数据湖分析
ORC数据类型与 AnalyticDB PostgreSQL版 数据类型的映射关系，请参见 ORC文件数据类型对照表。支持访问PARQUET格式的二进制文件。PARQUET数据类型与 AnalyticDB PostgreSQL版 数据类型的映射关系，请参见 Parquet文件数据类型对照表。支持...
湖仓一体
云数据库 SelectDB 版 也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成 云数据库 SelectDB 版 中的表，从而方便地对这些文件数据进行分析，具体参见 文件分析。在本文中，主要介绍...
备份下载的常见问题
本文列举出RDS实例有关备份下载的常见问题供您参考。下载的RDS MySQL备份文件如何恢复到新的RDS实例中？RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到...相关文档 下载备份 备份方案概览 数据恢复方案概览
备份下载的常见问题
本文列举出RDS实例有关备份下载的常见问题供您参考。下载的RDS MySQL备份文件如何恢复到新的RDS实例中？RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到...相关文档 下载备份 备份方案概览 数据恢复方案概览
2024年
修复数据处理过程中系统在尝试读取数据文件的特定块时发生错误，触发 beam could not read block in file 报错。该版本调整了文件读取逻辑，增强了对文件块损坏或不可读状态的容错处理，确保数据读取过程的稳定性和可靠性。修复查询监控...
备份下载的常见问题
本文列举出RDS实例有关备份下载的常见问题供您参考。下载的RDS MySQL备份文件如何恢复到新的RDS实例中？RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到...相关文档 下载备份 备份方案概览 数据恢复方案概览
Snapshot（试用）
当您希望对OSS-HDFS服务的数据进行备份，在数据发生错误、被误删除时，将数据恢复至可用状态，您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能在使用方式上与HDFS的快照功能完全兼容，同时支持目录层级的操作。重要 此功能目前尚...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
数据组织优化
Clustering 当前痛点 Delta Table支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，因此需要设计...
Delta Lake参数
警告 如果您想删除近期合并过的小文件，可以设置此参数为false，来关闭此安全检查，但不建议您关闭此检查，这样可能会删除近期的数据而造成数据读写失败。spark.databricks.delta.schema.autoMerge.enabled 默认值为false。Delta有校验写入...
数据缓存
本文介绍 云数据库 SelectDB 版 中湖仓一体相关的数据缓存功能（File Cache），帮助您对外部数据源进行高效的联邦分析。概述 File Cache通过缓存最近访问的远端存储系统（HDFS或对象存储）的数据文件，可加速后续访问相同数据的查询。在...
建表并上传数据
如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的文件数据。上传数据至OSS，详情请参见 上传文件，MaxCompute外部表映射，详情请参见 外部表。将数据文件上传至OSS...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
使用OSS Foreign Table导出数据
关于ORC与 AnalyticDB PostgreSQL版 的数据类型的区别，请参见 ORC文件数据类型对照表。创建OSS Server和创建OSS User Mapping 使用OSS FDW前您需要提前创建OSS Server以及OSS User Mapping。创建OSS Server的具体方法，请参见 创建OSS ...
基本概念
本文将向您介绍文件存储NAS产品的使用架构以及涉及的基本概念，以便于您更好地理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
删除文件系统
警告 删除文件系统后，存储在文件系统中的数据将被删除且无法恢复，请在删除前确认数据已不再使用。登录 文件存储控制台。在左侧导航栏，选择 文件系统>文件系统列表。在顶部菜单栏，选择地域。找到目标文件系统，单击操作列的 图标>删除。...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
自建MySQL应急恢复
数据库备份DBS 提供自建MySQL应急恢复功能，该功能基于Copy Data Management（CDM）技术，通过开启DBS沙箱，您可以快速创建出应急数据库实例（本文称为沙箱实例），使备份数据快速可用。多个沙箱实例之间的读写不会互相影响，也不会影响源...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
通过外表导入至数仓版
说明 对于CSV格式、Parquet和ORC格式数据文件，数据量越大，通过外表查询的性能损耗越大。如果您需要进一步提升查询效率，建议您按照后续步骤将OSS数据导入 AnalyticDB MySQL版 后再做查询。创建目标表。在目标数据库 adb_demo 中创建一张...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
通用型NAS计费
按量付费：费用=被删除文件大小（GiB）×归档存储月单价÷30（天）÷24（小时）×（1440-已存储时间）归档存储读流量 按每小时归档存储读写数据流量 ② 的累积值计费。在每小时出账后读写量清零，下一小时重新累计。按量付费：费用=每小时...
Oracle永久增量备份
说明 关于备份Oracle RAC数据库的说明：为了保证备份成功，需要在备份前对Oracle的控制文件、参数文件、数据文件、归档日志、REDO日志文件进行检查。具体操作，请参见 Oracle RAC文件查询。您只需在RAC多台实例中任意选择一台实例机器上...
- 产品推荐
- 这些文档可能帮助您