Presto FAQ
原因：您的RDS实例做过数据迁移，页面显示的实例ID不是真实的ID。解决方案：您可以添加一个属性 USE_VPC_CLOUD_INSTANCE_ID='true'。示例代码如下。CREATE SCHEMA `test_db` WITH DBPROPERTIES(CATALOG='mysql',LOCATION='jdbc:mysql:/rm-...
常见问题
Tablet的最佳大小可以按下面进行评估，基于以下参数值和总数据量可以预估出Bucket的数目。原始非压缩数据，例如CSV格式，通常每个tablet设置为1 GB~10 GB之间。Parquet格式的数据，建议1 GB左右。在机器比较少的情况下，如果想充分利用机器...
数据管理
执行SAVEPOINT命令，可以永久避免log元数据和数据文件被删除，同时配合time-travel的能力，可以读取历史版本数据。示例如下：保存ID为0的版本。CREATE SAVEPOINT delta.`/path/to/delta_tbl` VERSION AS OF 0;说明/path/to/delta_tbl 为您...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
在云桌面内挂载CPFS文件系统
您可以在阿里云控制台创建CPFS文件系统，通过NFS协议服务把CPFS文件系统挂载至对应工作区下的无影云桌面，挂载成功后便可以在云桌面上把CPFS文件系统当作一个普通的目录来访问和使用。本文介绍如何将CPFS文件系统挂载至云桌面以及如何验证...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
Kafka数据源
例如本地当前工作目录有名为client.keytab的文件，可以通过以下命令验证Keytab文件是否包含指定principal的密钥。klist-ket./client.keytab Keytab name:FILE:client.keytab KVNO Timestamp Principal-7 2018-07-30T10:19:16 test@demo....
配置备份计划
数据库所在位置 待备份数据库实例的所在位置，支持类型如下：RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
什么是备份数据量
数据文件空间 数据库所属数据文件在服务器上占用的磁盘空间。备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
FTP Check节点
为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个.done 文件），表明该任务已完成。然后在DataWorks中配置一个FTP Check节点，...
COMPACTION
Compaction可以把所有的数据文件按照一定策略进行Merge操作，可提升查询效率。功能介绍 Transactional Table 2.0支持近实时增量写入和time travel查询特性，在数据频繁写入的场景中，必然会引入大量的小文件，需要设计合理高效的合并策略来...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
导出至HDFS
后续步骤 导出完成后，您可以通过Hadoop客户端到目标文件夹 hdfs_output_test_csv_data 中查看导出的数据文件。您也可以登录 AnalyticDB MySQL版 集群，在外表中（分区外表与普通外表查询语句一致，本示例以普通外表 hdfs_import_external ...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
SQL查询
如果需要快速地对数据进行查询与分析，您可以使用SQL语句查询MaxCompute、EMR Hive、Hologres等数据源。本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
基于OSS外表的单表多文件查询
因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍了基于OSS外表的单表多文件查询的操作步骤。前提条件 PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.1...
导入数据并查询
对于Parquet格式数据文件，直接查询的性能一般也比较高，您可以根据需要决定是否进一步导入到 AnalyticDB for MySQL 后再做查询。通过 CREATE TABLE，在 adb_demo 数据库中创建目标表 adb_oss_import_test 存储从OSS中导入的数据。CREATE ...
运行SQL命令并导出结果数据
数据文件的导出路径有两种选择：您可以直接将数据以文件形式导出至MaxCompute客户端的 bin 目录中，导出路径为 文件名.后缀名；也可以导出至其他路径下，例如D盘的test文件夹，导出路径为 D:\test\文件名.后缀名。假设，表result_table1的...
数据组织优化
对于用户就是一直不执行Compaction操作的极端场景，引擎侧会做一些优化避免产生无限的历史记录，后台系统会周期性地对超过Time travel时间的BaseFile或者DeltaFile进行自动Compaction，后续就可以正常回收这些被Compaction的历史数据文件。
功能特性
透明数据加密TDE 对数据文件执行实时I/O加密和解密，数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密。TDE不会增加数据文件的大小，您无需更改任何应用程序，即可使用TDE功能，详情请参见 设置透明数据加密TDE。自动备份 支持 设置...
上传数据
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式，当前支持 CSV 和 自定义文本文件 两种文件格式，其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览，根据界面提示选择待上传的数据文件。选择...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
本地RDB文件可以恢复到 云数据库 Redis 版 实例。您需要先将RDB文件恢复到自建Redis数据库再将自建Redis数据库的数据迁移到 云数据库 Redis 版 实例。操作步骤 创建 云数据库 Redis 版 实例，具体操作请参见 步骤1：创建实例。如果已有 云...
计费常见问题
如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？账单为上一小时的账单，控制台上显示的文件系统...
数据安全
说明 云备份（Cloud Backup）作为阿里云统一灾备平台，是一种简单易用、敏捷高效、安全可靠的公共云数据管理服务，可以为阿里云ECS整机、ECS数据库、文件系统、NAS、OSS、Tablestore 以及自建机房内的文件、数据库、虚拟机、大规模NAS等...
开启透明数据加密TDE
云原生内存数据库Tair 支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 内存...
开启透明数据加密TDE
云数据库Redis支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 Redis企业版 ...
RDS MySQL逻辑备份文件恢复到自建数据库
MySQL自带的mysqldump工具可以实现将RDS MySQL逻辑备份文件恢复到自建数据库。本文介绍详细的逻辑备份恢复数据库操作步骤。说明 关于如何选择数据恢复方案，请参见 数据恢复方案概览。通过物理备份文件恢复到自建数据库请参见 RDS MySQL...
跨地域恢复数据
如果您已完成跨地域备份数据，可以使用备份文件将数据恢复到跨地域备份所在地域的新实例上。前提条件 已完成跨地域备份。具体操作，请参见 跨地域备份。说明 更多数据恢复方案，请参见 恢复方案概览。MySQL跨地域恢复，请参见 MySQL跨地域...
数据传输服务（上传）场景与工具
例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您可以通过 Tunnel 向MaxCompute中上传数据。数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、...
- 产品推荐
- 这些文档可能帮助您