基于Hadoop集群支持Delta Lake或Hudi存储机制
内置MySQL：表示元数据存储在集群本地环境的MySQL数据库中。说明 仅限在测试场景下使用该方式，生产场景建议选择 自建RDS。集群创建成功后，单击目标集群 操作 列的 节点管理。在 节点管理 页面，单击 emr-master 节点组下的目标节点ID，...
可视化管理内部表、外部表或视图
背景信息 MaxCompute Studio支持的表或视图操作如下：创建内部表、外部表或视图 修改内部表或外部表 查看内部表、外部表或视图详细信息 清空表数据或删除分区 删除内部表、外部表或视图 创建内部表、外部表或视图 在IntelliJ IDEA界面的...
创建TDH Inceptor计算源
如果Dataphin系统的计算引擎设置为TDH Inceptor，则只有项目空间添加了TDH Inceptor计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建TDH Inceptor计算源。前提条件 若以TDH Inceptor作为元仓，或元仓...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
使用独立的Trino集群
重要 如果待查询的数据全部保存在OSS上，或者建表语句时指定了Location，则可以不用配置host。Hive的部分表在创建时，会默认指定路径，因此在查询保存在数据集群上的数据时，为了查询时能够读取到这些表，Trino集群的每一台主机都需要配置...
使用mysqldump迁移MySQL数据
适用场景 自建MySQL数据库迁移至 RDS MySQL 或RDS MySQL Serverless 实例内。注意事项 默认情况下，自建库迁移到RDS以后表名统一变为小写。您可以通过如下两种方法让 RDS MySQL 或RDS MySQL Serverless 实例区分表名大小写。在创建 RDS ...
自建数据源MySQL
添加MySQL数据源用于连通MySQL数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网或内网的方式连接MySQL，本文为您介绍如何添加MySQL自建数据源。使用限制 支持5.5、5.6、5.7、8.0版本。前提条件 ...
常见问题
本文汇总了云数据库RDS MySQL的常见恢复...方法三：先 下载备份，再将备份文件恢复至自建数据库，具体请参见 RDS MySQL物理备份文件恢复到自建数据库、RDS MySQL逻辑备份文件恢复到自建数据库 或 RDS MySQL CSV或SQL文件恢复到自建数据库。
DataWorks on EMR Serverless StarRocks最佳实践
数据服务支持向导模式和脚本模式两种编辑场景，脚本模式支持根据查询SQL语句自动生成API的请求参数和返回参数。以下以向导模式为例为您示例操作要点。选择数据源类型为StarRocks，选择创建的StarRocks数据源后，选择对应的表，根据界面选择...
概述
支持的数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL、PolarDB ...
Hadoop集群迁移至DataLake集群
内置MySQL 元数据存储在集群本地环境的MySQL数据库中。重要 该方式仅用于测试场景，请勿用于生产环境。（可选）软件自定义配置 如果您导出了旧平台集群中的服务配置，或计划在创建集群流程中预置配置，则可以在新平台集群创建流程中开启...
Spark Load
构建流程 读取上游数据源的数据，生成一张Hive临时表，记为 hive_table。从 hive_table 中抽取待去重字段的去重值，生成一张新的Hive表，记为 distinct_value_table。新建一张全局字典表，记为 dict_table。字典表一列为原始值，另一列为...
SQL 编辑和执行
信息项 示例值 项目名称 odc_4.2.0 所属数据源 mysql410 数据库名称 odc_test 表名称 employee 在项目 odc_4.2.0 中单击 登录数据库，进入 SQL 开发窗口。在 SQL 窗口中，编辑 SQL 语句以创建表 employee。CREATE TABLE odc_test.employee...
RDS MySQL Online DDL 使用
DDL操作执行时需要修改表的元数据（metadata），有可能会遇到等待表元数据锁的情况（waiting for table metadata lock），该情况的处理方式请参见 解决MDL锁导致无法操作数据库的问题。Inplace和Copy Table是相反的2种处理方式；但即使DDL...
MySQL
说明 MySQL CDC源表在正则匹配表名时，会将您填写的 database-name，table-name 通过字符串 \\.（VVR 8.0.1前使用字符.）连接成为一个全路径的正则表达式，然后使用该正则表达式和MySQL数据库中表的全限定名进行正则匹配。例如：当配置'...
迁移数据库账号
说明 MySQL实例含RDS MySQL和自建MySQL。目标RDS MySQL实例为5.6版本时，不支持迁移账号。暂不支持MySQL 8.0的动态权限迁移。系统账号（如root、mysql.infoschema、mysql.session、mysql.sys等）和内置账号不支持迁移至目标库。若您勾选了...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
结构设计
前提条件 数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL OceanBase Oracle 说明 支持物理库、逻辑库。实例的管控模式为 安全协同。更多信息，请参见 查看管控模式。结构设计中使用的...
基础版Spark全密态计算引擎使用示例
数据准备 本文示例的RDS MySQL数据库名为 adb，并在该库中创建了一张名为 customer 的表，示例如下：CREATE DATABASE IF NOT EXIST adb;CREATE TABLE IF NOT EXISTS adb.customer(id int,name varchar(1023),address varchar(1023),age int...
RDS MySQL实例间的迁移
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
SQL审核优化建议在数据变更工单中的应用
DMS安全规则中的SQL审核优化建议，可以对SQL Console或数据变更工单中执行的SQL进行规范性检查（例如表要有备注、表需要包含某些列），并提出相关优化建议（例如无锁数据变更推荐），辅助DBA审核SQL语句，提高研发质量。本文将演示设置部分...
管理Paimon Catalog
使用Paimon Catalog 创建数据库和表 Paimon Catalog配置完成后，您就可以在作业中引用Paimon Catalog表信息，作为结果表和维表，无需声明表的DDL。在SQL命令方式中，您可以直接使用Paimon Catalog表名称的完整格式${Paimon-catalog-name}.$...
Spark应用配置参数说明
云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍 AnalyticDB for MySQL 与开源Spark用法不一致的配置参数。使用说明 Spark应用配置参数用于配置和调整Spark应用程序的...
普通数据变更
部分参数说明如下：说明 以选择安全协同模式的RDS MySQL数据库举例。配置项 是否必填 说明 数据库 是 搜索并选择有变更权限的数据库。原因类别 是 选择数据变更的原因，方便后续查找。说明 管理员可以在 运维管理>配置管理 中，修改原因...
RDS MySQL实例间的同步
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
使用DMS数据追踪进行恢复
背景信息 在日常访问数据库时，可能由于误更新、误删除、误写入等原因导致数据不符合预期，需要将数据库恢复至正常状态。相比于 恢复全量数据、恢复库表，使用DMS数据追踪进行恢复更快速、便捷。说明 更多数据恢复方案，请参见 数据恢复...
自建MySQL数据导入
本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...
Quick BI
选择 云数据库>AnalyticDB for MySQL 3.0。在 添加AnalyticDB for MySQL 3.0数据源 页面进行参数配置。用同一账号购买 AnalyticDB MySQL版 和Quick BI时，选择数据库下拉菜单会自动显示当前账号购买的 AnalyticDB MySQL版，选择后会自动...
MySQL数据源
您可以在MySQL数据库通过如下语句查看当前MySQL数据库版本。SELECT version();准备工作2：配置账号权限 建议您提前规划并创建一个专用于DataWorks访问数据源的MySQL账号，操作如下。可选：创建账号。操作详情请参见 创建MySQL账号。配置...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
常见问题
如果您有配置多Hive MetaStore、多MySQL的需求，或默认提供的连接器不包含您想要使用的服务时，您可以使用EMR Trino提供的5个占位连接器，即connector1~connector5，您可以选择其中任意一个，将其 connector.name 配置为hive或您所需要的...
基于Paimon的数据库实时入湖快速入门
本文通过Paimon Catalog和MySQL连接器，将云数据库RDS中的订单数据和表结构变更导入Paimon表中，并使用Flink对Paimon表进行简单分析。背景信息 Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云实时...
通过视图管控数据权限
场景需求 已创建了一张包含不同省份客户的表 customer，建表语句如下：Create Table `customer`(`id` bigint AUTO_INCREMENT,`province_id` bigint NOT NULL,`user_info` varchar,primary key(`id`))DISTRIBUTE BY HASH(`id`);往表 ...
导入与导出
整库同步：在AnalyticDB MySQL中新建一张表，表名要不同于报错的表，表结构需要和源表的表结构一致，通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过Rename将新表更名为报错的表名，重启DTS任务即可。...
Hudi
hive_sync.db 同步到Hive的数据库名称。String 否 default 无。hive_sync.table 同步到Hive的表名称。String 否 当前table名 hudi同步到Hive的表名不能使用中划线（-）。dlf.catalog.region DLF服务的地域名。String 否 无 详情请参见 已...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
CREATE DATABASE AS（CDAS）语句
示例五：多CDAS语句整库同步到Kafka 在使用多个CDAS语句整库同步到Kafka时，由于不同的数据库中可能存在相同的表，为了防止topic冲突，需要使用 cdas.topic.pattern 配置。cdas.topic.pattern 定义了创建topic的名称的格式，其中可通过 {...
创建Hadoop计算源
元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...
- 产品推荐
- 这些文档可能帮助您