使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
数据地图概述
您还可以查看元数据采集完成后的 AnalyticDB for MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB for PostgreSQL、OTS 等的数据库总数，总表数、总API数等信息。详情请参见 数据总览。查找表、代码和API 在首页查找 您还可以通过 ...
FineBI
检查外接MySQL数据库是否使用utf8（– UTF-8 Unicode）编码为字符集排列规则，或新建一个utf8编码的数据库 create database finedb character set utf8。配置外接数据库为AnalyticDB，连接失败 处理方法：外界数据库需要配置本地MySQL，而...
导出至RDS MySQL
建表语句如下：CREATE TABLE courses(id bigint NOT NULL,name varchar(32)NOT NULL,grade varchar(32)NOT NULL,submission_date timestamp NOT NULL,PRIMARY KEY(id));如果您的 AnalyticDB MySQL 集群是弹性模式，您需要在 集群信息 页面...
结构比对
背景信息 ODC 的结构比对功能支持将同一项目下、同类型数据源的数据库对象结构进行对比分析，并生成变更脚本。本文档旨在介绍如何通过 ODC 提交结构比对工单以对比分析两个数据库对象结构。注意事项 链路支持：OceanBase MySQL 到 ...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
SQL窗口介绍
说明 仅RDS MySQL数据库会显示该图标。（数据库分析）：提供一键诊断、实时性能、实例会话、空间分析等数据库自治服务，系统会跳转至数据库自治服务DAS平台，更多信息，请参见 实时性能 和 实例会话。（安全访问代理）：可以为数据库带来更...
路由到数据库
您可以通过事件规则过滤事件，将事件路由到云数据库RDS MySQL版或自建MySQL数据库。本文以自定义事件为例介绍将事件路由到数据库的前提条件、操作步骤和结果验证。地域限制 目前仅华北3（张家口）、德国（法兰克福）和新加坡地域支持路由到...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建的MySQL数据库中的数据，迁移到MaxCompute。前提条件 已拥有至少一个绑定专有网络VPC的ECS（请勿使用经典网络），并在ECS上安装好MySQL数据库，数据库中已创建好用户和测试数据。...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建的MySQL数据库中的数据，迁移到MaxCompute。前提条件 已拥有至少一个绑定专有网络VPC的ECS（请勿使用经典网络），并在ECS上安装好MySQL数据库，数据库中已创建好用户和测试数据。...
元数据库数据字典
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
配置MySQL输出组件
如果MySQL数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置MySQL输出组件
如果MySQL数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
新功能发布记录
资产类目 全面优化表详情 优化 在新版表详情中展示了表的技术元数据（所属库实例、表名、字段等）、业务元数据（表业务描述、表标签等）及管理元数据（表Owner、数据权限等），并提供表的部分快捷操作。您可以在表详情中，全面地了解并高效...
CREATE TABLE AS SELECT（CTAS）
支持 db_name.table_name 格式，区分不同数据库下相同名字的表。IF NOT EXISTS 判断 table_name 指定的表是否存在，若存在，则不执行建表语句。IGNORE 可选参数，若表中已有相同主键的记录，新记录不会被写入。REPLACE 可选参数，若表中已...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
单击 元数据管理>数据库 页签的目标数据库，在目标数据库的 表列表 页签查看数据表是否生成。整库实时同步 在DataWorks 数据集成 模块中创建整库实时同步任务，进行Hudi格式的数据入湖操作，详情请参见 MySQL整库实时同步至OSS数据湖。关键...
DDL 语法
Sharding DDL 语句 数据库访问代理在控制台的任务管理与服务端上均支持了 Sharding DDL 功能，即带有拆分规则的建库建表语句。创建数据库 新建库：CREATE DATABASE IF NOT EXISTS my_db-MYSQL 原生 default character set utf8-MYSQL 原生...
功能特性
PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群，同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
E-MapReduce数据迁移方案
概述 Hive元数据，一般存在MySQL里，与一般MySQL同步数据相比，要注意两点：Location变化 Hive版本对齐 E-MapReduce支持Hive Meta DB：统一元数据库，E-MapReduce管控RDS，每个用户一个Schema 用户自建RDS 用户ECS自建MySQL 为了保证迁移...
访问Hive数据源
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
2023-06-21版本
云原生内存数据库Tair 支持Hive Kerberos 支持将Flink Jar或Python作业写入开启Kerberos认证的Hive集群中。注册Kerberos集群信息 部署作业 审计日志 平台对接阿里云审计服务，您可以在审计服务平台查看到用户在平台上的操作记录。查看资源...
使用DMS数据追踪进行恢复
DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新，并生成逆向回滚语句，追踪完的数据可批量生成回滚脚本，通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响的数据量在10万以内时，您可使用该方法进行数据恢复...
配置AnalyticDB for MySQL 3.0输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
常见术语
本文档主要介绍云原生数据湖分析（Data Lake Analytics，DLA）文档中涉及的基本概念。数据湖 数据湖是一个集中式存储库，允许您以任意规模存储...DCL：MySQL数据库标准。DML：DLA Presto兼容开源Presto标准，DLA Spark SQL是开源Spark的标准。
配置AnalyticDB for MySQL 3.0输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
创建Hive数据源
MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。连接地址格式为 jdbc:mysql:/host:port/dbname。用户名、密码 填写登录Hive的用户名和密码。Hive JDBC URL 填写Hive的JDBC...
兼容性概览
客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建表 列举表 查看表结构 写表 查表 建视图 查看视图结构 查询视图 Navicat Premium 支持 支持 支持 支持 支持 支持 支持 支持 支持 支持 DBeaver 支持 支持 支持 支持 ...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
数据追踪
说明 包含已接入DMS企业版统一管理的 RDS MySQL、PolarDB MySQL版、ECS上自建、本地IDC自建或其他云厂商的MySQL数据库。数据库已开启Binlog。已在 DMS 登录目标数据库。说明 自由操作和稳定变更的实例需要登录。安全协同实例免登录。注意...
通过Spark SQL访问MySQL数据
AnalyticDB MySQL 湖仓版（3.0）支持提交Spark SQL作业，您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例，介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...
GetTableDDL-查询建表语句
查询建表语句。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。调试 您可以在...
风险审计报告
您可以通过 数据管理DMS 的风险报告，搜集和评估数据库在使用过程中产生的各类风险，并获取系统提供的优化建议，使数据库运行得更加安全、稳定。什么是风险审计报告 风险审计报告是基于实例维度，对实例（或实例中指定的库）进行风险分析...
功能特性
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型 功能集 功能 功能描述 参考文档 读写分离与分流 TP实时缓存 支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至云原生内存数据库Tair...
- 产品推荐
- 这些文档可能帮助您