从MySQL导入数据
执行建表语句，以下示例为在默认数据库 default 中创建表 clickhouse_test_table。CREATE TABLE default.clickhouse_test_table ON CLUSTER default(v1 Int32,v2 Nullable(Int32),v3 Nullable(Float32))ENGINE=MergeTree ORDER BY v1;说明 ...
配置CDH6使用文件存储 HDFS 版
命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回结果示例如下：+-+-+-+-+-+-+-+|DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CREATE_TIME|+-+-+-+-+-...
使用mysqldump导入导出数据
从MySQL导出的数据文件包含每个表的建表语句。如果直接在 PolarDB-X 1.0 上执行这些建表语句，会在 PolarDB-X 1.0 上建立一个单表。如果要对某个表进行分库分表，那么需要手动对建表语句进行修改，PolarDB-X 1.0 建表语句的语法请参考 ...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
恢复下载后的备份数据
例如MySQL数据库，您可以通过 import.py 脚本恢复全量备份数据，该方案需要您的服务器提前安装Python 3，执行命令如下。python import.py./download/<restore_db_host><restore_db_port><restore_db_user><restore_db_password>示例如下：...
使用mysqldump导入导出数据
如果未加-no-create-info 参数，导出的dump.sql文件中包含MySQL端的建表语句，也可在文件中修改建表语句。导入数据文件到 PolarDB-X 中。您可以通过如下两种方式导入数据文件到 PolarDB-X：通过 mysql-h ip-P port-u user-pPassword-...
SHOW
备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，获取保留周期内备份的各个数据版本信息。查看已删除表的备份数据，获取保留周期内备份的各个数据版本信息。查看指定...
SHOW
备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，获取保留周期内备份的各个数据版本信息。查看已删除表的备份数据，获取保留周期内备份的各个数据版本信息。查看指定...
EMR元数据迁移DLF最佳实践
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
常见问题
目前，ClickHouse不支持查询使用DLF元数据的Hive表，只支持使用MySQL或RDS作为元数据的Hive表。因此，不建议直接使用ClickHouse查询Hive表。根据具体需求，建议如下：如果需要将Hive数据导入到ClickHouse，建议使用Apache Spark或Apache ...
系统管理
在该页面，您可进行如下功能的管控：建表策略管理 代码生成策略管理 发布策略管理 建表策略管理 配置并开启建表策略 在 建表策略管理 页签，您可通过可视化方式配置数据开发（DataStudio）建表的相关限制策略，步骤如下图。策略说明如下：...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
Hive元数据说明
元数据类型介绍 EMR Hive元数据支持DLF统一元数据、自建RDS和内置MySQL三种类型。DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝...
元数据迁移
其他MySQL：EMR内置MySQL、自建MySQL或其他MySQL数据库。如果选择为Aliyun RDS，则需要填写RDS实例相关信息：RDS实例。元数据库名称。用户名。密码。如果选择为其他MySQL，则需要填写MySQL连接的相关信息：JDBC URL。用户名。密码。网络...
数据库变更管理
OceanBase MySQL、MySQL 数据源下，若表中无主键或者唯一键，不支持自动生成回滚语句。UPDATE 语句的修改字段（Set）和条件字段（Where）相同，不支持自动生成回滚语句。最大支持生成的自动回滚语句脚本大小为 256MB。新建数据库变更任务 ...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta mysql库的最大连接数上限调大一些，一般建议设置为1000（通常默认值是200）。...
DDL差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 ALTER DATABASE 不支持 修改数据库属性。ALTER EVENT 不支持 修改现有事件的一个或多个特征。ALTER FUNCTION 不支持 修改函数的定义。ALTER LOGFILE GROUP 不支持 修改日志文件组。ALTER ...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
通过任务编排实现跨库数据同步
前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据库的变更权限。如需申请权限，请参见 DMS访问控制权限概述。准备一个AnalyticDB MySQL数据仓库，用于数据加工，且您拥有该数据仓库的变更权限。如需申请...
新建项目空间并引用表
本文为您介绍如何创建数据工作站项目空间，并添加数据库、表。步骤一：创建并进入项目空间 登录 数据管理DMS 5.0。单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据工作站。说明 若您使用的是非极简模式的控制台，请在顶部...
Spark SQL
在数据湖 元信息发现、T+1全量同步一键建仓 中创建的库表结构,可以被Spark读取并使用，Spark SQL创建或者修改的元数据也可以被其他引擎访问到。下图是Spark SQL和DLA SQL与元数据服务之间的关系。登录 DLA控制台，单击左侧导航栏的 SQL执行...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
自建Hive数据仓库迁移到阿里云E-MapReduce
可靠性 使用阿里云数据库RDS保存Hive的元数据信息，可以提升数据可靠性和服务可用性，免除客户运维自建MySQL数据库的工作。架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...
导出至自建MySQL
TABLE_PROPERTIES AnalyticDB MySQL 访问自建MySQL数据库的访问方式。url ECS实例的 主私网IP（即VPC地址）和目标库名（本文示例中为 test_adb）。查看步骤如下：登录 ECS管理控制台 并找到目标实例。在 实例详情 页签的 网络信息 区域，...
关联Logstore与MySQL数据库进行查询分析
本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息，请参见 数据采集。已为日志字段创建索引。更多信息，请参见 创建索引。已有可用的MySQL数据库。更多信息，请...
管理AnalyticDB MySQL（ADB）Catalog
是 hostName String AnalyticDB MySQL数据库的IP地址或者Hostname。是 port Integer AnalyticDB MySQL数据库服务的端口号，默认值为3306。否 userName String AnalyticDB MySQL数据库服务的用户名。是 password String AnalyticDB MySQL...
数据源常见问题
在MySQL数据库中显示为0或1的字段，为什么在数据集中显示为True或False？直连数据库时，每次刷新仪表板的图表都去查询数据库吗？是否支持数据缓存？是否支持跨数据源关联表？数据源上传文件方式更新数据时的字段顺序是否必须和原上传时的...
通过一键建仓同步至数仓版
PolarDB MySQL数据库中已存在表数据。计费 一键创建PolarDB MySQL数据仓库时，系统自动通过DTS同步数据，DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例PolarDB MySQL中新增库，新增库数据不会自动同步，手动配置同步...
通过一键建仓同步至数仓版
RDS MySQL数据库中已存在表数据。计费 一键创建RDS MySQL数据仓库时，系统自动通过DTS同步数据。DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例RDS MySQL中新增库，新增库数据不会自动同步，需要手动配置同步链路，请...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
数据湖管理FAQ
如何处理一键建仓连接数据库报错：because Encountered too many errors talking to a worker node.The node may have crashed or be under too much load.This is probably a transient issue,so please retry your query in a few ...
生成数据库脚本
平台提供两种数据库脚本生成方式：表结构生成语句和表结构变更语句。本文为您介绍如何生成数据库脚本。操作步骤 登录BizWorks，在 选择平台 下拉列表中选中 建模平台。单击页面右上角 图标或其文本框区域，在下拉列表中单击目标项目名称后...
SQL备份与回滚（公测中）
精确备份：RDS MySQL、PolarDB MySQL版、RDS MariaDB 及自建MySQL数据库可使用精确备份，该方式是在通用备份能力的基础上，额外支持通过Binlog实现SQL级备份，针对SQL影响的数据产生回滚脚本。新交互模式的SQL窗口的更多信息，请参见 SQL ...
从自建MySQL迁移至PolarDB MySQL版（mysqldump工具）
本文介绍如何使用mysqldump工具将自建MySQL数据库迁移至 PolarDB MySQL版。前提条件 目标 PolarDB MySQL版 集群需已完成如下操作：创建数据库 创建和管理数据库账号 设置白名单 申请公网连接地址 迁移方式对比 您可以通过mysqldump或DTS...
- 产品推荐
- 这些文档可能帮助您