数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
通过DMS导出数据库文件
您可以通过数据管理DMS将云虚拟主机数据库中的数据导出为SQL格式、CSV格式或Excel格式的文件。本文以Linux操作系统独享虚拟主机标准增强版的mysql 5.7.25-log数据库为例，介绍通过数据管理DMS导出数据库文件的方法。背景信息 通过数据管理...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
Hive数据迁移
表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单，格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。单击...
自建Hive数据仓库迁移到阿里云E-MapReduce
可靠性 使用阿里云数据库RDS保存Hive的元数据信息，可以提升数据可靠性和服务可用性，免除客户运维自建MySQL数据库的工作。架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...
登录数据库
操作步骤 在DMS实例列表登录数据库 使用该方式登录数据库前，需要确保您的数据库实例已录入DMS。更多信息，请参见 云数据库录入。登录 数据管理DMS 5.0。在首页左侧的未登录实例列表中，选择并右键单击目标实例。说明 数据库实例有未登录...
导入导出数据库
导出数据库 进入数据库详情页，有以下两种方式：数据访问代理>实例>选取需要导出的数据库所在的实例>单击数据库名称，进入数据库详情页。数据访问代理>数据库>单击数据库名称，进入数据库详情页。单击页面右上方的 导出 按钮。单击 确定。...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
PluginType参数说明
NDDL 结构同步 TABLE_SYNC 普通数据变更 DC_COMMON 无锁变更 DC_CHUNK 历史数据清理 DC_CRON_CLEAR 可编程对象 DC_PROC 批量数据导入 DC_BIG_FILE 数据导出 DATA_EXPORT 数据库导出 DB_EXPORT SQL审核 SQLReview 数据库克隆 DATABASE_...
导出数据库列表
如果您需要在本地查看堡垒机管理的数据库资产数据，可以参考本文导出数据库资产列表。登录堡垒机系统。具体操作，请参见 登录系统。在左侧导航栏，选择 资产管理>数据库。在 数据库 页面，单击数据库实例列表右上角的 导出数据库。在 导出...
通过数据管理DMS Web版本登录数据库
本图示以通过阿里云账号登录Linux操作系统云虚拟主机为例（即显示MySQL数据库版本），您可以获取 数据库名称、数据库地址 和 数据库用户名 等信息。单击数据库对应的 操作 列下的 管理。说明 如果您通过控制台账号密码登录云虚拟主机，在 ...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
导出结构和数据
通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅导出结构：仅导出数据库对象的定义语句。导出文件格式...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
在EMR集群运行TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
管理数据库Owner
当您需要将特定用户设置为数据库Owner、授予数据库的查询和导出等权限时，可参考本文进行操作。注意事项 待设置的数据库Owner需要是已录入至DMS的用户。若需要录入新的用户，请参见 用户管理。本文的数据库Owner为DMS的资源角色名。更多...
快速使用EMR Notebook
数据库 待访问的Hive数据库名称。访问方式 支持以下访问方式：LDAP：EMR集群中设置的用户名和密码，详情请参见 管理用户。免密登录：仅需设置用户名。网络检测 单击 测试连通性，可以测试网络连通性。单击 添加数据库。步骤三：新建...
数据导出服务
参数 说明 导出数据字段 Jq Filter 表达式，从导出数据中选择出数据库该列对应的数据 字段名称 数据库该列的名称 字段类型 选择数据库该列的数据类型 字段大小 数据库该列的数据大小 字段描述 可选，数据库该列的描述 向导4.完成创建 单击 ...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
通过SQL Server Management Studio导出SQL Server...
Excel类型数据表 在Microsoft SQL Server Management Studio页面的左侧导航栏，找到 数据库 目录下待导出数据的云虚拟主机数据库（例如hds14190*_db），右键单击该云虚拟主机数据库，选择 任务(T)>导出数据(X).进入 SQL Server导入导出...
SQL Console初体验
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
SQL窗口介绍
数据管理DMS的SQL窗口可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。前提条件 已具备目标库或表的查询权限。申请权限，请参见 权限管理。SQL窗口界面介绍...
云数据库的导入与导出
导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 默认导出全部内容，指定字段时仍会导出_id字段 备份数据 CSV格式 必须 仅导出指定字段 分析数据 控制台操作步骤：在 云数据库 管理页面，单击您的目标数据库。...
功能特性
安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS中创建或删除数据库，调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时，DMS会...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
将自建ClickHouse数据迁移到云ClickHouse中
当您计划将自建数据库ClickHouse迁移到云数据库ClickHouse提升业务的可扩展性和可靠性时，本文档将为您提供实际操作指南以及如何处理可能遇到的问题。参考本文档迁移策略，您将能够高效、安全地完成数据迁移，并最大化云端环境的利益。说明...
管控模式
行级别数据权限管理 N N Y 数据导出 SQL结果集导出 Y Y Y 数据库导出 Y Y Y 权限校验、流程审批-Y 每日免费导出行数上限 100万行 2000万行 无限制 单次导出表数量上限 无限制 无限制 无限制 单次导出表容量上限 10 GB 无限制 无限制 安全与...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
RDS MariaDB实例间的数据迁移
本步骤仅导出数据，不包括存储过程、触发器及函数。使用mysqldump导出存储过程、触发器和函数。mysqldump-h<源实例外网地址>-P<源实例端口>-u<源实例高权限账号>-p<源实例高权限账号密码>-opt-default-character-set=utf8-hex-blob<要迁移...
项目
外部项目无法被独立创建和使用，需要配合数据湖集成，用以实现访问和管理Hadoop集群Hive数据库中的表数据，或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限，需要关联到MaxCompute项目，通过...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
使用mysqldump将自建MariaDB数据库迁移上云
背景信息 由于RDS提供的关系型数据库服务与原生的数据库服务完全兼容，所以对用户来说，将原有数据库迁移到RDS实例的过程，与从一个MariaDB服务器迁移到另外一台MariaDB服务器的过程基本类似。本文以本地Linux7和MariaDB 10.2.4版本为例，...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
API概览
数据导出 数据导出 CreateDatabaseExportOrder 创建数据库导出工单 创建数据库导出工单。CreateDataExportOrder 创建SQL结果集导出工单 创建SQL结果集导出工单。ExecuteDataExport 执行数据导出工单 调用ExecuteDataExport执行数据导出工单...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
使用程序进行大数据导入
导入数据到 PolarDB-X 1.0 数据库 导出数据文件以后，可以通过代码的方式读取文件内容，然后导入到 PolarDB-X 1.0 数据库中。为了提高效率，建议通过批量插入的方式。以下是用 Java 写的一个 Demo。测试场景：插入8143801条数据，耗时916秒...
- 产品推荐
- 这些文档可能帮助您