导出数据字典
通过导出数据字典功能，搭配导入功能，您可以快速实现工作组间的数据字典迁移。本文介绍如何导出数据字典。前提条件 已导入或新建完成数据字典。具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录 数据资源平台控制台。在页面...
导出数据字典
通过导出数据字典功能，搭配导入功能，您可以快速实现工作组间的数据字典迁移。本文介绍如何导出数据字典。前提条件 已导入或新建完成数据字典。具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录企业数据智能平台。在页面...
数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
元数据管理常见问题
mysql-h${DBConnectionURL}-u${ConnectionUserName}-p 登录Hive数据库后，修改Location为该Region真实存在的OSS路径即可。如何登录内置的MySQL？通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，登录内置的MySQL。mysql-uroot-...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
Hive数据迁移
表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单，格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。单击...
EMR Hive数据整库离线同步至MaxCompute
Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 ...
EMR Hive数据整库离线同步至MaxCompute
Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 ...
数据方案概览
DMS的数据方案提供数据变更、数据导出、数据追踪、环境构建的功能，通过本文您可以了解数据方案的各项功能详情。一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计，保障多套环境（例如开发环境...
导出数据
在 导出表结构 页面，导出数据字典文档。支持导出Word、Excel和PDF类型的文档。导出SQL查询结果集 说明 暂不支持导出NoSQL数据库的结果集。登录 数据管理DMS 5.0。在页面左侧的 数据库实例 列表区域，找到目标数据库。左键双击数据库名称，...
导入导出数据库
导出数据库 进入数据库详情页，有以下两种方式：数据访问代理>实例>选取需要导出的数据库所在的实例>单击数据库名称，进入数据库详情页。数据访问代理>数据库>单击数据库名称，进入数据库详情页。单击页面右上方的 导出 按钮。单击 确定。...
登录数据库
操作步骤 在DMS实例列表登录数据库 使用该方式登录数据库前，需要确保您的数据库实例已录入DMS。更多信息，请参见 云数据库录入。登录 数据管理DMS 5.0。在首页左侧的未登录实例列表中，选择并右键单击目标实例。说明 数据库实例有未登录...
PluginType参数说明
NDDL 结构同步 TABLE_SYNC 普通数据变更 DC_COMMON 无锁变更 DC_CHUNK 历史数据清理 DC_CRON_CLEAR 可编程对象 DC_PROC 批量数据导入 DC_BIG_FILE 数据导出 DATA_EXPORT 数据库导出 DB_EXPORT SQL审核 SQLReview 数据库克隆 DATABASE_...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
导出数据库列表
如果您需要在本地查看堡垒机管理的数据库资产数据，可以参考本文导出数据库资产列表。登录堡垒机系统。具体操作，请参见 登录系统。在左侧导航栏，选择 资产管理>数据库。在 数据库 页面，单击数据库实例列表右上角的 导出数据库。在 导出...
通过数据管理DMS Web版本登录数据库
本图示以通过阿里云账号登录Linux操作系统云虚拟主机为例（即显示MySQL数据库版本），您可以获取 数据库名称、数据库地址 和 数据库用户名 等信息。单击数据库对应的 操作 列下的 管理。说明 如果您通过控制台账号密码登录云虚拟主机，在 ...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
导出结构和数据
通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅导出结构：仅导出数据库对象的定义语句。导出文件格式...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
管控模式
可视化数据查询结果呈现 Y Y Y SQL格式化 Y Y Y SQL智能提示 Y Y Y 表结构管理 表结构对比 Y Y Y 表结构编辑 Y Y Y 表结构同步 Y Y Y 数据字典导出 5个 无限制 无限制 表结构设计规范 N N Y 表结构研发流程 N N 支持跨云账号、跨数据库和自...
在EMR集群运行TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
SQL窗口介绍
数据管理DMS的SQL窗口可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。前提条件 已具备目标库或表的查询权限。申请权限，请参见 权限管理。SQL窗口界面介绍...
云数据库的导入与导出
导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 默认导出全部内容，指定字段时仍会导出_id字段 备份数据 CSV格式 必须 仅导出指定字段 分析数据 控制台操作步骤：在 云数据库 管理页面，单击您的目标数据库。...
功能特性
安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS中创建或删除数据库，调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时，DMS会...
将自建ClickHouse数据迁移到云ClickHouse中
当您计划将自建数据库ClickHouse迁移到云数据库ClickHouse提升业务的可扩展性和可靠性时，本文档将为您提供实际操作指南以及如何处理可能遇到的问题。参考本文档迁移策略，您将能够高效、安全地完成数据迁移，并最大化云端环境的利益。说明...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
RDS MariaDB实例间的数据迁移
本步骤仅导出数据，不包括存储过程、触发器及函数。使用mysqldump导出存储过程、触发器和函数。mysqldump-h<源实例外网地址>-P<源实例端口>-u<源实例高权限账号>-p<源实例高权限账号密码>-opt-default-character-set=utf8-hex-blob<要迁移...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
使用mysqldump将自建MariaDB数据库迁移上云
背景信息 由于RDS提供的关系型数据库服务与原生的数据库服务完全兼容，所以对用户来说，将原有数据库迁移到RDS实例的过程，与从一个MariaDB服务器迁移到另外一台MariaDB服务器的过程基本类似。本文以本地Linux7和MariaDB 10.2.4版本为例，...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
使用程序进行大数据导入
导入数据到 PolarDB-X 1.0 数据库 导出数据文件以后，可以通过代码的方式读取文件内容，然后导入到 PolarDB-X 1.0 数据库中。为了提高效率，建议通过批量插入的方式。以下是用 Java 写的一个 Demo。测试场景：插入8143801条数据，耗时916秒...
GetDatabaseExportOrderDetail-获取数据库导出工单...
获取数据库导出工单详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
DML无锁变更
具体操作，请参见 数据库导出。导出SQL结果集。具体操作，请参见 SQL结果集导出。无锁数据变更的相关API如下：CreateFreeLockCorrectOrder-创建无锁变更工单 ModifyDataCorrectExecSQL-修改数据变更工单SQL脚本 PauseDataCorrectSQLJob-...
DAS企业版介绍
支持导出数据库SQL模板和流量数据。流量回放和压测：提供智能压测功能，可以基于历史的业务场景和流量进行容量评估、回放压测、峰值压测等功能。具体操作请参见 流量回放和压测。自动SQL优化：相比传统的优化方式，能够自动识别问题SQL，...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
- 产品推荐
- 这些文档可能帮助您