Security Zone功能
背景信息 例如，某公司有部门A和部门B两个部门，部门A主要使用Hive database a，以及HDFS路径/a，部门B主要使用Hive database b，以及HDFS路径/b。如果要使用Security Zone功能，可以将Hive database a和HDFS路径/a 划分到Zone a当中，将...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
创建集群
内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明 测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据 或 自建RDS。集群存储根路径 当您在可选服务区域选择了OSS-HDFS服务时，需要配置该...
整库迁移与批量上云
来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS（PolarDB-X）DM Hive DB2 ApsaraDB for ...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
Dataphin资产中物理表的描述出现乱码
问题描述 本文主要描述了Dataphin...问题原因 Hive meta数据库编码问题。解决方案 在即席查询执行show create table 查看表名，确认结果的COMMENT是不是乱码，如果是乱码，需要确认下修改下Hive meta的数据库编码。适用于 Dataphin v.2.9.7
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
创建Hudi数据源
同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通，因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...
Hive元数据说明
从可用性、可靠性和性能等方面对比，自建RDS要优于内置MySQL，详情请参见 RDS与自建数据库对比优势。DLF统一元数据和自建RDS的区别 对比项 DLF统一元数据 自建RDS 易用性 EMR集群开箱即用（需提前开通DLF产品）。EMR集群开箱即用（需提前...
Hive服务异常排查及处理
解决方案：需要手动初始化Hive Meta数据库。具体步骤，请参见 Metastore初始化。HiveMetaStore问题 常见异常：org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(message:Could not connect to meta store using any of the...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
GetDatabase-获取元数据库详情
操作 访问级别 资源类型 条件关键字 关联操作 dlf:GetDatabase READ 全部资源*无 无 请求语法 GET/api/metastore/catalogs/databases 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid ...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
Search-搜索元数据
True DatabaseResult object 返回的 db 结果 Databases object[]返回的 DatabaseList Database Database 返回的 Database HighLightList array 返回高亮文本 HighLight 返回高亮文本 TotalCount long 满足匹配条件的总的 Database 个数 ...
SearchAcrossCatalog-跨Catalog搜索元数据
db 结果 Databases object[]返回的 DatabaseList Database Database 返回的 Database HighLightList array 返回高亮文本 HighLight 返回高亮文本 TotalCount long 满足匹配条件的总的 Database 个数 11000 TableResult object 返回的 table...
管理数据库
Hive 参数 说明 数据库类型 Hive 名称 新建数据库的名称，长度限制为1~64个字符，只允许包含中文、字母、数字、空格、短划线（-）和下划线（_）。网络类型 仅支持专有网络类型。专有网络 默认展示工作空间配置的网络参数，不支持修改。为了...
配置CDH6使用文件存储 HDFS 版
命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回结果示例如下：+-+-+-+-+-+-+-+|DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CREATE_TIME|+-+-+-+-+-...
外表统计信息
本文介绍 云数据库 SelectDB 版 中外表统计信息收集功能，包括 使用方法和实现原理，为您进行查询性能优化提供参考。外表统计信息的收集方式、内容基本与内表统计信息一致，更多信息请参见 统计信息。注意事项 目前支持收集Hive、Iceberg和...
管理实例
管理已登录实例 您可以对已登录实例进行刷新、编辑、用户和权限管理、切换数据库、退出登录、删除实例等操作。登录 Hologres管理控制台。在顶部菜单栏左侧，选择相应的地域。单击 前往HoloWeb，进入HoloWeb开发页面。在 元数据管理 页签下...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
Iceberg
hive_sync.db 同步到Hive的数据库名称 String 否 当前Table在Catalog中的数据库名 无。hive_sync.table 同步到Hive的表名称 String 否 当前Table名 无。dlf.catalog.region DLF服务的地域名 String 否 无 详情请参见 已开通的地域和访问...
什么是数据库代理
PolarDB 数据库代理是位于数据库和应用程序之间的网络代理服务，用于代理应用程序访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，支持自动读写分离、负载均衡、一致性级别、连接池、过载保护等高级功能。...
通过DTS实现数据库的垂直拆分
保持源实例数据库B与应用程序的断开状态，验证源和目标实例的数据库B数据一致后，将应用程序的相关数据库服务切换至目标实例的数据库B并恢复业务。登录目标实例数据库B，根据数据库类型选择下述命令查看会话信息，确保有新的会话执行写入...
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks实例有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于连接外部MetaStore。在...
数据库代理企业版发布说明
存量按量付费集群 对于存量的按量付费集群，数据库代理于2021年12月9日已自动切换到数据库代理企业版。存量包年包月集群 对于存量的包年包月集群，数据库代理于2021年12月9日已自动切换到数据库代理企业版。数据库代理企业版功能特点 数据...
如何修改备份源数据库
使用场景 原数据库迁移或下线，需切换为新数据库备份。测试阶段结束，需切换为生产数据库备份。源账号密码配置错误获取权限不足，需要修改账号密码。源数据库的库表发生变动，需要重新配置备份对象。操作步骤 登录 DBS控制台。单击左侧导航...
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks集群都有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于管理外部数据源的访问信息...
查看集群日报与分析
Hive库信息 Hive库信息包含以下部分：Hive库详细信息 Hive库文件大小分布Top信息 Hive库冷热数据分布Top信息 Hive库存储格式分布Top信息 Hive库详细信息提供以下数据：存储使用量排名：名称、存储量，日环比和日增量。文件数量排名：名称、...
使用说明
示例：把数据库 db1 切换到RW2上 ALTER DATABASE db1 POLARDB_WRITE_NODE 2;指定SQL语句执行的RW节点 重要 该功能仅适用于非数据查询的语句，例如查询information_schema、查询status变量等。如果需要查询数据，例如查询语句 SELECT*FROM ...
Dataphin中从SAP HANA向Hive同步数据后数据精度丢失
问题描述 Dataphin中从SAP HANA向Hive同步数据，数据精度丢失。SAP HANA中字段是decimal(11,2)。同步到Hive后，小数丢失，只有整数。问题原因 从Hive中表结构可以看出，字段定义的是decimal(10,0)格式，因此同步到Hive数据只有整数。解决...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
API概览
SwitchOverGlobalDatabaseNetwork 切换全球数据库网络 切换全球数据库网络（GDN）中的主从集群。ResetGlobalDatabaseNetwork 重建GDN中的从集群网络 重建GDN中的从集群网络。备份管理 API 标题 API概述 CreateBackup 为PolarDB集群创建全量...
概述
支持的迁移类型 简称说明 实例类型 简称 RDS 实例 RDS PolarDB MySQL 实例 PolarDB VPC 内自建数据库 VPC 数据库网关（Database Gateway）DG 公网 IP 自建数据库 公网 OceanBase 数据库 MySQL 租户 OB_MySQL OceanBase 数据库 Oracle 租户 ...
混合云应用双活容灾最佳实践
步骤五：切换数据库进行恢复 在北京单元的数据库故障的情况下，可以通过MSHA数据库切换功能，将应用访问的Redis或MySQL的连接切换至杭州单元的数据库（切换过程中会等待数据同步追平，期间会短暂禁写）。预期效果：应用连接的数据库切换到...
AUTO模式数据库与DRDS模式数据库
方法一：从5.4.16版本开始，内核提供了 create database like/as 语法，可以一键将DRDS模式数据库切换为AUTO模式，使用方法请参见 将DRDS模式数据库转换为AUTO模式数据库；方法二：在目标实例创建对应的AUTO模式数据库，在AUTO模式数据库下...
跨境SaaS:深圳市易仓科技有限公司
把数据库 db1 切换到RW2上：ALTER DATABASE db1 POLARDB_WRITE_NODE 2;通过简单SQL可以实现秒级迁移租户从RW1到RW2，完美解决易仓跨境SaaS在租户版本升降、合并、打散场，租户跨实例迁移的效率问题，大幅降低运维的工作量 价值4：按需添加...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
- 产品推荐
- 这些文档可能帮助您