元数据仓库共享模型概述
提高系统稳定性：如果您直接连接元数据库查询或同步数据，可能会对Dataphin系统的稳定性产生影响，从而影响功能使用。提升输出稳定性：Dataphin的系统元数据库表结构可能会跟随功能升级产生变化，包括表新增下线、字段新增下线等。直接使用...
集群高可用
如果Utility节点宕机或者Utility节点上的MariaDB Master出现故障，仅需要简单的操作就可以将元数据库切换到cdp-master-1节点上的备库，具体操作如下：在cdp-master-1上运行命令：mysql 进入mysql终端 停止MariaDB Slave的IO线程：stop ...
DAS Auto Scaling弹性能力
核心技术 DAS Auto Scaling服务依赖的是阿里云数据库数据链路团队、管控团队和内核团队的综合技术，其中主要依赖了如下几项关键技术：全网数据库实例的秒级数据监控技术，目前监控采集链路实现了全网所有数据库实例的秒级采集、监控、展现...
MySQL整库实时同步至OSS数据湖
比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...
自动故障转移和读写分离
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
重启备库
影响 当实例没有开启 读写分离 时，重启备库发起后系统将直接重启备库，重启期间备库会出现闪断（主库无影响）。当实例读写分离开启时，重启备库期间所有只读请求会被转发到主库处理，不会造成只读请求中断，但会对主库造成额外流量压力。...
EMR+DLF数据湖解决方案
在创建EMR集群时，如果您选择的DataLake集群类型，并且有选择Hive服务的情况下，会出现元数据选项，如下图选择“DLF统一元数据”。如果您没有开通DLF，会提醒您先开通DLF产品。步骤二：初始化元数据 初始化元数据分为两种情况：原有大数据...
慢日志分析
常见问题 Q：对于 RDS MySQL 和 PolarDB MySQL版 数据库实例，为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
EMR元数据迁移DLF最佳实践
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
Hive统一元数据
所以，在任何时候删除OSS上或者集群HDFS上数据（包括释放集群操作）的时候，需要先确认该数据对应的元数据已经删除（即要删掉数据对应的表和数据库），否则元数据库中可能出现一些脏数据。计算存储分离。EMR上可以支持将数据存放在阿里云...
API概览
本产品（数据湖构建/2020-07-10）的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
错误码
说明：PolarDB-X 向后端数据节点异步创建连接时，如果在短时间创建大量连接，或者数据节点建立连接速度太慢，会出现等待超时。该问题通常是由于后端数据节点压力过大或异常导致的，建议使用 PolarDB-X 读写分离，或者升级更高规格，减轻后...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察...sh schematool-initSchema-dbType mysql 待初始化成功 说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
常见问题
警告 创建单节点地址后，当此节点故障时，该地址可能会出现最多1小时不可用的情况，请勿用于生产环境。Q：一个集群内最多允许创建多少个单节点地址？A：如果您的集群内有3个节点，则只允许为其中1个只读节点创建单节点地址；若集群内有4个...
常见问题
警告 创建单节点地址后，当此节点故障时，该地址可能会出现最多1小时不可用的情况，请勿用于生产环境。Q：一个集群内最多允许创建多少个单节点地址？A：如果您的集群内有3个节点，则只允许为其中1个只读节点创建单节点地址；若集群内有4个...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
RDS PostgreSQL间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
使用DTS迁移实例
注意事项 类型 说明 源库限制 待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。待迁移的数据库名称中间不能包含短划线（-），例如dts-testdata。如迁移对象为表级别，且需进行编辑（如表列名...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
常见问题
版本升级一般不超过30分钟，升级过程中会重启数据库代理Proxy或内核引擎DB，可能会导致数据库连接闪断。请您尽量在业务低峰期执行升级操作，并且确保您的应用有自动重连机制。详情请参见 小版本升级。Q：如何进行故障自动切换？A：PolarDB ...
PolarDB PostgreSQL版间的迁移
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。若DTS正向和反向同步任务均同步了某张表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
RDS PostgreSQL间的单向同步
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若为全量同步或增量同步任务，且源数据库中要同步的表包含外...
8.0.1和8.0.2版功能对比
支持 支持 闪回查询 通过闪回查询（Flashback Query）功能，您可以高效查询集群、数据库、数据表在过去某个时间点的信息。支持 支持 大吞吐写入/更新 CTS事务系统 PolarDB 重构了InnoDB的事务系统，由原来的基于活跃事务数据的事务系统...
UpdateDatabase-更新元数据库信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
元数据导出
前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...
常见问题
本文介绍在使用图数据库GDB过程中的常见问题。产品介绍 问：什么是图数据库GDB？答：GDB是Graph Database的简写。GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache ...
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、CSV、Parquet、JSON、ORC等格式的表；受限于Spark和Iceberg的底层设计，在DLF数据探索中查询Iceberg表需要指定特定的Catalog。准备工作 已开通DLF...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
LockObj
名称 类型 描述 示例值 object LockObj CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称，非必填 dt TableName string 元数据表名称 ...
元数据管理
创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后，...
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
Quick BI中元数据库中记录报表使用分析的数据
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中，每天凌晨4:30更新数据。适用于 Quick BI
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
DeleteDatabase-删除元数据库
Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade：true：删除 db 下的表，false：不删除 db 下的表，如果 db 还存在表，那么删除失败 返回...
- 产品推荐
- 这些文档可能帮助您