企业版和标准版功能对比

自治服务开启后,DAS会在数据库出现异常时,自动进行根因分析,给出优化或止损建议,并自动进行优化或止损操作(需经您授权后才会开启优化操作)。支持 支持 会话管理 PolarDB MySQL版 的一键诊断融合了DAS部分功能,您可以通过其中的会话...

实例告警

及时发现数据库异常是数据库日常运维的重要...当数据库出现异常情况或达到预设的告警阈值时,系统会立即通知设定的告警联系人,以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 为实例配置警规则和告警模板,详情请参见 配置告警。

实例告警

数据库出现异常情况或达到预设的告警阈值时,系统会立即通知设定的告警联系人,以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 登录 DAS控制台。在左侧导航栏中,单击 实例监控。找到目标实例,单击实例ID,进入目标实例详情...

异常检测

及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能,基于...相关文档 您可以利用DAS的自治功能,在数据库出现异常时进行自动处理。自动SQL限流 自动SQL优化 自动性能扩展 自动空间扩展 空间碎片自动回收

一键诊断

自治服务开启后,DAS会在数据库出现异常时,自动进行根因分析,给出优化或止损建议,并自动进行优化或止损操作(需经您授权后才会开启优化操作)。详情请参见 自治中心。会话管理:您可以通过会话管理功能查看目标实例的会话详情和会话统计...

告警服务

数据库出现异常情况或达到预设的告警阈值时,系统会立即通知设定的告警联系人,以帮助您及时发现数据库异常并维护数据库的稳定性。背景信息 了解以下概念,能帮助您更好地配置告警:告警规则:定义了触发告警的监控项、触发次数、告警...

Hive统一元数据

所以,在任何时候删除OSS上或者集群HDFS上数据(包括释放集群操作)的时候,需要先确认该数据对应的元数据已经删除(即要删掉数据对应的表和数据库),否则元数据库中可能出现一些脏数据。计算存储分离。EMR上可以支持将数据存放在阿里云...

数据备份与删除

独立部署版本:私有云独立部署,Dataphin输出PostgreSQL数据库作为元数据库元数据库采用一主一备或一主两备模式,保障元数据库稳定性;每天进行元数据库全量冷备,保留七天,过期自动删除。公有云独立部署,Dataphin元数据库采用阿里云上...

元数据管理

创建元数据库 登录 数据湖管理控制台,选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。(选填)输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后,...

API概览

本产品(数据湖构建/2020-07-10)的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。

配置自建RDS

本文介绍如何配置自建的阿里云RDS,作为E-MapReduce(简称EMR)上DataLake集群、Custom集群或Hadoop集群的元数据。...说明 在初始化之前,Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常,待初始化之后会恢复正常。

数据湖构建的审计事件

数据湖构建已与操作审计服务集成,您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...

DatabaseInput

名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称,校验长度 128,不支持...

Database

名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如 HDFS 路径/hdfs/hivedb/...

Dataphin元数据仓库标准模型文档中表dim_dataphin_...

概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库(Dataphin中的项目绑定MaxCompute的项目),不在Dataphin的PostgreSQL中。需要用运维账号登录Dataphin查看。适用于 Dataphin

UpdateDatabase-更新元数据库信息

CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称,更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...

独立RDS元数据库

本文介绍如何配置独立的阿里云RDS,作为Databricks数据洞察...sh schematool-initSchema-dbType mysql 待初始化成功 说明 在初始化之前,Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常,待初始化之后会恢复正常。

数据湖加速查询

基于阿里云数据湖构建(Data Lake Formation,DLF)和对象存储(Object Storage Service,OSS)推出的Hologres数据湖加速服务,提供了灵活的数据访问和分析能力以及高效的数据处理能力,显著加快了对OSS数据湖的查询和分析过程。...

Dataphin中SQL脚本任务在元数据库存放位置

概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin

使用数据探索查询Iceberg表

准备工作 已开通DLF,并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了Iceberg元数据表。操作步骤 登录 数据湖构建控制台,在左侧菜单中选择 数据探索。在SQL输入框中,输入查询语句。针对Iceberg表,需要在指定的...

LockObj

名称 类型 描述 示例值 object LockObj CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称,非必填 dt TableName string 元数据表名称 ...

数据元数据管理

数据湖元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...

Quick BI中元数据库中记录报表使用分析的数据

概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中,每天凌晨4:30更新数据。适用于 Quick BI

数据权限概述

数据湖权限支持配置数据数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作,对所需要配置的权限进行说明,并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录(Catalog)开启和关闭权限...

DeleteDatabase-删除元数据库

Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade:true:删除 db 下的表,false:不删除 db 下的表,如果 db 还存在表,那么删除失败 返回...

产品简介

产品功能架构 元数据管理,通过控制台查看和管理数据湖中元数据库和表的信息,通过 新增元数据库 的方式操作元数据,集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作,通过入湖任务的...

EMR元数据迁移DLF最佳实践

本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中,并介绍如何在EMR集群中配置...

MySQL整实时同步至OSS数据

比如,定义的前缀为“abc_”,那么来源库名在数据湖中的元数据库就会自动加上此前缀,如"abc_my_db",“abc_test_table”等等,此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...

UpdateTablePartitionColumnStatisticsRequest

类型 描述 示例值 object UpdateTableColumnStatistics CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 ColumnStatisticsList array 字段统计信息列表 ColumnStatistics 字段统计 DatabaseName string 元数据库名称 ...

概述

参见 元数据管理 章节,定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分,左侧为主要功能区,右侧为产品主要信息,帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置,用户需要注册一个OSS的...

CreateDatabase-新增元数据库

数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...

Partition

名称 类型 描述 示例值 object Partition CreateTime integer 创建时间,Unix 时间戳秒数 1608730999 DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间 1608730999 LastAnalyzedTime integer ...

DeleteFunction-删除元数据库的函数

根据名称删除数据元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...

查询授权

本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型:包括元数据表、元数据库、元数据列三种类型。资源名称:指定具体的资源名称,如数据库的库名。数据权限:授权的权限名称,关于权限描述可参考 权限配置。

PartitionInput

名称 类型 描述 示例值 object Partition DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间,Unix 时间戳秒数 1608730999 LastAnalyzedTime integer 上一次执行统计运算的时间,Unix 时间戳秒...

CreateFunction-新增元数据库的函数

JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...

Hive元数据基本操作

在 表管理 页面的中间区域,单击已创建的元数据库。单击右上角的 新建表。在 新建表 对话框中,配置各项参数。配置项 操作 表名 表名称。字段分隔符 从 字段分隔符 中选择分隔符或者自定义。外部表 默认不选中。需要创建外部表时,执行以下...

EMR元数据迁移到数据湖构建(DLF)

元数据库 页签中,可以查询到期望同步的元数据库表信息。EMR集群切换元数据 引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置,开启 自动配置更新 并保存,然后重启Hive服务。配置DLF元数据服务地址,Region替换为集群...

UpdateFunction-更新元数据库的函数

JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...

元数据导出

前提条件 已有一个EMR集群,且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务,以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上,如果location的路径为...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 MongoDB 版 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用