使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
什么是全球多活数据库集群
跨地域实时同步 各单元数据库实时同步，提供全球统一的数据库访问能力。高效容灾 异地灾备数据库资源利用最大化，加强了业务的连续性和抗风险能力。应用场景 异地容灾 当一个数据中心发生故障，只需做流量切换，其他数据中心即可正常运行并...
MaxCompute湖仓一体
db metadat_store-DLF元数据库的名称。endpoint"dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint信息-ossEndpoint"oss-cn-hangzhou-internal.aliyuncs.com";OSS所属地域的Endpoi MaxCompute访问授权 当您通过MaxCompute与Hadoop构建...
MaxCompute湖仓一体
db metadat_store-DLF元数据库的名称。endpoint"dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint信息-ossEndpoint"oss-cn-hangzhou-internal.aliyuncs.com";OSS所属地域的Endpoi MaxCompute访问授权 当您通过MaxCompute与Hadoop构建...
功能特性
什么是数据校验 订正 元数据订正 当校验出数据结构不一致时，可以根据校验结果进行订正。结构订正 查看数据校验详情 全量数据订正 当校验出全量数据不一致时，可以根据校验结果并下载订正SQL进行订正。查看数据校验详情 增量数据订正 当...
通过元数据文件迁移上云
本文介绍如何在 云消息队列 Kafka 版 控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据...
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
元数据导入
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
搭建与管理（基于DLF和OSS）
您可以登录 DLF控制台，在左侧导航栏 元数据管理 下拉列表下的 元数据库 页面获取。DLF RoleARN 可选。RAM角色的ARN信息。采用自定义授权方式时，需要配置该参数。您可以登录 RAM访问控制台，在左侧导航栏 身份管理 下拉列表下的 角色 页面...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
专业术语
本文档主要介绍了时序数据库 InfluxDB®版的常见术语。aggregation（聚合）InfluxQL函数，能够返回一组数据点的聚合结果。想要获得现有的和即将支持的聚合函数的完整列表，请查看文档 InfluxQL函数。相关术语：function，selector，...
0011-00000005
问题描述 用户自定义元数据（User Meta）中Value包含非法字符。问题原因 自定义元数据是一组键值对，该报错是因为键值对中的Value包含非法字符。问题示例 正确示例：x-oss-meta-last-modified:20210506。解决方案 检查自定义元数据的Value...
0011-00000004
问题原因 自定义元数据是一组键值对，元数据名称必须以 x-oss-meta-开头。该报错原因是用户自定义元数据（User Meta）的Key中 x-oss-meta-*包含非法字符。问题示例 用户自定义元数据的Key为：x-oss-meta-*，其中*需要填写正确的字符。例如...
ListTableVersions-获取元数据表版本列表
请求语法 GET/api/metastore/catalogs/databases/tables/versions/list 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...
迁移自建Kafka集群至新实例
您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版 实例，云消息队列 Kafka 版 会根据成功导入的元数据在目标 云消息队列 Kafka 版 实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件内容。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
数据湖管理FAQ
OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的JSON文件，但是没有建表？使用SLS元数据发现的批量模式，为什么有的Logstore生成了表，有的没有？为...
功能介绍
是指对数据库元数据进行的拷贝。Serverless模式是存储分离架构，数据会存储到OSS中，不需要进行二次备份。实例元数据会被压缩后存储到相同OSS目录中，在基础备份期间不会阻塞您的读写操作。日志备份（也称为增量备份）是指将实例产生的日志...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件的实体。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业...系统会对用户的资源进行释放和删除：删除用户账户下的数据源、入湖任务、元数据（库、表、分区等）控制台页面无法正常访问和使用 注：数据释放后无法找回，如有重要数据请提前备份。
A100售后支持相关问题
数据库审计服务支持查看管理员操作日志吗？使用数据库审计时，我可以为RAM用户授予哪些权限？目前数据库审计支持对RAM用户授予以下权限：AliyunYundunDbAuditFullAccess：授予RAM用户管理云盾数据库审计（DbAudit）的权限（即读写权限）。...
概述
使用流程 步骤一：创建数据集 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。通常将有关联的媒体文件存放到同一个数据集中，便于查询。例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息...
MSHA应用双活架构接入Helloworld
本文通过一个Helloworld示例为您介绍如何接入MSHA应用双活架构并进行功能...测试步骤 主备切换前，杭州单元内的应用：执行数据库读操作（即查询商品详情），应该访问到杭州单元数据库。执行数据库写操作（即下单），应该访问到杭州单元数据...
A100使用指南
为了给您提供更优质的数据库审计服务，阿里云已不支持新购数据库审计A100实例。...审计结果中出现未知用户是什么情况？数据库审计服务是否支持审计通过ssh代理主机（已安装rmagent）连接的数据库？数据库审计服务支持查看管理员操作日志吗？
基本概念
本地IDC自建数据库：本地IDC自建数据库是部署在非云环境（如本地IDC、托管机房等）的数据库实例。阿里云ECS自建数据库：阿里云ECS自建数据库是部署在阿里云ECS上的数据库实例。集群：集群是一个或者多个相同数据库引擎（如MySQL、Oracle、...
set-meta（管理文件元数据）
ossutil64 set-meta oss:/examplebucket/exampleobject.txt X-Oss-Meta-Createdby-delete 示例二：批量删除多个Object的自定义元数据 批量删除多个Object的自定义元数据步骤如下：将待删除自定义元数据的Object名称写入本地文件localfile....
GetTableVersion-获取元数据表指定版本
请求语法 GET/api/metastore/catalogs/databases/tables/versions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...
模型介绍
该轨迹数据的元数据是快递本身，包含了单号、物流平台、快递当前位置信息以及快递寄件/收件等元信息，其中单号以及物流平台的组合（Identifier）唯一确定这个快递。数据存储方式分析 将物流平台作为Name进行存储，一个快递平台的数据属于同...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
开源RabbitMQ迁移上云
迁移消息数据 使用Shovel插件迁移消息数据 Shovel迁移数据的原理是消费开源RabbitMQ集群中的消息，将消息生产到云上实例中，迁移后开源RabbitMQ集群中的消息被清空，完成迁移。在开源集群启动Shovel插件。创建Shovel任务，将Source配置为...
使用AnalyticDB for PostgreSQL作为元仓计算引擎进行...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
DoMetaQuery
错误码 错误码 HTTP状态码 描述 MetaQueryNotExist 400 Bucket不存在元数据索引库，请确保已为Bucket开启元数据管理功能并等待元数据索引库创建成功后重试。EntityTooLarge 400 请求中查询条件（即Query参数）的字符串大小超过最大允许的...
创建数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。创建数据库 访问 RDS...
DLF+EMR之统一权限最佳实践
DLF Catalog：DLF数据目录（DLF），DLF元数据体系的最上层实体，可以包括数据库，数据表等元数据信息。详见 数据目录。DLF 数据权限：DLF所提供的数据湖的数据权限体系，支持配置数据库、数据表、数据列、函数四种维度细粒度权限控制。详见...
常见术语
DLA元数据 元数据：支持库（Schema，是表的集合）、表（Table，是同构行记录的集合）、列（Column，描述一行数据的某个属性）、视图（View，将某个查询的结果抽象成一张表）等，每个库（Schema）只能对应一种数据源，元数据是Presto引擎、...
使用StarRocks作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
创建数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。注意事项 支持在控制台...
后续指引
下表汇总了IMM的常用高阶功能：功能列表 说明 创建数据集 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。您可以将有关联的媒体文件存放到同一个数据集中，便于查询。人脸聚类 使用人脸聚类功能，你可以将数据集中存在相似...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
管理数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。前提条件 已创建RDS ...
- 产品推荐
- 这些文档可能帮助您