基本概念
窗口函数概述 支持的内置函数 自定义函数 元数据（Catalog）数据处理最关键的方面之一是管理元数据，实时计算Flink版的元数据提供了元数据信息，例如数据库、表、字段、分区以及数据库或其他外部系统中存储的信息。管理元数据 角色（Role）...
概述
为了满足用户对文件元数据的采集、分析、查询等需求，智能媒体管理IMM推出了元数据管理功能。本文介绍元数据管理的应用场景、使用流程等。功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在...
计费模式
说明 元数据请求计费案例：1月通过EMR、MaxCompute、Hologres等计算引擎创建、访问了元数据，实际访问的元数据次数为120万，则1月实际产生的费用=0元（前100万次元数据请求免费）+5元（100万到120万的元数据请求）=5元。在2月1号，会从账号...
实例元数据
查看方法 无需任何访问凭证即可通过命令直接访问endpoint 需要先获取元数据服务器访问凭证进行鉴权，再访问endpoint，提高了元数据访问的安全性 cloud-init版本限制 无 需确保实例的cloud-init版本为23.2.2。说明 部分最新发布的公共镜像...
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
表操作
Timestream提供了元数据表和数据表的创建和删除功能。元数据表 创建元数据表时可以预定义需要建索引的Attributes以及对应的索引属性和类型。索引类型支持LONG、DOUBLE、BOOLEAN、KEYWORD、GEO_POINT等类型，属性包含Index、Store和Array，...
一站式分析体验
AnalyticDB MySQL 湖仓版（3.0）统一了元数据管理、数据访问、数据管道和计费单位，为您提供一站式分析体验。湖仓版（3.0）数据通过统一的元数据服务进行管理，避免了元数据同步带来的低效、不一致等问题，让湖和仓的联动更加敏捷。而且...
云存储网关软件版公测
另外数据落盘为Sync IO，请求在数据落盘之后才会返回，保证了数据安全性。数据相关测试 下面根据读写的不同情形，分别对ossfs和云存储网关软件版进行测试，具体结果如下：写测试 测试项目 云存储网关软件版 ossfs 拷贝500个4 KB文件至挂载...
0024-00000501
问题原因 您发起了元数据转换相关的管理请求，请求中XML格式或参数不正确。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 该功能为邀测功能，如果发现此错误，请联系 技术支持。相关文档 OSS-HDFS服务的元数据转换
使用数据探索查询Iceberg表
准备工作 已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了Iceberg元数据表。操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的...
元数据访问控制
开启用户访问控制 如果目标用户开启了 元数据访问控制 功能，那么该用户会受到如下限制：仅能在 DMS 查询与访问已被授权的数据库，可以在控制台首页顶部导航栏中，选择 安全与规范>权限中心>我的权限，查询已被授权的权限。详情请参见 查看...
数据探索简介
数据探索是一种线上的交互式查询服务，开通即用。它是完全托管的，并且具备了高性能、弹性、易用等特点，无需申请任何资源即可直接使用。用户可以对入湖后的数据使用Spark SQL快速的进行数据探索，以便对湖内数据进行审核，质量检查，分类...
SmartData 3.6.x版本简介
JindoFS优化缓存预加载机制 优化了元数据和数据缓存的预加载机制，提升了执行效率。优化进度反馈。支持了针对超大目录的任务。JindoSDK 此版本中JindoSDK的新特性如下表所示。特性 描述 JindoSDK支持本地缓存（Local）策略 JindoSDK支持...
SmartData 2.6.0-2.7.2版本简介
Tablestore和Raft的方案，实现了元数据服务的高可用，可以通过多个Namespace服务提供HA方案。各方案详情请参见：使用Tablestore作为存储后端 使用Raft-RocksDB-Tablestore作为存储后端 使用RocksDB作为元数据后端 使用模式优化 支持块存储...
管理StarRocks Catalog
背景信息 Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息，详情请参见 Catalogs。本文从以下方面为您介绍如何管理StarRocks Catalog：创建StarRocks Catalog 查看StarRocks Catalog 使用...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
录入与管理逻辑表
数据同步服务提供了元数据管理的录入逻辑表功能，可以将多张 schema 一致的物理表绑定成一张逻辑表。在新建数据同步任务时，选择此逻辑表为数据源端，即可将多张物理表中的数据同步至目的端。在 元数据管理>逻辑表列表 页面，您可以录入并...
其它特性
添加了元数据后，就可以收到无限滚动的事件WV_INFINIT_SCROLL，在该事件中可以动态的获取新内容，并添加到页面的末尾。新内容获取到之后，需要调用WVScrollWidget.hiddenInfinitScroll这一 API隐藏无限滚动时的加载提示。document....
管理Hologres Catalog
背景信息 Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。详情请参见 Catalogs。本文从以下方面为您介绍如何管理Hologres Catalog：创建Hologres Catalog 查看Hologres Catalog 使用...
管理自定义连接器
当内置的连接器无法满足需求时，您可以使用自定义连接器。本文为您介绍如何上传、使用和更新自定义连接器。注意事项 您需要根据社区定义的...Flink提供了元数据管理，您可以通过创建Catalog来管理和访问相关的元数据，详情请参见 管理元数据。
SmartData使用说明（EMR-3.20.0~3.22.0版本）
另外，JindoFS 的元数据通过本地服务Namespace Service管理，从而保证了元数据操作的性能（和HDFS元数据操作性能相似）。说明 E-MapReduce-3.20.0及以上版本支持Jindo FS，您可以在创建集群时勾选相关服务来使用JindoFS。本文主要是E-...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
另外，JindoFS的元数据通过本地服务Namespace Service管理，从而保证了元数据操作的性能（和HDFS元数据操作性能相似）。说明 E-MapReduce-3.20.0及以上版本支持Jindo FS，您可以在创建集群时勾选相关服务来使用JindoFS。本文主要是E-...
现代IM系统中的消息系统—实现
关系维护 完成了元数据管理以及用户和群的检索，剩下的就是如何添加好友以及加入群聊了。此处就涉及到IM系统中另一个重要的功能点关系维护。关系维护包含人与人的关系、人与群的关系以及人与会话的关系。以下介绍如何基于Tablestore解决...
方案背景
因此车联网场景下车辆元数据存储与分析的需求如下：数据存储：车辆元数据定时上报到数据网关并且转发到下游存储，需要支持大规模数据存储。数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索...
Hudi MetaStore使用说明
背景信息 Hudi每次操作数据都会新增时间线（instant），查询时需要读取所有时间线元数据，以获得在该时间点上的有效分区或文件，其中Partition Listing和File Listing涉及大量IO操作，耗时较多。湖格式和传统表结构不同，有其特有的元数据...
宽表模型设计
在车联网场景中车辆的元数据包含了车辆的固有属性（例如车辆识别代码、车辆外壳颜色、发动机型号等）和最新状态数据（例如车辆当前GPS坐标、发动机的当前转速、车辆当前运行速度等）。本文介绍如何设计车联网场景下的数据表结构和多元索引...
使用独立的Trino集群
创建完独立的Trino集群后，您需要进行以下配置：配置连接器 可选：配置数据湖元数据 如果数据集群的元数据选择的不是 数据湖元数据，则可以忽略此配置。配置连接器 在待使用的连接器中配置查询对象。本文以Hive连接器为例介绍。进入集群...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
跨地域灾备
当您需要保证MaxCompute作业持续运行时，MaxCompute提供跨地域（Region）灾备功能，支持以项目（Project）为单位远程备份数据和元数据，确保备份地点与数据源的地理距离超过一百公里，以提升数据安全性。您能够自定义选择备份目标地域，并...
Hudi连接器
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
0011-00000007
问题描述 文件元数据中Content-Disposition的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Content-Disposition字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Content-Disposition...
0011-00000008
问题描述 文件元数据中Content-Encoding的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Content-Encoding字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Content-Encoding字段声明...
0011-00000010
问题描述 文件元数据中Expires的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Expires字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Expires字段声明缓存内容的绝对过期时间，格式应...
0024-00000502
问题描述 管理元数据转换任务请求（修改或删除）时，设置了RoleID。问题原因 您发起了管理元数据转换任务请求（修改或删除），并设置了RoleID。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 管理元数据转换任务...
0011-00000006
问题描述 文件元数据中Content-Type的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Content-Type字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Content-Type字段声明上传的文件类型...
0011-00000009
问题描述 文件元数据中Cache-Control的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Cache-Control字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Cache-Control字段指定Object的缓存...
0024-00000503
问题描述 创建元数据转换任务请求中的RoleID为空。问题原因 您发起了创建元数据转换任务请求，请求中的RoleID为空。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 填写正确的RoleID。相关文档 OSS-HDFS服务的...
0024-00000504
问题描述 创建元数据转换任务请求时，命中前缀参数含有OSS-HDFS的特殊路径。问题原因 您发起了创建元数据转换任务请求，命中前缀参数含有OSS-HDFS的特殊路径。命中前缀不支持设置为..d、.dl、.dls、.dlsd、.dlsda、.dlsdat、.dlsdata其中...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版（兼容Oracle）系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache ...
- 产品推荐
- 这些文档可能帮助您