ST_SetMetaData
设置栅格对象或波段的元数据项。语法 raster ST_SetMetaData(raster raster_obj,text key,text value);raster ST_MetaData(raster raster_obj,integer band,text key,text value);参数 参数名称 描述 raster_obj 需要计算的raster对象。...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
云存储网关软件版公测
元数据 元数据存储管理 下表详细列举了ossfs与云存储网关软件版元数据相关的原理对比：对比项 云存储网关软件版 ossfs 元数据缓存 云存储网关软件版采用KV数据库存储数据，它会将元数据全量缓存到缓存盘里，能够处理大规模的文件数目。...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
数据地图
DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块，元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用Hologres数据。本文为您介绍如何在数据地图中配置Hologres元数据采集器及相关...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
基本概念
元数据 元数据是数据的描述数据，可以为数据说明其属性（名称、大小、数据类型等），或结构（字段、类型、长度等），或其相关数据（位于何处、拥有者、产出任务、访问权限等）。DataWorks中元数据主要指库、表相关的信息，元数据管理对应的...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
管理文件元数据
charset=utf-8'})设置自定义元数据 您可以自定义文件的元数据来对文件进行描述。以下代码用于为examplebucket存储空间中exampledir目录下exampleobject.txt文件设置自定义元数据。coding:utf-8-*-import oss2 from oss2.credentials import...
管理时间线元数据
表格存储提供了QueryTimeseriesMeta接口用于根据多种条件检索时间线、UpdateTimeseriesMeta接口用于更新时间线元数据以及DeleteTimeseriesMeta接口用于删除时间线元数据。检索到时间线后，您可以根据需要删除时间线元数据、更新时间线...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
GetSpMetadata-获取服务提供商元数据
获取基于SAML 2.0的服务提供商SP（Service Provider）的元数据。接口说明 该接口仅支持 AD 工作区和便捷工作区，不支持 RAM 目录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
时序模型
功能 描述 查询分析存储描述信息 当需要查看分析存储的详细配置信息时，您可以使用 DescribeTimeseriesAnalyticalStore 接口查询分析存储描述信息，例如数据生命周期配置、数据同步选项、数据同步状态、数据存储大小等。更新分析存储的数据...
时序模型
功能 描述 查询分析存储描述信息 当需要查看分析存储的详细配置信息时，您可以使用 DescribeTimeseriesAnalyticalStore 接口查询分析存储描述信息，例如数据生命周期配置、数据同步选项、数据同步状态、数据存储大小等。更新分析存储的数据...
管理文件元数据
} 获取文件元数据 您可以通过以下两种方法获取文件元数据：方法 描述 优势 GetObjectMeta 获取文件的ETag、Size（文件大小）、LastModified（最后修改时间）。更轻量、更快 HeadObject 获取文件的全部元数据。无 以下代码用于获取文件...
新建项目空间并引用表
本文为您介绍如何创建数据工作站项目空间，并添加数据库、表。步骤一：创建并进入项目空间 登录 数据管理DMS 5.0。单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据工作站。说明 若您使用的是非极简模式的控制台，请在顶部...
数据加密
具体工作原理如下图所示。使用用户自主管理密钥 使用用户自主管理密钥时，需要您自主生成并保管加密密钥。当本地客户端加密Object时，由用户自主上传加密密钥（对称加密密钥或者非对称加密密钥）至本地加密客户端。其具体加密过程如下图所...
DataWorks on EMR快速入门
配置项 示例 描述 工作空间名称 emr_dataworks 工作空间名称的长度需要在3~23个字符，以字母开头，且只能包含字母、下划线（_）和数字。生产、开发环境隔离 否 定义工作空间模式。是：需隔离生产、开发环境，该方式创建的工作空间为标准...
0011-00000005
问题描述 用户自定义元数据（User Meta）中Value包含非法字符。问题原因 自定义元数据是一组键值对，该报错是因为键值对中的Value包含非法字符。问题示例 正确示例：x-oss-meta-last-modified:20210506。解决方案 检查自定义元数据的Value...
Dataphin共享元数据查出循环依赖
问题描述 Dataphin共享元数据查出循环依赖。解决方案 ld_amway_newretail.dim_combination_camp_user，这种节点是Dataphin系统内部的节点，下游依赖它，只是依赖它里面的字段，产生的循环依赖是允许的，因为是字段级别依赖。适用于 ...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予...数据读取 拥有工作组内云计算资源的元数据信息和数据信息的访问权限 数据变更 拥有工作组内云计算资源的元数据信息和数据信息的访问权限以及数据变更
查询服务
接口元数据：包含 所属类、请求方法、请求路径、方法名/描述 和 参数列表/描述。服务元数据：包含服务的元数据，还包含MSE提供的一些用于使用微服务能力的元数据。Dubbo的服务详情如下所示。基本信息：包含 服务名称、版本、分组、服务类型...
DLF数据访问权限控制
DataWorks为您提供DLF可视化权限申请、权限审批及权限审计等功能，帮助您实现数据湖全托管的统一权限管理，本文为您详细介绍如何进行DLF数据访问权限管控。前提条件 已将DLF设置为计算引擎元数据服务。例如，EMR已将DLF设置为元数据服务，...
查看公共表
如果您需要查看AnalyticDB for PostgreSQL公共表，请绑定AnalyticDB for PostgreSQL计算引擎，并在 数据地图 页面采集AnalyticDB for PostgreSQL元数据。详情请参见 创建并管理工作空间 和 采集AnalyticDB for PostgreSQL元数据。如果您...
为什么云存储网关与OSS上的文件不一致
工作原理 详情请参见 基于按需扫描机制的常规反向同步。详情请参见 基于消息通知的极速同步。详情请参见 基于API触发的单次反向同步。基于按需扫描机制的常规反向同步 云存储网关默认采用基于按需扫描机制的 反向同步 功能，将OSS上的变化...
管理文件元数据
设置自定义元数据 您可以自定义文件的元数据来对文件进行描述。以下代码用于设置文件的自定义元数据。package com.aliyun.oss.demo;import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import com.aliyun.oss.common.auth.*...
SetIdpMetadata-上传身份提供商元数据
上传基于SAML 2.0的身份提供商IdP（Identity Provider）的元数据。接口说明 该接口仅支持 AD 工作区和便捷工作区，不支持 RAM 目录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
Dataphin资产元数据的分区记录数不准确
问题描述 Dataphin资产元数据的分区记录数不准确，显示为0，但是在即席查询中显示分区是数据的。问题原因 资产这里分区记录数是T+1更新的。由于ds='20220420'分区是2022041才产出的，因此是没有采集到的。解决方案 待T+1后就会更新ds='...
RegisterMedia-注册媒资信息
操作 访问级别 资源类型 条件关键字 关联操作 vod:RegisterMedia Write 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 RegisterMetadatas string 是 注册媒资元数据。为 JSON 字符串，一次最多支持设置 10 个媒资元数据。参数结构的...
表管理
概念 功能描述 表主题 用于收纳管理工作空间下的表，您可根据表的用途、所属类别等多种维度，自定义不同的主题，将同类型的表挂载至相同的主题下统一管理。表层级 用于将不同用途的数据，归类划分至不同层级，更好地组织、管理、维护数据。...
管理文件元数据
具体操作，请参见 准备工作。由于Browser.js SDK通常在浏览器环境下使用，为避免暴露阿里云账号访问密钥（AccessKey ID和AccessKey Secret），强烈建议您使用临时访问凭证的方式执行OSS相关操作。临时访问凭证包括临时访问密钥（AccessKey ...
时序表操作
查询表描述信息 当需要查看时序表的详细配置信息时，您可以调用 DescribeTimeseriesTable 接口查询时序表的配置信息（例如数据生命周期）、表状态或者时间线元数据配置（例如是否允许更新时间线属性列）。删除时序表 调用 ...
MySQL连接器
通用配置属性 通过配置下列属性，可以将来自数据源的数据类型映射到Presto的数据类型，以及可以在Presto中缓存元数据。属性 描述 unsupported-type-handling 配置如何处理不支持的数据列类型。取值如下：IGNORE（默认值）：列不可访问。...
- 产品推荐
- 这些文档可能帮助您