迁移元数据上云
元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群内各节点的元数据内容都相同。使用限制 由于RabbitMQ和 云消息队列 RabbitMQ 版 在权限管控机制等方面存在差异，rabbit_version、users、permissions、...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
许可证配置
自定义元数据：输入需要额外限制服务的自定义数据。输入的自定义元数据内容长度不超过1024个字符，格式不限。调用校验许可证接口的时，会返回此处设置的内容。说明 自定义元数据设置后，不论校验自定义许可证还是云市场许可都会返回此处...
ALIYUN:RAM:SAMLProvider
SAMLMetadataDocument String 否 是 元数据文档内容。大小为1～102,400字节。必须指定SAMLMetadataDocumentURL或SAMLMetadataDocument，但不能同时指定二者。EncodedSAMLMetadataDocument String 否 是 元数据文档。经过Base64编码。由支持...
功能简介
支持对已配置连通的数据源进行元数据同步及数据对象查看，帮助用户了解元数据资产内容。数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时...
数据同步
支持对已配置连通的数据源进行元数据同步及数据对象查看，帮助用户了解元数据资产内容。数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时...
功能简介
支持对已配置连通的数据源进行元数据同步及数据对象查看，帮助用户了解元数据资产内容。数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时...
配置数据保护规则
全密态数据库会将您配置的数据保护规则内容持久化到数据库内的系统表上（简称全密态元数据表，即mysql.encdb_sensitive_rules和mysql.encdb_auth_users），仅有高权限或者被授权用户可以进行写操作。前提条件 RDS MySQL实例的大版本为MySQL...
数据容灾
目标Bucket中的对象是源Bucket中对象的精确副本，它们具有相同的对象名、版本信息、元数据以及内容，例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。支持复制未加密的对象和使用SSE-KMS、SSE-OSS方式进行服务器端加密的...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
使用SQL查询时序数据
说明 如果要通过多值模型映射关系读取时间线元数据的属性列（_attributes）或者元数据最近更新时间列（_meta_update_time），您需要将这两列添加到多值模型映射关系中，系统会自动填充这两个元数据列的内容。字段名称 类型 描述_m_name ...
Hive元数据说明
DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...
变更日志
修复元数据侧展示数据不同步。[0.2.0-alpha+2]Added 平台侧修复：添加元数据。元数据侧展示。Fixed 引用到错误类型时的提示。提示优化。跳过 get set 方法。[0.2.0-alpha+1]Added 平台侧修复：添加字段。删除字段。添加方法。删除方法。...
实例元数据
访问 实例元数据 重要 实例或实例元数据中若包含了敏感数据，建议您采取适当的措施来保护敏感数据，例如访问控制、数据加密等。实例元数据访问 模式说明 实例元数据支持普通模式和加固模式两种访问模式。普通模式和加固模式 的区别 对比项 ...
单点登录（SSO）常见问题
本文为您介绍云SSO中单...完成后，下载元数据文件检查上传内容是否完整。自建IdP的metadata参数缺失或参数不正确，怎么办？问题原因 解决方法 metadata参数未按SAML 2.0协议配置。参照SAML 2.0协议正确配置参数。更多信息，请参见 SAML 2.0。
管理文件元数据
print(objectmeta.headers['Content-Type'])print(objectmeta.headers['Last-Modified'])print(objectmeta.headers['x-oss-object-type'])相关文档 关于文件元数据的更多内容，请参见 管理文件元数据。关于在简单上传过程中设置文件元数据...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
模板结构说明
Metadata（可选）模板编写者可以使用Metadata来存放与模板相关的元数据信息，内容可以为JSON格式。Parameters（可选）定义创建资源栈时，模板用户可以定制化的参数。通常，模板的编辑者会把ECS的规格设计成一个参数。参数支持默认值。使用...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
管理文件元数据
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以从环境变量读取访问凭证为例。如何配置访问凭证，请参见 Java配置访问凭证。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建...
创建集群
元数据 支持以下方式存储和管理元数据：DLF统一元数据（推荐）：表示元数据存储在数据湖构建DLF中。重要 选择该方式时，需要开通数据湖构建DLF产品，您可以单击下方的 开通，前往DLF控制台操作。开通DLF后，系统会为您选择默认的 DLF数据...
功能发布记录
湖仓加速场景中，在集成数据湖DLF元数据管理下，支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便在测试环境、开发环境、跨部门集群之间做元数据隔离，详情请参见 OSS数据湖加速。湖仓加速场景中，支持加速存储于OSS-HDFS（又名...
拷贝文件
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以从环境变量读取访问凭证为例。如何配置访问凭证，请参见 配置访问凭证。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient...
单点登录（SSO）常见问题
本文为您介绍RAM中单点...完成后，下载元数据文件检查上传内容是否完整。自建IdP的metadata参数缺失或参数不正确，怎么办？问题原因 解决方法 metadata参数未按SAML 2.0协议配置。参照SAML 2.0协议正确配置参数。更多信息，请参见 SAML 2.0。
通过元数据文件迁移上云
前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
控制面安全性
函数元数据通过传输加密及存储加密保障安全 函数计算 API及内部通信均使用TLS 1.2及以上协议加密传输内容。函数的元数据通过AES256密文存储，使用时解密后的元数据缓存时间不超过600s。代码及层缓存通过隔离，受控访问及传输加密保障安全 ...
控制面安全性
函数元数据通过传输加密及存储加密保障安全 函数计算 API及内部通信均使用TLS 1.2及以上协议加密传输内容。函数的元数据通过AES256密文存储，使用时解密后的元数据缓存时间不超过600s。代码及层缓存通过隔离，受控访问及传输加密保障安全 ...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件内容。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
自定义购买实例
与快速购买实例相比，自定义购买可根据业务场景灵活地选择镜像类型、实例规格、存储、带宽、安全组等配置，满足您的业务需求。本文介绍如何自定义购买实例。准备工作 注册中国站阿里云账号，并完成实名认证。具体操作，请参见 阿里云账号...
配置自建RDS
前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7和8.0版本），详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。使用限制 创建RDS MySQL实例时，...
迁移自建Kafka集群至新实例
说明 如果使用迁移工具导出元数据时，设置 evaluate 取值为 true，则购买时会根据获取的当前机器规格、近期存储情况、流量、Kafka集群配置信息默认选中推荐的规格。您也可以根据需要重新选择规格购买。在 实例列表 页面可以看到您刚才购买...
2022年
新增 无 SDK支持节点元数据、心跳以及Metrics上报 SDK支持开启监控上报功能，上报内容包括应用节点元数据、心跳以及Metrics数据，上报成功后能够在控制台查看到应用节点在线状态以及Metrics指标数据。新增 无 支持配置Metrics阈值类型的告...
Jindo CLI支持操作JindoFSx命令
背景信息 本文为您介绍以下内容：数据缓存命令 元数据缓存命令 清理缓存命令 统一命名空间命令 其他命令 数据缓存命令 数据缓存命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS等后端上的数据。...
落标监控概述
落标监控 落标监控是基于数据标准对映射到的对象进行的监控，可分为 元数据监控 和 内容质量监控：元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。内容监控是指针对标准映射到的资产对象（如字段、指标），评估其具体...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
落标监控概述
落标监控 落标监控是基于数据标准对映射到的对象进行的监控，可分为 元数据监控 和 内容质量监控：元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。内容监控是指针对标准映射到的资产对象（如字段、指标），评估其具体...
Spark SQL
在数据湖 元信息发现、T+1全量同步一键建仓 中创建的库表结构,可以被Spark读取并使用，Spark SQL创建或者修改的元数据也可以被其他引擎访问到。下图是Spark SQL和DLA SQL与元数据服务之间的关系。登录 DLA控制台，单击左侧导航栏的 SQL执行...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
- 产品推荐
- 这些文档可能帮助您