DDL操作指南
存储节点执行物理DDL的执行算法主要有以下三种：INSTANT算法，仅需修改数据字典中的元数据，不需要修改或复制存量数据，也不需要重建物理表，物理DDL可以秒级完成；INPLACE算法，物理表中的数据需要复制和重建，但是复制和重建都在存储引擎...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
管理文件元数据
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以从环境变量读取访问凭证为例。如何配置访问凭证，请参见 Java配置访问凭证。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建...
模板结构说明
Metadata（可选）模板编写者可以使用Metadata来存放与模板相关的元数据信息，内容可以为JSON格式。Parameters（可选）定义创建资源栈时，模板用户可以定制化的参数。通常，模板的编辑者会把ECS的规格设计成一个参数。参数支持默认值。使用...
审计日志
自定义数据源（支持新建离线数据源和实时数据源）AddCustomDataSource 创建实时自定义数据源。UpdateCustomDataSource 更新实时自定义数据源。DeleteCustomDataSource 删除实时自定义数据源。我的权限 ApplyPrivilege 申请权限。...
控制面安全性
函数元数据通过传输加密及存储加密保障安全 函数计算 API及内部通信均使用TLS 1.2及以上协议加密传输内容。函数的元数据通过AES256密文存储，使用时解密后的元数据缓存时间不超过600s。代码及层缓存通过隔离，受控访问及传输加密保障安全 ...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件内容。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
控制面安全性
函数元数据通过传输加密及存储加密保障安全 函数计算 API及内部通信均使用TLS 1.2及以上协议加密传输内容。函数的元数据通过AES256密文存储，使用时解密后的元数据缓存时间不超过600s。代码及层缓存通过隔离，受控访问及传输加密保障安全 ...
单点登录（SSO）常见问题
本文为您介绍RAM中单点...完成后，下载元数据文件检查上传内容是否完整。自建IdP的metadata参数缺失或参数不正确，怎么办？问题原因 解决方法 metadata参数未按SAML 2.0协议配置。参照SAML 2.0协议正确配置参数。更多信息，请参见 SAML 2.0。
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
Hive元数据说明
本文为您介绍E-MapReduce（简称EMR）支持的元数据类型和各元数据类型的优势。元数据类型介绍 EMR Hive元数据支持DLF统一元数据、自建RDS和内置MySQL三种类型。DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）...
拷贝文件
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以从环境变量读取访问凭证为例。如何配置访问凭证，请参见 配置访问凭证。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient...
PutObject
不建议使用ETag作为Object内容的MD5来校验数据完整性。默认值：无 Expires 字符串 否 2022-10-12T00:00:00.000Z 缓存内容的绝对过期时间，格式是格林威治时间（GMT）。默认值：无 x-oss-forbid-overwrite 字符串 否 false 指定PutObject...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
DescribeHubClusterDetails-获取主控集群详情
变更历史 变更时间 变更内容概要 操作 2024-05-13 OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。删除错误码：400 出参 OpenAPI 返回结构发生变更。2024-04-17 OpenAPI 错误...
Maxwell
背景信息 Maxwell 是一个CDC(Changelog Data Capture，变更数据获取）工具，可以把来自MySQL的更改实时流传输到Kafka、Kinesis和其他流连接器中。Maxwell为变更日志提供了统一的格式结构，并支持使用JSON序列化消息。支持Maxwell格式的连接...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
基本概念
FE（Frontend）FE是StarRocks的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。每个FE节点都会在内存保留一份完整的元数据，这样每个FE节点都能够提供无差别的服务。BE（Backend）BE是StarRocks的后端节点，...
Jindo CLI支持操作JindoFSx命令
背景信息 本文为您介绍以下内容：数据缓存命令 元数据缓存命令 清理缓存命令 统一命名空间命令 其他命令 数据缓存命令 数据缓存命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS等后端上的数据。...
CloseMetaQuery
关闭元数据管理功能后，OSS会自动删除Bucket的元数据索引库，您将无法进行元数据索引。注意事项 要关闭Bucket的元数据管理功能，您必须有 oss:CloseMetaQuery 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。无论Bucket是否已开启...
MongoDB实例内存使用率高问题
查看方法 分片集群架构下，各个分片（Shard）的内存使用与副本集架构保持一致，Config Server用于存储配置元数据，Mongos路由节点的内存使用率和聚合结果集、连接数大小、元数据大小相关。副本集架构下，您可以通过以下方法查看内存的使用...
Debezium
在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Debezium格式的JSON消息或...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
Hive统一元数据
背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请不要随意的切换公网IP地址，防止对应的数据库白名单失效。如果是本地的元数据库，您可以使用集群上的Hue工具来管理。E-MapReduce后台RDS统一管理元数据的方式，...
连接HoloWeb
HoloWeb是基于交互式分析Hologres引擎，使用可视化方式开发和管理数据库的一站式平台。本文以一个简单的案例，为您介绍使用HoloWeb的基本流程。前提条件 已开通Hologres，详情请参见 购买Hologres。操作步骤 登录 Hologres管理控制台。在...
资源包概述
资源包是群空间下从数据源到数据门户的元数据信息，本文为您介绍如何使用资源包进行资源的快速复制、分发。适用场景 企业版本管理。同一环境下，区分A空间和B空间。每个版本由A空间导入B空间，实现版本发布和隔离管理。不同环境下，区分开A...
元数据库数据字典
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...
GetMetaQueryStatus
取值范围如下：Ready：创建后准备中 元数据索引库正在准备中，您无法通过元数据索引库查询到数据。Stop：已暂停 Running：运行中 Retrying：创建失败后重试中 Failed：创建失败 Deleted：已删除 父节点：MetaQuery CreateTime 字符串 2021-...
DataWorks on EMR Serverless StarRocks最佳实践
数据服务概述 数据地图 DataWorks的数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提...
如何处理RDS MySQL连接数被打满的情况
问题描述 连接数满会导致客户端无法连接到RDS MySQL数据库。问题原因 空闲连接过多。活动连接过多。解决方案 说明 如果对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果对实例（包括但不限于ECS、...
应用管理
本文仅对元数据信息和质量规则展开说明，其他内容不在此详述。元数据详情 应用元数据详情由 应用基础信息、研发设置、成员 三部分组成。具体说明如下：基础信息 应用名：不可修改。中文名：不可修改。编译技术栈：决定构建方式。架构域：...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
认识MaxCompute Studio
数据管理 您可以通过Studio的 项目浏览器 快速浏览项目的表或视图、自定义函数、资源文件。通过树形控件，可以列出所有项目连接下的数据表、列、分区列、虚拟视图、自定义函数名称、函数签名、资源文件及类型等，并支持快速定位。双击项目...
数据加密
主密钥用于生成随机的数据加密密钥，加密后的内容会当作Object的元数据保存在服务端。解密时先用主密钥将加密后的随机密钥解密出来，再用解密出来的随机数据加密密钥明文解密Object的数据。主密钥只参与客户端本地计算，不会在网络上进行...
Metabase
选择数据库类型并配置连接数据库参数后，单击 保存。具体参数配置如下所示：参数 描述 数据库类型 在下拉列表中选择 PostgreSQL。主机 Hologres实例的公共网络地址。您可以进入 Hologres管理控制台 的实例详情页，从 网络信息 区域获取网络...
set-meta（管理文件元数据）
如果需要设置多组元数据，则各组元数据之间以井号（#）连接。例如 Cache-Control:no-cache#Expires:2022-10-12T00:00:00.000Z。当前可选的Header列表如下：Headers:Expires(time.RFC3339:2006-01-02T15:04:05Z07:00)X-Oss-Object-Acl ...
元数据库数据字典
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库，并和MySQL的元数据库有一定的兼容性，但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
- 产品推荐
- 这些文档可能帮助您