Dataphin共享元数据查出循环依赖
问题描述 Dataphin共享元数据查出循环依赖。解决方案 ld_amway_newretail.dim_combination_camp_user，这种节点是Dataphin系统内部的节点，下游依赖它，只是依赖它里面的字段，产生的循环依赖是允许的，因为是字段级别依赖。适用于 ...
0024-00000301
问题描述 问题一：重复创建元数据转换预热任务。问题二：重复创建加速器预热任务。问题原因 问题一：您在发起PutDataLakeStorageTransferJob请求时，job已经存在。问题二：您在发起PutDataLakeCachePrefetchJob请求时，job已经存在。问题...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
EMR Kafka磁盘写满运维
此时，可以通过ECS实例层面的操作，将分区副本数据挪到当前Broker的其他磁盘并修改相应Kafka数据目录元数据的方式来解决故障盘空间不足的问题。适用场景 故障磁盘所在Broker使用容量不均衡、存在空间使用率较低的磁盘。注意事项 该方法只能...
0024-00000302
问题描述 问题一：任务路径重复。问题二：重复创建加速器预热任务。问题原因 问题一：您在发起PutDataLakeStorageTransferJob请求时，Path参数重复。问题二：您在发起PutDataLakeCachePrefetchJob请求时，Path参数重复。问题示例 该功能为...
现代IM系统中的消息系统—实现
功能：元数据管理 元数据是指描述数据的数据，此处主要体现为用户元数据和会话元数据两类。此处群的元数据信息包括群ID（复用群的timelineId）、群名称、创建时间等信息，可以直接基于timelineMeta的管理表完成实现，所有Group类型的...
0024-00000303
问题描述 问题一：创建任务时，Tag参数过长。问题二：重复创建加速器预热任务。问题原因 问题一：您在发起PutDataLakeStorageTransferJob请求时，Tag参数过长。问题二：您在发起PutDataLakeCachePrefetchJob请求时，Tag参数过长。问题示例 ...
0024-00000304
问题描述 问题一：创建任务时，Tag含有非法字符。问题二：重复创建加速器预热任务。问题原因 问题一：您在发起PutDataLakeStorageTransferJob请求时，Tag含有非法字符。问题二：您在发起PutDataLakeCachePrefetchJob请求时，Tag含有非法...
Logview诊断实践
数据跨集群复制阶段 问题现象：子状态列表里面出现多次 Task rerun，Result 里有错误信息 FAILED:ODPS-0110141:Data version exception。作业看似失败了，实际还在执行，说明作业正在做数据的跨集群复制。产生原因一：Project刚做集群迁移...
Hive作业异常排查及处理
原因分析：元数据和数据不一致，元数据中存在某个分区的记录，但数据存储系统中没有该路径，导致使用cleanup方法的时候报错找不到路径。解决方法：您可以尝试修复元数据问题之后再重新执行作业。Hive读表或者删除表时报错java.lang....
查看血缘关系
提升故障排查效率 当数据在处理过程中出现问题时，通过血缘关系，您可以追踪到问题的根源，快速定位和解决故障，避免业务损失和高昂的人力成本。提升数据分析效率 当数据资产变更或者出错的情况下快速定位所影响的线上作业，及时进行处理，...
0041-00000111
问题描述 无法解析自定义元数据。问题原因 请求触发镜像回源时，源站解析自定义元数据格式错误。问题示例 解析x-oss-persistent-headers内容不合法。其他情况 解决方案 排查源站异常。相关文档 镜像回源
OOM常见问题排查指南
关于该问题产生的原因、主要影响和解决方法具体如下：产生原因 元数据占用内存多 表现为Meta内存使用率高：表数据量增加，数据总量也随之增加，元数据占用内存多，当没有任务运行时，内存水位也会高，通常建议一个Table Group下不要超过...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
RDS MySQL如何管理长时间执行的查询
说明：元数据锁等待的问题请参考 解决MDL锁导致无法操作数据库的问题。由于SQL执行效率差而导致的长时间查询。由于被SQL注入而导致的长时间查询。由于DDL语句引起表元数据锁等待。长时间执行的查询带来的问题 通常来说，除非是BI/报表类...
如何处理RDS MySQL连接数被打满的情况
问题描述 连接数满会导致客户端无法连接到RDS MySQL数据库。问题原因 空闲连接过多。活动连接过多。解决方案 说明 如果对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果对实例（包括但不限于ECS、...
0026-00000004
问题描述 并发修改对象的元数据或标签。问题原因 您执行的对象元数据修改操作或对象标签修改操作产生冲突。问题示例 无。解决方案 请勿执行对象元数据或对象标签的并发修改操作。相关文档 StaleFile
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
模型介绍
Meta：用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由包含任意列。Queue：一个Timeline内所有Message存储在Queue内。SequenceId：Queue中消息体的序列号，需保证递增、唯一。模型支持自增列、自定义两种实现模式。...
变更日志
修复元数据侧展示数据不同步。[0.2.0-alpha+2]Added 平台侧修复：添加元数据。元数据侧展示。Fixed 引用到错误类型时的提示。提示优化。跳过 get set 方法。[0.2.0-alpha+1]Added 平台侧修复：添加字段。删除字段。添加方法。删除方法。...
0005-00000421
问题描述 客户端加密参数只能设置一次，无法通过CopyObject修改Object Meta信息。问题原因 调用客户端加密上传文件后，加密元数据会被保护，无法通过 CopyObject 修改文件元数据。问题示例 使用CopyObject修改客户端机密后的对象元数据。...
PolarDB MySQL版8.0.1版本发布日志
修复多主集群在极少数情况下因没有及时释放定时任务元数据锁而导致集群崩溃的问题。修复访问X-Engine引擎中的表时，因访问主键索引之后无法使用索引覆盖扫描结果而导致查询变慢的问题。修复一键升级RDS MySQL至 PolarDB MySQL版 场景下，...
锁分析
当面临数据库的死锁问题时，您可以使用锁分析功能，直观地查看和分析数据库发生的死锁，从而快速定位和解决死锁问题，确保数据库的稳定运行。前提条件 目标数据库引擎为：RDS MySQL 自建MySQL PolarDB MySQL版 PolarDB-X 2.0 目标数据库...
锁分析
当面临RDS MySQL的死锁问题时，您可以使用锁分析功能，直观地查看和分析数据库最近一次发生的死锁，从而快速定位和解决死锁问题，确保数据库的稳定运行。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高...
Hologres管控台的监控指标
只有在子实例绑定了主实例之后，该指标会显示数据（0ms），当主实例有数据写入时，子实例的同步延迟会出现数据波动。一般情况下，主从实例的同步延迟毫秒级，当实例偶尔出现延迟抖动时，一般情况为主实例在做DDL等元数据修改的操作，可忽略...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
使用OSS静态存储卷
说明 如果您使用的是v1.18.8.45及以上版本的csi-plugin和csi-provisioner插件，则不会出现上述问题。若您在应用模板中配置了 securityContext.fsgroup 参数，kubelet在存储卷挂载完成后会执行 chmod 或 chown 操作，导致挂载时间延长。说明...
历史版本常见问题
这两种方式均无法保证数据的强一致性，均有可能出现数据不一致、数据延迟等问题。处理建议 将实例升级至PolarDB-X 2.0。PolarDB-X 1.0 中的广播表是弱依赖的，应用需要能接受广播表数据出现不一致等情况。广播表尽可能减少增删改，以查询为...
新功能发布记录
全部 流量控制插件 2023-07 功能名称 功能描述 发布地域 相关文档 VPC融合实例升降配支持 解决VPC融合实例的实时扩容缩容需求 全部 支持分组上API定义的导出 支持将分组上的API元数据整体导出到本地，可以用于以下三个场景：跨账号API...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
将自建ClickHouse数据迁移到云ClickHouse中
当您计划将自建数据库ClickHouse迁移到云数据库ClickHouse提升业务的可扩展性和可靠性时，本文档将为您提供实际操作指南以及如何处理可能遇到的问题。参考本文档迁移策略，您将能够高效、安全地完成数据迁移，并最大化云端环境的利益。说明...
存储空间地域属性
✓ ✓ 管理文件元数据 文件元信息是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置文件HTTP头来自定义HTTP请求的策略，例如文件缓存策略、强制下载策略等。您还可以通过设置用户...
功能发布记录
FE节点表锁机制升级为短锁，有效解决DDL卡住、以及FE节点元数据不一致出现异常报错等问题，提升FE节点元数据的稳定性和一致性。OpenAPI能力升级，新增计算组、数据湖加速、资源组等接口，提升实例运维管理能力。详情请参见 API概览。生态...
Dataphin表中存在字段，查询时报错没有该字段
问题描述 本文主要介绍如何解决Dataphin表中存在字段，查询时报错没有该字段。查询表字段存在使用的字段。查找该字段报错没有该字段。问题原因 该问题的原因是数据表在dataphin上元数据不同步导致。解决方案 在数据资产进行元数据的刷新。...
0037-00000002
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
Dataphin中管道任务选择MaxCompute数据源提示“元数据...
问题描述 Dataphin中管道任务选择MaxCompute数据源提示“元数据内部错误”。问题原因 添加数据源时，Access ID和Access Key等信息正确，可以成功添加数据源。随后客户修改了MaxCompute的Access ID和Access Key。导致管道任务中可以选择该...
组件接入
会在Chart文件目录里生成component.yaml的元数据描述文件，如果需要指定该业务组件支持的os架构类型，可以以标准YAML格式直接编辑component.yaml文件中的spec.platforms字段然后重新使用zlink push上传业务组件。组件支持多架构可以使用数...
现代IM系统中的消息系统—模型
Meta 用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由包含任意列。Queue 一个Timeline内所有Message存储在Queue内。Message Timeline内传递的消息体，也是一个free-schema的结构，可自由包含任意列。Index 包含Meta ...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
- 产品推荐
- 这些文档可能帮助您