运行失败
在seek阶段M-R1-R2的R1到R2的过程，会将这些数据交给同样的Reducer去执行，导致数据倾斜，造成某个Reduce Job挂掉。小类目检索准备阶段GetSmallCategoryDocNum为空 报错信息 解决方法 该问题的主要原因是表当中某些字段的值为空，比如 ...
常见退信内容分析
因为拒掉的原因很多，所以要从对方返还的信息来判断原因。我方服务器IP地址被对方拒掉。因为拒掉的原因很多，所以要从对方返还的信息来判断原因。请将退信在线提交我们检查核实。确定原因后，我们将联系对方解除屏蔽。Connection timed out...
LOB大字段独立冷存
操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table(id serial,val text);设置大字段为冷存模式。db01=>alter table blob_table alter column val set(storage_type='oss');...
MaxCompute分区表数据导入
注意事项 使用临时表的原因是为了保证原子性，只有在导入完成后才绑定至分区表，为了避免导入任务失败时还需要重新删除表等操作。对于更新子表分区数据场景，需要删除子表和重新绑定临时表放入一个事务过程中，保证该过程的事务性。使用...
一键实时同步至Kafka
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
常见问题
在分布式事务服务挂掉的情况下，事务是否能正常回滚？分布式事务的服务端会记录下事务的状态并持久化，即使服务挂掉，在服务重新启动后，事务仍然能够正常回滚。建表时，是否可以使用 SQL 的关键字作为列的名称？不可以，建表时列名不能...
关键缺陷通知
hg_insert_overwrite在执行过程中会创建一张临时表，目前未实现临时表清理机制，导致任务失败后，临时表未被清理。出现版本：2.0.19及以下版本。修复版本：2.0.30及以上版本。手动删除临时表 升级到最新版本 P2 通过Fixed Plan将数据写入...
Blink和Flink常见问题及诊断
CONNECTION CLOSED 可能是负载过大导致后端节点挂掉了，出现OOM（Out Of Memory）或者Coredump。解决方法：请先重试写入，如果不能恢复请找Hologres技术支持人员排查原因。报错：BackPresure Exceed Reject Limit 可能原因：通常是Hologres...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
常见报错
解决方法：配置源库对象时以库为粒度，不获取详细的表信息。使用API进行配置。检验源库的读取速度。DTS.Msg.DRDSErrExecuteOnMySQL.ClientVersionTooLow 报错场景：配置源库为PolarDB-X云原生分布式数据库（原DRDS）的任务。可能原因：...
表分区
在运行 ATTACH PARTITION 命令之前，推荐在要被挂接的表上创建一个 CHECK 约束来匹配期望的分区约束。这样，系统将能够跳过扫描，否则需要验证隐式分区约束。没有 CHECK 约束，将扫描表以验证分区约束，同时对该分区持有 ACCESS EXCLUSIVE ...
CREATE TRIGGER
修改分区表或者带有继承子表的表会引发挂接到显式提及表的语句级触发器，但不会引发其分区或子表的语句级触发器。相反，行级触发器会在受影响的分区或子表上引发，即便它们在查询中没有被明确提及。如果一个语句级触发器用 REFERENCING ...
如何结束 AHAS Agent 进程？
这一功能保证了进程可用性，避免进程因异常挂掉或机器重启等原因，需要手动拉起的情况。所以，您在服务器进程中结束 AHAS Agent 无法永久结束该进程，AHAS 会在定时检查后或机器重启时，自动拉起该进程。如果您某段时间不需要使用 AHAS ...
MySQL实例间的双向同步
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源...
Dataphin补数据下游汇总逻辑表丢失
问题描述 本文描述Dataphin补数据，下游汇总逻辑表丢失的原因和解决方法。在DAG图中汇总逻辑表dws_oil_sku_com_station_calyear存在上游VT_ods_start，从VT_ods_start补数据选择不到下游。问题原因 目前选择展开层数是6，当某一层之后总数...
Dataphin如何设置数据表的描述
产品名称 Dataphin 产品模块 即席查询 概述 本文主要讲述了给数据表设置描述的操作。...问题原因 创建表的时候sql语句中没有加comment注释。解决方案 再创表的sql语句后面添加comment“注释”。结果展示为。更多信息 无 相关文档 无
Quick BI为什么添加过滤器筛选不为空字段无效？
概述 本文主要介绍添加过滤器筛选不为空字段无效的原因。详细信息 Quick BI为什么添加过滤器筛选不为空字段无效？解释如下：过滤条件不为空及非空文本是两种逻辑，不为空的SQL逻辑是 IS NOT NULL，而非空文本的SQL逻辑是!''。当过滤器设置...
Quick BI如何创建报表，来获取每日新建的表数据？
配置查询控件，选择SQL占位符，绑定数据集B的表名字段，然后选取表名查询即可。如此一来就可以实现不同表展示不同数据的场景了，展示的是month2表的数据。适用于 Quick BI 说明：本文适用于公共云v4.5版本数据集模块。
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
DLF数据访问权限控制
申请原因 输入申请目标表权限的原因。单击 申请权限，提交申请。您可以在 权限申请记录 页签，查看当前申请的审批详情及审批记录。权限审批 说明 RAM用户（子账号）需要具备 Admin（数据湖管理员）或 super_administrator（超级管理员）的...
背景
需要根据最佳实践进行表设计的原因如下：数据规模大，应对海量数据仍需在数据库功能或者表设计上做一些取舍。分布式数据库需要分区，而分区方式一般与用户表设计或者业务数据相关。数据规模小时，数据倾斜影响不大，而数据规模大到一定程度...
新建普通维度逻辑表
说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过 10万条 血缘关系，超过则不予记录，在资产目录中无法展示。后续步骤 如果项目的模式为Dev-Prod，则...
新建普通维度逻辑表
说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过 10万条 血缘关系，超过则不予记录，在资产目录中无法展示。后续步骤 如果项目的模式为Dev-Prod，则...
数据脱敏
源数据库/项目名 是 选择包含脱敏数据的表所在的项目名称。源表名 是 选择脱敏数据所在的数据表名称。源分区 否 输入需要脱敏的数据在数据表中的分区名称。分区是指在创建MaxCompute数据表时指定的分区空间，用于限定不同区域，方便快速和...
配置并管理实时同步任务
在 选择同步的源表 区域，为您展示所选数据源下所有的表，您可以在 源端库表 区域选中需要同步的整库全表或部分表，并单击 图标，将其移动至 已选库表。重要 如果选中的表没有主键，将无法进行实时同步。在 设置表（库）名的映射规则 区域...
外部表常见问题
本文为您介绍外部表的常见问题。问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出...
Quick BI交叉表事件类型无法选择钉钉
问题描述 Quick BI交叉表事件类型无法选择钉钉。问题原因 交叉表的字段配置中，将维度配置在列中导致。解决方案 维度和度量不能混放。更多信息 事件 适用于 Quick BI 公共云专业版
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 ...
算子级别诊断结果
建议 如果是数据本身特征导致的Join数据膨胀，例如左右表都大量存在的相同的值，可以考虑在表过滤阶段将这些相同值都过滤掉不参与Join。如果是不优的Join顺序导致的数据膨胀，可以考虑手动调整Join顺序。调整方法，请参见 手动调整Join顺序...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域...
Runtime Filter
名词解释 左表：Join查询时左边的表，进行Probe操作。可被Join Reorder调整顺序。右表：Join查询时右边的表，进行Build操作。可被Join Reorder调整顺序。Fragment：FE会将具体的SQL语句转化为对应的执行片段（Fragment），然后下发到分布式...
元数据仓库共享模型（Hadoop）
v3.2.4~dim_dataphin_physical_index和dim_dataphin_index_catalog表废弃，原因是上挂物理指标在3.2.4版本后合并至dim_dataphin_derived_index表。添加建模/物理运维中关于status字段的详细注释信息。新增文档。所有table_id，column_id...
常见问题
可能原因：源表的数据类型与目标表不一致，在进行类型转换时出错。例如源表中的 create_time 字段为DATETIME类型，通过DTS同步到DataHub中时，自动转换成TIMESTAMP类型，而目标表为DATETIME类型。此时需要通过SQL函数将TIMESTAMP类型的数据...
系统概述
本文介绍集群管理系统（Lindorm Insight）的结构与功能。通过集群管理系统，您可以查看集群的...流量诊断 异常流量检测 查看指定分组中所有表的流量检测结果、表的状态、表出现异常的原因、高流量表的请求量/请求数据量和响应请求的平均时间。
OpenAPI列表
DeleteBizUnit 删除数据板块，如果数据板块下已关联项目、主题域、业务限定、原子指标、派生指标、事实逻辑表、维度逻辑表、汇总表等，则不可删除。DeleteDataDomain 删除主题域，如果主题域有下级主题域或业务实体等对象则不可删除。...
Co、递归调用
前言 我们知道，同步的递归写法，如果在退出递归条件失效时，会快速因为栈溢出导致进程挂掉。而在某些场景下，我们会采用异步的递归写法来规避这个问题：async function recursive(){ if(active)return;do something await recursive();} ...
Quick BI交叉表显示不支持跳转
概述 本文描述了Quick BI交叉表显示不支持跳转的原因。详细信息 需要注意交叉表字段配置列里面不能有维度。适用于 Quick BI 专有云3.14版本
配置生命周期挂钩
生命周期挂钩可以暂停由弹性伸缩自动触发的伸缩活动，使ECS实例或ECI实例处于挂起中的状态（即等待的状态），为您保留一段自定义操作的时间以满足特定的部署需求和业务场景，例如预装软件等。直至生命周期挂钩超时结束后，弹性伸缩的伸缩...
- 产品推荐
- 这些文档可能帮助您