Windows系统实例的宕机问题排查
当Windows操作系统的ECS实例在运行过程中出现内核panic、内存溢出OOM（Out Of Memory）、蓝屏卡死等问题或收到系统事件通知实例出现操作系统崩溃时，说明该ECS实例发生宕机，您可以通过自助诊断工具或系统事件来定位原因并解决。...
Dataphin管道任务如何将不同的字段名称进行关联
概述 本文主要解决Dataphin管道任务如何将不同的字段名称进行关联。详细信息 如下图，在输出组件的属性配置中将输入的DTR字段和输出的we字段进行映射，先鼠标点击输入字段中的DTR字段，再鼠标点击输出字段中的we字段，即完成字段的映射。...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
常见问题 Q：同步日志数据出现问题，管道一直在生效中，无法将数据导入Elasticsearch，如何解决？A：查看Logstash实例的主日志是否有报错，根据报错判断原因，具体操作请参见 查询日志。常见的原因及解决方法如下。原因 解决方法 Kafka的接...
出错提示“Unsupported network configuration”
本文主要介绍在使用SMC操作系统迁移时，出错提示“Unsupported network configuration”的问题描述、问题原因及其解决方案。问题描述 在操作系统迁移时，出错提示“Unsupported network configuration”。问题原因 当前系统中使用了不稳定...
Hologres SQL语句的常见问题
本文为您介绍编写和优化Hologres SQL语句时可能遇到的常见问题及解决方法。报错：Creating publication with table that without binlog is not supported now 报错：bigint out of range 报错：too many shards in this instance 报错：...
Java GC日志分析-GC暂停时间长
通过Java GC日志分析，帮助用户从CMS GC升级到G1 GC，帮助解决升级过程中的各种问题。用户诉求 某日接到业务同学的反馈如下：业务运行过程中经常出现超长的暂停时间，导致健康检查失败，引发问题 应用本身是做离线数据处理，对时延要求不是...
Dataphin管道任务源表字段少于目标表字段，应该如何...
问题描述 Dataphin管道任务源表字段少于目标表字段，应该如何应对？解决方案 可以添加字段计算组件，表达式设置为null，来补全源表字段。适用于 Dataphin
Dataphin管道任务同步数据报错“java.lang....
问题描述 用户使用管道任务同步数据时报错“java.lang.OutOfMemoryError:Compressed class space”。问题原因 管道任务运行过程中压缩类空间溢出，默认大小1GB。解决方案 创建一个shell任务，内容如下：@required_resource{required_memory...
Dataphin管道任务同步至OSS，同步成功后OSS文件带后缀
问题描述 Dataphin管道任务同步至OSS，同步成功后OSS文件带后缀。解决方案 产品设计如此，同步到OSS的数据文件都会默认添加后缀，无法取消；目前只有HDFS、FTP组件支持配置文件合并，才会只输出一个文件，不带后缀。适用于 Dataphin 测试...
Dataphin管道任务源表的时间字段有值，但是同步过去是...
问题描述 Dataphin管道任务源表的时间字段有值，但是同步过去是空值，其他字段都是正常。问题原因 管道任务源表字段配置错误，导致最终目标表映射到了空字段。解决方案 修改管道任务源表字段配置即可。适用于 Dataphin
0016-00000001
问题描述 Object名称取值为空。...问题示例 无 解决方案 确认请求中涉及的Object名称取值不为空字符串，且符合以下命名规范：使用UTF-8编码。长度必须在1~1023字符之间。不能以正斜线（/）或者反斜线（\）开头。区分大小写。相关文档 对象命名
409错误
本文介绍OSS返回409错误的原因和解决方案。BucketAlreadyExists The requested bucket name is not available 问题原因：该Bucket已存在或被其他用户占用。解决方案：请使用新的Bucket名称创建Bucket。创建Bucket的具体操作，请参见 创建...
Quick BI数据门户保存时报错为“命名重复”
问题描述 本文主要讲述了数据门户保存时报错为“命名重复”的处理方法。问题原因 数据门户的标题设置重复。解决方案 在两处标题设置中分别设置为互不相同并且之前未使用过的名字，第二个名字的设置需要点击齿轮按钮才能进入设置页面。适用...
Dataphin管道任务从SqlServer抽取数据时，空字符串的...
问题描述 当您使用管道从SqlServer抽取数据时，有个字段数据存在有空字符串，想用字段计算给它换掉,希望将空串替换为0。问题原因 因为管道任务不支持该操作，需要在SqlServer源端进行处理。解决方案 在SqlServer参考处理方法如下：采用case...
容器镜像仓库构建服务失败问题排查
此时，您可以参见以下方法解决问题：建议您将国外云厂商的镜像上传到容器镜像服务，构建时直接使用容器镜像服务的镜像。您可以使用海外构建能力。问题现象二：ACR个人版实例拉取阿里云VPC域名镜像失败。解决方法：个人版实例请使用公网域名...
Quick BI仪表板页面创建文件夹报命名重复错误，但是...
问题描述 Quick BI仪表板页面创建文件夹报命名重复错误，但是文件夹列表没有搜到相同名称是什么原因？问题原因 用户使用的工作空间是私密模式，当前用户只能看到自己有权限的作品或者作品所在的文件夹，没有权限的看不到。解决方案 使用有...
Dataphin管道任务中无法选择物理表
问题描述 Dataphin管道任务中无法选择物理表。问题原因 这张表是外部表，存储在OSS中。解决方案 数据集成中无法选择外部表。适用于 Dataphin
Dataphin管道任务OSS输出组件Object前缀如何使用日期
问题描述 Dataphin管道任务中OSS输出组件的Object前缀如何使用日期达到每天变化的场景。解决方案 可以使用参数${bizdate},如下所示：适用于 Dataphin 管道任务
Dataphin离线管道任务运行报错：类型转换错误
问题描述 Dataphin离线管道任务运行报错：类型转换错误 {"message":"类型转换错误,无法将[1\u000130\u00010.0\u000123400\u00012022-01-12 15:10:49.701]转换为[LONG]","record":[],"type":"reader"} 问题原因 管道任务的数据输入端Hive...
常见问题
本文介绍使用数据迁移工具ossimport的常见问题及解决方法。通用说明 本文提到的所有涉及ossimport的命令均为简写，实际操作时，需补全命令。Windows系统需加上 console.bat 进行补全，例如 submit 实际为 console.bat submit。Linux系统...
Dataphin中管道任务报错“ORA-00257:archiver error....
问题描述 从Oracle向ODPS通过管道任务同步数据，管道任务报错“ORA-00257:archiver error.Connect internal only,until freed”。问题原因 由于Oracle数据库归档日志太多，占用了较多的硬盘剩余空间导致该问题。解决方案 通过在Oracle数据...
自定义插件安装错误的排查与解决方法
本文介绍在安装自定义插件时，出现控制台报错、变更卡住、无法验证通过等问题的排查与解决方法。问题现象 在 上传与安装自定义插件 时，出现控制台报错、变更卡住、无法验证通过或其他异常问题。通用解决方案 在上传与安装自定义插件前，...
Dataphin离线管道任务执行失败了，但目标表却被清空了
问题描述 Dataphin离线管道任务执行失败了，但目标表却被清空了是什么原因？解决方案 输出组件有准备语句（preSql）和完成语句（postSql），管道任务的执行逻辑是会先执行准备语句，然后再执行同步数据任务进行数据传输，然后执行完成语句...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题...
ODC 常见问题
解决方案 将导入文件由 GBK 转码至 UTF8 后，再导入，乱码问题解决。数据导出导入问题 Q：导入或导出数据失败时，任务汇总信息中抛出异常：javax.crypto.BadPaddingException:Given final block not properly padded 时该如何处理？A：看到...
Dataphin的管道同步任务中如何配置多分区值和多分区...
问题描述 Dataphin的管道同步任务中如何配置使用多分区值和多分区字段来进行数据同步？解决方案 配置使用多分区和多分区字段的方法示例参考（数据源是Maxcompute）：/*query*/sale_date>=20190311 and sale_date适用于 Dataphin 基于公共云...
Dataphin管道任务很长时间显示速度为0
问题描述 Dataphin管道任务很长时间日志都显示速度为0。如下图：问题原因 网络资源或者计算资源紧张导致。解决方案 优化自动任务调度时间，尽量和人工使用平台时间相对错开。停止后台占用资源较大的任务，或者使用管道任务-流程模块-限速...
组件异常问题排查
您可以根据操作异常码查找对应的问题，查看问题原因和解决方案。本文介绍操作异常码及其问题原因和解决方案。AddonOperationFailed.ResourceExists 问题原因 该组件包含的部分资源已经存在于集群中，组件无法直接安装。该现象可能由以下...
Dataphin的管道集成任务时报错：“ERROR ...
问题描述 在Dataphin的 从SQL Server往MaxCompute管道集成任务，设置的两边表结构完全相同，也没有什么筛选条件，但是报错：ERROR CommonRdbmsReader$Task-error occurred when reading.com.microsoft.sqlserver.jdbc.SQLServerException: ...
0024-00000101
问题描述 创建OSS加速器，OSS加速器名称不符合规范。问题原因 加速器名称不符合规范，加速器命名规范为：只能包括小写英文字母、数字和短划线（-）。...解决方案 请按照加速器命名规范指定正确的Bucket名称。相关文档 OSS加速器概述
Dataphin管道任务从MongoDB抽取数据报错“Reader ...
问题描述 本文主要描述了Dataphin管道任务从MongoDB抽取数据报错“Reader adaptor run error”的解决方法。2022-10-20 02:22:23.538[DlinkTrans-MongoDB_1]ERROR DlinkLogbackListener-MongoDB_1-org.pentaho.di.core.exception....
ES创建管道卡住|Logstash配置问题
问题描述 Logstash创建/部署管道卡住 可能原因 1.配置有误 scheduler表达式格式配置有误。使用file_extend插件开启配置调试，实际上集群都没有安装这个插件。2.网络异常，提示：管道创建/更新卡住，建议您优先查看Logstash日志查看详细报错...
Dataphin管道任务运行失败，提示“分区配置错误”
问题描述 Dataphin管道任务运行失败，提示“分区配置错误”。问题原因 输入配置中分区配置异常，写成了ds。解决方案 分区配置需填写具体分区，如需导入多分区，建议分任务执行。适用于 Dataphin 说明：本文适用于公共云v2.9.4-3版本数据...
Dataphin管道任务同步SQL Server字段包含关键字处理...
问题描述 Dataphin管道任务同步SQL Server数据，但是SQL Server字段包含关键字导致同步总是报错，列不存在。解决方案 在本例中，需要使用脚本模式。具体写发如下，parameter中的column写[]中括号转义符，但是外层再写一次column，映射字段...
“创建受众失败，请检查数据表列命名设置 ErrorCode:...
问题描述 Quick Audience创建受众时报错：“创建受众失败，请检查数据表列命名设置 ErrorCode:ES0599920089”。问题原因 数据源的数据表字段的字段名称不正确。解决方案 修改数据表的字段名称，要求数据表有唯一的字段列，且列名称必须为...
云安全中心反弹Shell多维检测技术详解
第二类反弹Shell：通过管道、伪终端等中转，再重定向Shell的输入输出到中转 此类反弹Shell借助管道、伪终端等进行中转，例如下面这个典型案例将 sh-i 的标准输入、标准输出、标准错误重定向到命名管道/tmp/f，同时加密通信数据也流向该命名...
Dataphin管道任务速度为0
问题描述 用户使用管道任务同步数据，同步速度为Speed 0B/s,0 records/s。问题原因 这种速度为Speed 0B/s,0 records/s，就是典型得读不出来，写不进去，需要检查WaitReaderTime和WaitWriterTime大小。解决方案 如果WaitReaderTime比较大，...
配置安全沙箱Pod内核参数
通过Annotation为Pod配置自定义内核参数或开启特权容器模式，可以解决runC Pod由于共享内核存在的问题：通过Annotation可以为Pod配置所有合法的Sysctl参数，包括命名空间和非命名空间Sysctl参数，这些配置仅对Pod所在的内核有效，不会影响...
Nginx Ingress异常问题排查
诊断完成后，根据诊断结果解决问题。通过日志服务SLS的Controller Pod查看访问日志 Ingress Controller访问日志格式可以在ConfigMap中看到（默认ConfigMap为kube-system命名空间下的nginx-configuration）。ACK Ingress Controller默认的...
Nginx Ingress异常问题排查
诊断完成后，根据诊断结果解决问题。通过日志服务SLS的Controller Pod查看访问日志 Ingress Controller访问日志格式可以在ConfigMap中看到（默认ConfigMap为kube-system命名空间下的nginx-configuration）。ACK Ingress Controller默认的...
- 产品推荐
- 这些文档可能帮助您