Dataphin集成任务支持自定义FTP标记完成文件内容(V3.14)

Dataphin集成任务支持自定义FTP标记完成文件内容(V3.14)

背景:在文件传输的场景中,标记完成文件(有时也被称为标档文件)作为一种重要的确认机制被广泛应用。这一机制通过创建特定的“传输完成标识文件”,用于明确指示数据文件已成功完成全量传输,并达到可以进行下一步业务处理的状态,从而有效防止了基于不完整数据流的错误操作。在实际应用中,接收端系统可通过检测并解析标...

DataWorks从数据库到oss、ftp同步数据的时候,修改同步任务进去没办法新增输出列?

DataWorks从数据库到oss、ftp同步数据的时候,编辑映射的时候没有办法新增输出列,比如我给表新增了一个字段,修改同步任务进去没办法新增输出列?

请问Dataphin离线管道任务里ftp支持excel格式吗?谢谢

请问Dataphin离线管道任务里ftp支持excel格式吗?谢谢

之前ftp check任务检测文件后连接不释放,导致连接被占满的问题。这个问题现在被优化了吗?

之前ftp check任务出现过每次检测文件后连接不释放的情况,导致连接被占满的问题。请问这个问题现在有优化了吗?

[帮助文档] Dataphin管道任务将FTP数据同步到Hive,运行报错java.io.IOException:Inputisnotinthe.gzformat

问题描述Dataphin管道任务将FTP数据同步到Hive,运行报错“java.io.IOException: Input is not in the .gz format”。完整报错信息如下:2022-09-15 18:36:43.234 [0-0-0-reader] INFO  Ftp...

dataworks创建FTP抽取任务时如何添加获取当前时间字段映射到目标表

dataworks创建FTP抽取任务时如何添加获取当前时间字段映射到目标表

[帮助文档] Dataphin离线管道任务同步FTP数据报错com.jcraft.jsch.JSchException:connectionisclosedbyforeignhost

问题描述用户在使用离线管道任务同步数据的时候,报错“com.jcraft.jsch.JSchException: connection is closed by foreign host”。问题原因系统SSH终端连接数配置过小,查看虚拟机该参数(该参数在/etc/ssh/sshd_config中配置...

[帮助文档] 集成任务是否可以读取ftp中的空文件

问题描述集成任务从ftp数据源读取数据,如果读取的文件中没有数据,任务能否正常执行?解决方案允许数据文件为空。这样任务依然会执行成功,但是不会获取到数据。适用于Dataphin-数据集成

[帮助文档] Dataphin中管道任务将FTP数据同步至HIVE,运行报错您尝试读取的列越界,源文件该行有[31]列,您尝试读取第[32]列,数据详情[XXX]

问题描述Dataphin中管道任务抽取FTP数据,报错“ERROR DlinkTaskPluginCollector - 脏数据: {"message":"您尝试读取的列越界,源文件该行有 [31] 列,您尝试读取第 [32] 列, 数据详情[...]”,且读取的中文数据有乱码。完整的报错信息如下:...

[帮助文档] 关于FTP数据同步到Hive数据源时,FTP数据改为空会提示脏数据的问题

问题描述管道任务将FTP数据源STRING类型数据同步到Hive数据源中DATE类型字段,当FTP中改STRING类型数据为空时,管道任务会提示脏数据。但是FTP中该字段为空数据正常业务场景。2021-11-08 18:42:43.305 [0-0-0-reader] INFO  Unst...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。