Dataphin管道任务中需要同步大量数据时内存设置上限
概述 描述管道任务中需要同步大量数据时内存设置上限的方法。用户通过管道任务要将大量的文件进行同步，这个内存要如何调整？详细信息 在管道任务的通道配置中，JVM配置可以设置运行内存，最大可以设置为8G。当管道任务同步数据较多时，...
Dataphin管道任务从本地CSV文件读取汉字显示乱码
产品名称 Dataphin 产品模块 数据集成 概述 本文描述管道任务中从本地CSV文件读取汉字乱码的原因及应对方法。问题描述 数据集成CSV(UTF-8)文件导入HIVE，预览时中文出现乱码。问题原因 因为CSV文件格式是UTF-8。解决方案 需要将CSV文件格式...
Dataphin管道任务同步SQL Server字段包含关键字处理...
问题描述 Dataphin管道任务同步SQL Server数据，但是SQL Server字段包含关键字导致同步总是报错，列不存在。解决方案 在本例中，需要使用脚本模式。具体写发如下，parameter中的column写[]中括号转义符，但是外层再写一次column，映射字段...
Dataphin中管道任务从CSV文件读取数据显示乱码
问题描述 Dataphin中管道任务从CSV文件读取数据显示乱码。问题原因 CSV文件编码的问题。解决方案 将CSV文件转化为UTF-8格式，本地CSV输入配置文件编码选择UTF-8。适用于 Dataphin
Dataphin管道任务如何将不同的字段名称进行关联
概述 本文主要解决Dataphin管道任务如何将不同的字段名称进行关联。详细信息 如下图，在输出组件的属性配置中将输入的DTR字段和输出的we字段进行映射，先鼠标点击输入字段中的DTR字段，再鼠标点击输出字段中的we字段，即完成字段的映射。...
Dataphin管道任务失败，报错“error occurred where ...
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
Dataphin管道任务运行失败，提示“分区配置错误”
问题描述 Dataphin管道任务运行失败，提示“分区配置错误”。问题原因 输入配置中分区配置异常，写成了ds。解决方案 分区配置需填写具体分区，如需导入多分区，建议分任务执行。适用于 Dataphin 说明：本文适用于公共云v2.9.4-3版本数据...
Dataphin集成管道任务报错：“ERROR ...
且sign_tm是Date类型，现在使用追加模式写入数据，ElasticSearch会继续使用之前的Date类型的时间格式去解析要写入的数据，而ElasticSearch默认的时间格式是这样：1900-01-01T08:05:43.000+08:05:43，本次管道配置sign_tm的类型是Text，不再...
Dataphin中管道任务中输入配置数据库切分键设置方法
详细信息 管道任务中输入配置数据库切分键，配合并发度配置使用。可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。如果设置的切分键不是主键或者索引，会导致所有的并发查询都是全表扫描。适用于 Dataphin
Dataphin管道任务源表SQL Server没有获取到demical的...
问题描述 Dataphin管道任务源表SQL Server没有获取到demical的精度。解决方案 Dataphin管道任务的输入组件暂时不支持decimal精度获取，但不影响实际任务同步，也不影响精度。适用于 Dataphin 适用于V3.7.1版本及其以下版本
Dataphin管道任务可以读取Oracle数据源的伪列吗
概述 Dataphin管道任务可以读取Oracle数据源的伪列吗？详细信息 管道任务读不到rowid。伪列只在数据库内部使用。伪列类似表的列，但不实际存在于表中。不能插入或删除伪列的值。伪列可使用CURRVAL,NEXTVAL,LEVEL,ROWID,ROWNUM。currval返回...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库...
Dataphin离线管道任务执行失败了，但目标表却被清空了
问题描述 Dataphin离线管道任务执行失败了，但目标表却被清空了是什么原因？解决方案 输出组件有准备语句（preSql）和完成语句（postSql），管道任务的执行逻辑是会先执行准备语句，然后再执行同步数据任务进行数据传输，然后执行完成语句...
Dataphin中管道任务中，SQLServer数据源无法显示数据...
问题描述 在管道任务中，SQL Server数据源无法显示数据表，只能显示数据源。当前用户具备数据源的读权限。数据源的设置如下：问题原因 SQL Server中数据源的schema填写错误，用户将schema填写为DatabaseName。解决方案 更正SQL Server数据...
Dataphin管道任务补数据提示will skip and set ...
问题描述 Dataphin管道任务补数据提示will skip and set success.然后直接跳过，如下图所示。问题原因 由于任务设置的空跑状态，所以会直接置成功。解决方案 如果需要周期补充数据在任务调度配置中将时间属性设置为正常调度，如果需要手动...
Dataphin管道任务将MongoDB数据同步到MaxCompute发现...
问题描述 Dataphin中通过管道任务将MongoDB中的数据同步到MaxCompute，发现有重复数据。原MongoDB表里有96条数据，同步到MaxCompute中有108条数据，通过对比分析发现_id字段值重复了12条。问题原因 客户同步了_id字段，该字段是MongoDB的...
Dataphin管道任务在开发环境运行正常发布到生产提示脏...
问题描述 Dataphin管道任务在开发环境一样的数据运行正常，发布到prod提示数据都是脏数据，提示outputRowMeta is not init。问题原因 目标表在生产和开发环境的结构不一致。解决方案 生产环境和开发环境不一定是一致的，生产环境的变更发布...
Dataphin中管道任务选择MaxCompute数据源提示“元数据...
问题描述 Dataphin中管道任务选择MaxCompute数据源提示“元数据内部错误”。问题原因 添加数据源时，Access ID和Access Key等信息正确，可以成功添加数据源。随后客户修改了MaxCompute的Access ID和Access Key。导致管道任务中可以选择该...
Dataphin中如何解决管道集成选不到已有数据源的问题
产品名称 Dataphin 产品模块 研发，权限 概述 本文为您介绍Dataphin中管道集成任务选不到已有数据源的原因及解决方法 问题描述 新建了数据源，在管道集成任务中选不到该数据源 问题原因 没有给该用户或者该项目授权 解决方案 1.进入...
Dataphin管道任务源表字段少于目标表字段，应该如何...
问题描述 Dataphin管道任务源表字段少于目标表字段，应该如何应对？解决方案 可以添加字段计算组件，表达式设置为null，来补全源表字段。适用于 Dataphin
Dataphin管道任务输入源为Oracle时，无法选择到数据表
问题描述 Dataphin管道任务输入源为Oracle时，无法选择到数据表。问题原因 Oracle数据源配置的schema不是业务数据使用的schema，导致没有表数据。解决方案 修改数据源配置，将schema改为业务数据使用的schema即可。适用于 Dataphin
Dataphin提交管道任务为什么会提示对数据源没有写权限...
概述 本文主要介绍提交管道任务提示对数据源没有写权限的原因。详细信息 在提交管道任务时，提示“对数据源没有写权限”，为什么会有这样的提示？原因如下：当创建Dev项目、Prod项目或Basic项目时，系统会自动生成一个生产账号与其项目一一...
Dataphin管道任务同步至OSS，同步成功后OSS文件带后缀
问题描述 Dataphin管道任务同步至OSS，同步成功后OSS文件带后缀。解决方案 产品设计如此，同步到OSS的数据文件都会默认添加后缀，无法取消；目前只有HDFS、FTP组件支持配置文件合并，才会只输出一个文件，不带后缀。适用于 Dataphin 测试...
Dataphin管道任务报错“ORA-01461:仅能绑定要插入 ...
问题描述 用户使用Dataphin离线管道任务，同步数据到Oracle，报错“ORA-01461:仅能绑定要插入 LONG 列的 LONG 值”。问题原因 用户向数据库执行插入数据操作时，某条数据的某个字段值过长，如果是varchar2类型的，当长度超过2000，在4000...
Dataphin如何理解管道集成任务中加载策略中的"覆盖...
产品名称 Dataphin 产品模块 研发，集成，管道任务 概述 本文为您介绍Dataphin管道集成任务中目标库的加载策略的机制是怎样的 问题描述 请教个问题，加载策略选”覆盖数据“的情况下，现在测试的结果是覆盖不了数据，必须还需要填写准备...
Dataphin配置集成管道任务，提示选择复制还是轮流分发...
概述 本文主要描述了Dataphin配置集成管道任务，提示选择复制还是轮流分发的区别。详细信息 复制：上游节点的数据根据下游节点数量进行等份复制，且每个下游节点的数据都是上游节点的全部数据。轮流分发：上游节点的数据根据下游节点数量...
Dataphin的管道同步任务中如何配置多分区值和多分区...
问题描述 Dataphin的管道同步任务中如何配置使用多分区值和多分区字段来进行数据同步？解决方案 配置使用多分区和多分区字段的方法示例参考（数据源是Maxcompute）：/*query*/sale_date>=20190311 and sale_date适用于 Dataphin 基于公共云...
Dataphin管道输入脚本输入模式组件配置了querySql参数...
问题描述 Dataphin管道输入脚本输入模式组件配置了querySql参数不生效。问题原因 参数所在层级配置错误。解决方案 querySql参数正确的位置是在 parameter>connection 层级下，比如：适用于 Dataphin 当前环境：公共云3.6.3
Dataphin集成管道任务报错：java.sql.SQLException:No...
问题描述 Dataphin集成管道任务报错：“java.sql.SQLException:No database selected”是什么原因？问题原因 任务节点的jdbcurl配置错误，url中存在空格字符，导致数据库信息未能正确识别到。解决方案 检查并更正对应节点的JDBC URL，修改...
Dataphin中管道任务报错“ORA-00257:archiver error....
问题描述 从Oracle向ODPS通过管道任务同步数据，管道任务报错“ORA-00257:archiver error.Connect internal only,until freed”。问题原因 由于Oracle数据库归档日志太多，占用了较多的硬盘剩余空间导致该问题。解决方案 通过在Oracle数据...
Dataphin管道任务输入组件Log Service报错提示“您...
问题描述 Dataphin管道任务输入组件Log Service报错“Description:[您配置的值不合法.].-Invalid DateTime[startTime>=${yyyyMMddHHmmss}]!问题原因 Log Service输⼊组件，日志开始时间，日志结束时间设置错误。解决方案 Log Service输⼊...
Dataphin管道同步任务提示报错“Query exceeded ...
问题描述 Dataphin管道同步任务提示报错“Query exceeded maximum time limit of 1800000.00ms”，异常报错如下：问题原因 源端ADB查询超过了对SQL查询执行设置的超时时间。解决方案 添加Hint指定该SQL的超时时间。query_timeout=毫秒数*/...
Dataphin的管道任务中如何为目标表的预留字段设置...
问题描述 Dataphin的管道...解决方案 使用“字段计算”组件，新建一个字段作为存储null值的字段，表达式中的null字符串使用双引号。管道任务运行之后，可以看到目标表中预留字段值内容为null字符串。适用于 Dataphin 基于公共云v2.9.4-3验证
Dataphin中管道任务从SQL Server向ODPS同步数据报...
概述 描述了管道任务从SQL Server向ODPS同步数据，报错“连接数据库失败”的原因及解决方法。问题描述 SQL Server数据源测试连接成功，但是在管道任务中提示连接数据库失败。具体日志如下：问题原因 在Shell中telnet该数据源，发现该数据源...
Dataphin管道任务列表中的名称和任务基本信息中的名称...
问题描述 Dataphin管道任务列表中的名称和任务基本信息中的名称不一致，展示情况如下：问题原因 修改节点名称后未进行提交，基本信息中显示的是提交后最新版本的名称。解决方案 修改任务名称后进行保存和提交后即可更新基本信息中的名称。...
Dataphin管道任务同步数据，hive源表报错“ERROR ...
问题描述 Dataphin管道任务同步数据，hive源表报错“ERROR DlinkTaskPluginCollector-脏数据”。问题原因 hive源表字段数据中有单个双引号，导致同步时数据分割错了，抛出了“ERROR DlinkTaskPluginCollector-脏数据”错误。解决方案 可以...
Dataphin生产数据源和开发数据源不一致在管道任务中...
概述 Dataphin生产数据源和开发数据源不一致在管道任务中如何自动切换。详细信息 只需要在配置数据源的时候将开发和生产按照业务实际绑定到对应的设置中，比如生产数据源配置：开发数据源配置：然后在管道任务中开发项目正常发布到生产项目...
Dataphin的管道任务提交时报错“ERROR：duplicate key...
问题描述 Dataphin的管道任务提交时报错“ERROR：duplicate key value violates unique constraint”是什么原因？问题原因 依赖关系配置中节点的输出名称重复了，导致了主键冲突报错。解决方案 检查运维中是否有已存在的重名节点名称，然后...
Dataphin管道任务从MongoDB抽取数据报错“Reader ...
问题描述 本文主要描述了Dataphin管道任务从MongoDB抽取数据报错“Reader adaptor run error”的解决方法。2022-10-20 02:22:23.538[DlinkTrans-MongoDB_1]ERROR DlinkLogbackListener-MongoDB_1-org.pentaho.di.core.exception....
Dataphin管道任务报错“ErrorMessage=The specified ...
问题描述 用户在向MaxCompute同步数据，或者从MaxCompute读取数据，任务报错“ERROR RetryUtil-Exception when calling callable,异常Msg:RequestId=20220302175757d1cbdc0b0349072a,ErrorCode=MethodNotAllowed,...适用于 Dataphin 管道任务
- 产品推荐
- 这些文档可能帮助您