Dataphin中管道任务无法获取SAP HANA的表
问题描述 在Dataphin中管道任务无法获取SAP HANA的表，在管道任务中没有任何表。在管理工具中相同账号可以看到有表：问题原因 JDBC配置有误导致该问题，JDBC中缺少currentSchema等信息。解决方案 数据源jdbc需要按照如下格式设置：jdbc:sap...
Dataphin管道任务输入组件是否能配置逻辑表
概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息 管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于 Dataphin
Dataphin离线管道任务运行报错：类型转换错误
问题描述 Dataphin离线管道任务运行报错：类型转换错误 {"message":"类型转换错误,无法将[1\u000130\u00010.0\u000123400\u00012022-01-12 15:10:49.701]转换为[LONG]","record":[],"type":"reader"} 问题原因 管道任务的数据输入端Hive...
Dataphin管道任务同步csv文件到中台乱码
问题描述 用户同步csv文件数据到中台，发现数据乱码。问题原因 csv编码格式和中台数据库编码格式不一样。解决方案 对齐两边编码格式即可。适用于 Dataphin 管道任务
Dataphin管道任务从本地CSV文件读取汉字显示乱码
产品名称 Dataphin 产品模块 数据集成 概述 本文描述管道任务中从本地CSV文件读取汉字乱码的原因及应对方法。问题描述 数据集成CSV(UTF-8)文件导入HIVE，预览时中文出现乱码。问题原因 因为CSV文件格式是UTF-8。解决方案 需要将CSV文件格式...
Dataphin管道任务配置页面可以显示表字段，数据库连接...
问题描述 Dataphin管道任务配置页面可以显示表字段，数据库连接测试也正常，但是执行该管道任务报错“ERROR DBUtil-get connection error com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure”。...
Dataphin管道任务同步读取源表时，报错“java.sql....
问题描述 Dataphin管道任务同步读取源表时，报错“java.sql.SQLException:ORA-08103:对象不再存在”;源表是存在的。问题原因 管道任务同步读取源表时，另一个用户在全量更新该源表，即有一个进程truncate，insert动作，而同时有另一进程对...
Dataphin管道任务如何同步HBase源表全部字段数据
问题描述 Dataphin管道任务如何同步HBase源表全部字段数据。解决方案 在管道任务中直接使用HBase输入组件只能同步主键字段数据或普通字段数据，如果需要同步HBase表全部字段数据，需要使用脚本模式输入组件。{"parameter":{"mode":"normal...
Dataphin中管道任务从CSV文件读取数据显示乱码
问题描述 Dataphin中管道任务从CSV文件读取数据显示乱码。问题原因 CSV文件编码的问题。解决方案 将CSV文件转化为UTF-8格式，本地CSV输入配置文件编码选择UTF-8。适用于 Dataphin
Dataphin管道任务使用脚本输入组件提示空指针错误
问题描述 Dataphin管道任务使用脚本输入组件提示系统内部错误，查看日志为空指针错误。问题原因 配置文件JSON中直接删除了必填项导致。解决方案 当参数中没有相关设置参数的时候保留原始生成的为空即可。parameter":{} 适用于 Dataphin ...
Dataphin管道任务OSS输出组件Object前缀如何使用日期
问题描述 Dataphin管道任务中OSS输出组件的Object前缀如何使用日期达到每天变化的场景。解决方案 可以使用参数${bizdate},如下所示：适用于 Dataphin 管道任务
Dataphin管道任务中需要同步大量数据时内存设置上限
概述 描述管道任务中需要同步大量数据时内存设置上限的方法。用户通过管道任务要将大量的文件进行同步，这个内存要如何调整？详细信息 在管道任务的通道配置中，JVM配置可以设置运行内存，最大可以设置为8G。当管道任务同步数据较多时，...
Dataphin管道任务运行失败，提示“分区配置错误”
问题描述 Dataphin管道任务运行失败，提示“分区配置错误”。问题原因 输入配置中分区配置异常，写成了ds。解决方案 分区配置需填写具体分区，如需导入多分区，建议分任务执行。适用于 Dataphin 说明：本文适用于公共云v2.9.4-3版本数据...
Dataphin管道任务同步SQL Server字段包含关键字处理...
问题描述 Dataphin管道任务同步SQL Server数据，但是SQL Server字段包含关键字导致同步总是报错，列不存在。解决方案 在本例中，需要使用脚本模式。具体写发如下，parameter中的column写[]中括号转义符，但是外层再写一次column，映射字段...
Dataphin管道任务如何将不同的字段名称进行关联
概述 本文主要解决Dataphin管道任务如何将不同的字段名称进行关联。详细信息 如下图，在输出组件的属性配置中将输入的DTR字段和输出的we字段进行映射，先鼠标点击输入字段中的DTR字段，再鼠标点击输出字段中的we字段，即完成字段的映射。...
Dataphin管道任务在开发环境运行正常发布到生产提示脏...
问题描述 Dataphin管道任务在开发环境一样的数据运行正常，发布到prod提示数据都是脏数据，提示outputRowMeta is not init。问题原因 目标表在生产和开发环境的结构不一致。解决方案 生产环境和开发环境不一定是一致的，生产环境的变更发布...
Dataphin管道任务源表SQL Server没有获取到demical的...
问题描述 Dataphin管道任务源表SQL Server没有获取到demical的精度。解决方案 Dataphin管道任务的输入组件暂时不支持decimal精度获取，但不影响实际任务同步，也不影响精度。适用于 Dataphin 适用于V3.7.1版本及其以下版本
Dataphin创建管道任务从ODPS向ADB同步数据时提示DataX...
问题描述 Dataphin创建管道任务，从ODPS向ADB同步数据报“DataX 抽取 ODPS 数据不支持字段类型为:[DATE].目前支持抽取的字段类型有：bigint,boolean,datetime,double,decimal,string”错误。问题原因 因为date是MaxCompute 2.0数据类型，...
Dataphin中管道任务中输入配置数据库切分键设置方法
概述 Dataphin中管道任务中输入配置数据库切分键设置方法。详细信息 管道任务中输入配置数据库切分键，配合并发度配置使用。可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。如果设置的切分键不是主键或者索引，会...
Dataphin离线管道抽取HANA的数据，源系统字段是...
概述 本文主要描述了Dataphin离线管道抽取HANA的数据，源系统字段是varbinary,Dataphin上使用String类型显示乱码的解决方法。详细信息 用户要使用这个字段，那这个字段就需要加工，二进制数据转换成字符串一定是乱码，所以是需要转换成其他...
Dataphin管道任务可以读取Oracle数据源的伪列吗
概述 Dataphin管道任务可以读取Oracle数据源的伪列吗？详细信息 管道任务读不到rowid。伪列只在数据库内部使用。伪列类似表的列，但不实际存在于表中。不能插入或删除伪列的值。伪列可使用CURRVAL,NEXTVAL,LEVEL,ROWID,ROWNUM。currval返回...
Dataphin管道任务将MongoDB数据同步到MaxCompute发现...
问题描述 Dataphin中通过管道任务将MongoDB中的数据同步到MaxCompute，发现有重复数据。原MongoDB表里有96条数据，同步到MaxCompute中有108条数据，通过对比分析发现_id字段值重复了12条。问题原因 客户同步了_id字段，该字段是MongoDB的...
Dataphin中管道任务中，SQLServer数据源无法显示数据...
问题描述 在管道任务中，SQL Server数据源无法显示数据表，只能显示数据源。当前用户具备数据源的读权限。数据源的设置如下：问题原因 SQL Server中数据源的schema填写错误，用户将schema填写为DatabaseName。解决方案 更正SQL Server数据...
Dataphin中管道任务选择MaxCompute数据源提示“元数据...
问题描述 Dataphin中管道任务选择MaxCompute数据源提示“元数据内部错误”。问题原因 添加数据源时，Access ID和Access Key等信息正确，可以成功添加数据源。随后客户修改了MaxCompute的Access ID和Access Key。导致管道任务中可以选择该...
Dataphin管道任务源表字段少于目标表字段，应该如何...
问题描述 Dataphin管道任务源表字段少于目标表字段，应该如何应对？解决方案 可以添加字段计算组件，表达式设置为null，来补全源表字段。适用于 Dataphin
Dataphin管道任务输入源为Oracle时，无法选择到数据表
问题描述 Dataphin管道任务输入源为Oracle时，无法选择到数据表。问题原因 Oracle数据源配置的schema不是业务数据使用的schema，导致没有表数据。解决方案 修改数据源配置，将schema改为业务数据使用的schema即可。适用于 Dataphin
Dataphin管道任务同步至OSS，同步成功后OSS文件带后缀
问题描述 Dataphin管道任务同步至OSS，同步成功后OSS文件带后缀。解决方案 产品设计如此，同步到OSS的数据文件都会默认添加后缀，无法取消；目前只有HDFS、FTP组件支持配置文件合并，才会只输出一个文件，不带后缀。适用于 Dataphin 测试...
Dataphin中如何解决管道集成选不到已有数据源的问题
产品名称 Dataphin 产品模块 研发，权限 概述 本文为您介绍Dataphin中管道集成任务选不到已有数据源的原因及解决方法 问题描述 新建了数据源，在管道集成任务中选不到该数据源 问题原因 没有给该用户或者该项目授权 解决方案 1.进入...
Dataphin管道任务补数据提示will skip and set ...
问题描述 Dataphin管道任务补数据提示will skip and set success.然后直接跳过，如下图所示。问题原因 由于任务设置的空跑状态，所以会直接置成功。解决方案 如果需要周期补充数据在任务调度配置中将时间属性设置为正常调度，如果需要手动...
Dataphin管道输入脚本输入模式组件配置了querySql参数...
问题描述 Dataphin管道输入脚本输入模式组件配置了querySql参数不生效。问题原因 参数所在层级配置错误。解决方案 querySql参数正确的位置是在 parameter>connection 层级下，比如：适用于 Dataphin 当前环境：公共云3.6.3
Dataphin配置集成管道任务，提示选择复制还是轮流分发...
概述 本文主要描述了Dataphin配置集成管道任务，提示选择复制还是轮流分发的区别。详细信息 复制：上游节点的数据根据下游节点数量进行等份复制，且每个下游节点的数据都是上游节点的全部数据。轮流分发：上游节点的数据根据下游节点数量...
Dataphin管道任务从SqlServer抽取数据时，空字符串的...
产品名称 Dataphin 产品模块 管道任务 概述 本文描述了当使用管道从SqlServer抽取数据时，SqlServer中存在空字符串的处理方法。问题描述 当您使用管道从SqlServer抽取数据时，有个字段数据存在有空字符串，想用字段计算给它换掉,希望将空串...
Dataphin的管道同步任务中如何配置多分区值和多分区...
问题描述 Dataphin的管道同步任务中如何配置使用多分区值和多分区字段来进行数据同步？解决方案 配置使用多分区和多分区字段的方法示例参考（数据源是Maxcompute）：/*query*/sale_date>=20190311 and sale_date适用于 Dataphin 基于公共云...
Dataphin中如何通过调用API的方式创建计算任务、管道...
概述 本文介绍如何通过代码调用API的方式创建计算任务、管道任务等功能。详细信息 日常答疑中有客户提出想通过代码调用方式创建计算任务、管道任务等需求，经过官方确认，可以通过调用Dataphin平台的OpenAPI完成。OpenAPI需要单独部署，...
Dataphin管道任务下选择了SQL SERVER数据源但是找不到...
问题描述 Dataphin管道任务下选择了SQL SERVER数据源但是找不到用户下的表，但是数据库中实际是有表的。问题原因 数据源中配置的Schema错误。解决方案 老版本的SQL Server 内的对象命名是“服务器.数据库.用户名.对象”，但新版的对象命名...
Dataphin的管道集成任务时报错：“ERROR ...
问题描述 在Dataphin的 从SQL Server往MaxCompute管道集成任务，设置的两边表结构完全相同，也没有什么筛选条件，但是报错：ERROR CommonRdbmsReader$Task-error occurred when reading.com.microsoft.sqlserver.jdbc.SQLServerException: ...
Dataphin管道任务输入组件Log Service报错提示“您...
问题描述 Dataphin管道任务输入组件Log Service报错“Description:[您配置的值不合法.].-Invalid DateTime[startTime>=${yyyyMMddHHmmss}]!问题原因 Log Service输⼊组件，日志开始时间，日志结束时间设置错误。解决方案 Log Service输⼊...
Dataphin管道任务中一键建表的创建人会默认是超管而...
概述 Dataphin管道任务中一键建表的创建人会默认是超管，而不是实际执行一键建表操作的创建人（Dataphin登录用户）。目前管道任务中的一键建表负责人和数据源的创建人是一致的。详细信息 1.资产只管理计算源的表，不管理数据源的表，计算源...
Dataphin管道同步任务提示报错“Query exceeded ...
问题描述 Dataphin管道同步任务提示报错“Query exceeded maximum time limit of 1800000.00ms”，异常报错如下：问题原因 源端ADB查询超过了对SQL查询执行设置的超时时间。解决方案 添加Hint指定该SQL的超时时间。query_timeout=毫秒数*/...
Dataphin管道任务列表中的名称和任务基本信息中的名称...
问题描述 Dataphin管道任务列表中的名称和任务基本信息中的名称不一致，展示情况如下：问题原因 修改节点名称后未进行提交，基本信息中显示的是提交后最新版本的名称。解决方案 修改任务名称后进行保存和提交后即可更新基本信息中的名称。...
- 产品推荐
- 这些文档可能帮助您