各位好, 有个数据集成同步的问题咨询一下 有一张hive的源表,有分区,分区字段是“年周”yw格式的

各位好, 有个数据集成同步的问题咨询一下 有一张hive的源表,有分区,分区字段是“年周”yw格式的 现在想将此源表数据集成同步到maxcompute中,必须要指定源表分区信息即yw=.... 但我现在找不到办法在调度配置中把调度时间转换成“年周”yw的格式,以此来赋给源表的分区信息 请问各位这种情...

测试用的公共资源组,但是hive数据集成显示不支持此资源组怎么办?

测试用的公共资源组,但是hive数据集成显示不支持此资源组怎么办?

DATAX hdfsreader读取hive orc 写入mongodb读取端丢数

有张分区每个分区后 5000kw 的表,并行导了几天的数进mongodb, 部分日期 出现 数据丢失。整个过程 datax无报错 ,有的日期丢失超过1000w数据。导入过程后两天出现过 hdfs空间满的情况,也就是 导入时 空间使用率很高,预计超过95%是否现有机制下,在空间不足时读失败,无对应日志...

DataX 从Hive导入Mysql中提示字段数不相等

我从一张HIve表往Mysql表中导入数据时,HIve一些分区字段值为空或为NULL,其他字段有值的分区导入正常,遇到这种情况怎么姐解决啊?DataX错误提示:escription:[您的配置错误.]. - 列配置信息有错误. 因为您配置的任务中,源头读取字段数:9 与 目的表要写入的字段数:11 ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2700+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载

数据集成 Data Integrationhive相关内容