数据集成 Data Integration组件的相关内容

datax的transformer组件怎么直接使用，不用idea工具的？

数据处理好后对外也是数据集成里面选不同的输出组件对外吗？

[帮助文档] Dataphin集成Oracle组件下拉表清单提示无法获取元数据

问题描述Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS解决方案在O...

[帮助文档] 如何填写Dataphin数据集成自定义非RDBMS组件中JS

概述描述Dataphin数据集成自定义非RDBMS组件中JS如何填写？详细信息非RDBMS组件比较复杂，需要用户自己开发读写插件以及组件配置页面JS。注意组件界面JS是非必须的，如果没有组件页面JS，提供了一个脚本模式输入输出组件，可以像MySQL那样选表和字段，位于每个输入/输出组件类目下：适用于...

数据集成模块流程组件之限速介绍

作者：坚乃在数据集成的过程中，在一些场景下，需要对集成速度进行限速操作，限速组件可限制读取速度，本文将介绍如何进行限速组件的配置。1 组件说明用于限制读取速度。比如读写数据库，流量过大可能会对数据库造成压力。2 原理说明数据读取过程，会计算增量数据量以及增量记录数，从而计算当前速度&#...

数据集成模块流程组件之条件分发介绍

作者：坚乃在数据集成的过程中，在一些场景下，需要对上游数据进行分发操作，条件分发组件可对上游数据根据配置条件进行分发，本文将介绍如何进行条件分发组件的配置。1 组件说明用于将上游数据按照条件分发给下游两个组件。2 原理说明根据配置的条件，对上游数据进行路由分发，如果条件为true，则该...

数据集成模块转换组件之字段选择介绍

作者：坚乃在数据集成的过程中，在一些场景下，需要选择哪些字段进行数据集成，字段选择组件可用于对上游字段进行字段筛选、重命名、调整字段顺序，本文将介绍如何进行字段选择组件的配置。1 组件说明对上游字段进行字段筛选、重命名、调整字段顺序。2 原理说明根据字段选择组件的配置对上游的数据根据字段名进行过滤、...

数据集成模块转换组件之字段计算介绍

作者：坚乃在数据集成的过程中，在一些场景下，需要新增一些字段，字段计算组件可用于增加自定义字段，本文将介绍如何进行字段计算组件的配置。1 组件说明用于增加自定义字段。2 原理说明系统内置较为丰富的函数算子，包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段，也可以生成常量等。3 ...

数据集成模块转换组件之过滤组件介绍

作者：坚乃在数据集成的过程中，在一些场景下，需要对原始数据进行转换操作，过滤组件可对上游数据根据配置条件进行过滤，本文将介绍如何进行过滤组件的配置。1 组件说明用于对上游数据根据配置条件进行过滤。2 原理说明系统内置一些常用的用于比较的算子，支持对上游一个或多个字段进行预设组合逻辑判断3 使用说明如...

数据集成模块中如何配置脚本模式输入组件

作者：终古1 组件简介脚本模式组件采用的是配置json的方式配置同步任务。主要使用场景：当表单模式透出的配置参数无法支持同步场景诉求:比如mysql等数据库输入组件读取多表join等任何复杂sql的结果比如读取一些数据库的元数据表比如某些组件需要一些额外的配置比如表、字段存在关键字，表单模式组件无法...

共有14条

< 1 2 >

跳转至： GO

更新时间 2024-02-05 11:17:36

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者，DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，同时与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。

2700+人已加入

加入