管理数据集成任务

前提条件 已创建数据集成任务,相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 数据集成任务支持的管理操作及对应的影响请参见下表。操作 影响 停止数据集成任务 数据集成任务将转变为 已暂停 状态,暂停调度该任务。说明 处于该...

DataWorks公共数据集成(调试)资源组下线公告

独享数据集成资源组具备公共资源组所有能力,并支持更多的功能和更好的性能,为您的数据集成任务稳定高效的执行提供更优质的服务。如您对此次变更有任何顾虑和疑问,请联系您在阿里云的销售顾问或者通过工单联系我们。

查看历史任务

前提条件 已创建数据集成任务,相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧导航栏,单击 数据集成。在数据集成任务列表的顶部,选择目标数据集成任务所属地域。找到目标数据集成任务,单击对应的...

配置监控报警

前提条件 已创建数据集成任务,相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 DTS目前支持的监控项为 延迟 和 迁移状态:延迟:监控增量数据迁移延迟信息,当增量数据迁移的延迟时间超过设定值时(单位为秒),触发报警规则。...

数据传输作业:数据集成

MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute,数据集成作业主要有三种类型:离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线(批量)的数据通道通过定义数据...

修改调度策略

对于已经配置完成的数据集成任务,如果由于业务需求变更需要重新调整调度策略,您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务,相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...

使用ClickHouse-Local迁移上云

背景信息 如果ClickHouse中提供了您自建数据库系统对应的集成引擎或表函数,或者您自建数据库系统提供了JDBC驱动程序或ODBC驱动程序,您就可以使用ClickHouse-Local作为ETL工具,将数据从当前的数据系统迁移到云数据库ClickHouse企业版。...

能力介绍

数据集成 所谓数据集成”,是指应用之间数据共享的方式,比如两个应用,当涉及到相同的数据模型时,是共享一份数据,还是独立管理各自的数据。通过应用声明,应用在上架到应用市场之后,用户就能感知应用与数据之间的关系。目前通用的...

数据源概述

DataWorks的数据源用于...支持管理员按源端、目的端数据源的组合来定义需要被审批的数据集成任务。详情请参见:数据集成审批策略。相关文档 数据源配置,详情请参见 支持的数据源及同步方案。数据源的权限管理,详情请参见 RAM角色授权模式。

数据集成审批策略

背景信息 支持管理员按 源端、目的端 数据源的组合来定义需要被审批的数据集成任务,包括:在数据集成或数据开发页面保存任务等操作。例如,管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成任务审批策略,则开发...

ETL工具支持概览

阿里云的数据集成服务(Data Integration):阿里云提供的ETL工具。在数据集成服务中,将 AnalyticDB PostgreSQL版 配置为一个PostgreSQL数据库,即可实现其他数据源(RDS、MaxCompute、TableStore等)到 AnalyticDB PostgreSQL版 的数据...

使用DataWorks(离线与实时)

MaxCompute支持通过DataWorks 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute,也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...

集成与开发概览

DMS的数据集成与开发功能模块,针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎,支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务,能够...

审批中心概述

例如,管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成任务审批策略,则开发人员在保存相关任务时便会触发审批流程,只有完成权限申请后才能继续执行相关操作。当权限申请人在 安全中心 申请权限后,后续的流程如...

配置MySQL输入

DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的,实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL,如果需要同步DRDS的MySQL,请不要将DRDS的MySQL配置为MySQL数据源,您可以参考 配置DRDS...

配置RDS MySQL间的数据集成任务

本文以配置RDS MySQL间的数据集成任务为例,介绍数据集成任务的配置流程和注意事项。说明 新版DTS控制台暂不支持数据集成功能,您可以在数据管理DMS控制台配置离线集成任务,详情请参见 离线集成概述。支持全量数据迁移的数据源均支持数据...

独享资源组模式

DataWorks为您提供独享资源组模式,支持购买独享的机器资源组,来分配给工作空间中运行的任务。...单击右侧 数据集成资源组配置。在 数据集成资源组配置 对话框中,选择相应的 方案 和 资源组。在节点的编辑页面,单击工具栏中的 图标。

数据集成调度策略说明

DTS的数据集成功能可根据调度策略的配置,定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库(例如构建T+1的周期性数仓),本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...

迁移ECS自建MySQL数据库至MaxCompute

单击页面右侧 数据集成资源组配置,选中已购买的独享资源组。如果未切换任务资源组为数据集成独享资源,后续您的任务将无法成功运行。填写数据集成任务脚本内容如下。{"type":"job","steps":[{"stepType":"mysql","parameter":{"column":...

创建ClickHouse数据

ClickHouse数据源创建完成后,可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景中,各应用场景需要分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需要根据数据源的应用场景提前准备好对应的...

配置并管理实时同步任务

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏 数据集成,在下拉框中选择对应工作空间后单击 进入数据集成。在数据集成 首页 单击选择 同步任务,进入同步任务配置页面。选择来源类型MySQL、去向类型StarRocks,点击 开始创建...

迁移ECS自建MySQL数据库至MaxCompute

您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。详情请参见 配置资源组与网络连通。测试连通性通过后,单击 完成。创建MaxCompute表。您需要通过DataWorks...

技术架构选型

其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','...

技术架构选型

其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','...

使用DataWorks

MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时,您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...

创建AnalyticDB for PostgreSQL数据

AnalyticDB for PostgreSQL数据源创建完成后,可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景,各场景需分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需根据应用场景提前准备对应的资源组...

概述

消息流入能够在多种数据源(消息、Log日志、关系型数据和非关系型数据等)之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息...

概述

消息流入能够在多种数据源(消息、Log日志、关系型数据和非关系型数据等)之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息...

概述

消息流入能够在多种数据源(消息、Log日志、关系型数据和非关系型数据等)之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息...

配置SQLServer数据

您需要测试每个资源组的连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组,请选中相应资源组后,单击 批量测试连通性。详情请参见 配置资源组与网络连通。说明...

创建AnalyticDB for MySQL3.0数据

AnalyticDB for MySQL3.0数据源创建完成后,可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景,各场景需分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需根据应用场景提前准备对应的资源组并...

使用DataWorks同步数据

单击右侧 数据集成资源组配置,选择已经创建好的 独享数据集成资源组。保存并运行数据同步任务。单击工具栏中的 图标,保存数据同步任务。单击工具栏中的 图标,运行数据同步任务。验证同步结果 登录 云数据库ClickHouse控制台。在页面...

基于AnalyticDB构建企业数仓

创建离线同步任务 右键单击新建业务流程下 数据集成,选择 新建>离线同步。在 新建节点 对话框中,输入 节点名称,单击 提交。设置 数据来源 和 数据去向。选择字段的映射关系。左侧的源头表字段和右侧的目标表字段为一一对应关系。单击 ...

管理数据源权限

审批中心支持管理员按源端、目的端数据源的组合来定义需要被审批的数据集成任务。详情请参见 数据集成审批策略。进入数据源管理页面 进入管理中心页面。登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 管理中心,在下拉框中...

创建通用项目

安全设置 沙箱白名单 可添加该项目下集成任务用到的数据源、Shell、Python任务需要访问的IP地址或域名。访问地址:项目中任务需要访问的地址信息。端口:填写需要访问地址的端口信息,支持通配符(*)。描述:填写访问地址的简单描述。说明...

创建标签项目

贴源层:通常用来储存从业务系统集成的原始数据,为后续的加工与开发作为数据的来源。应用层:面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标。通用层:通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...

数据集成权限列表

本文为您介绍数据集成的操作权限列表。符号说明 Y 表示该角色有此功能权限;N 表示该角色无此功能权限;表示该角色与此功能权限无关。更多角色说明 自定义项目角色是Dataphin基于产品的功能,对数仓规划、数据集成、数据开发、项目资产权限...

SmartData常见问题

JindoFS缓存模式和Block模式可以利用集群本地磁盘或内存来缓存数据,对于新写入的数据和重复读取的数据具有显著加速效果。在同样集群条件下,对于Spark或Hive分析计算,跟HDFS相比集群吞吐是相当的,甚至优于HDFS。JindoFS写性能如何?因为...

应用场景

推荐搭配使用 RDS+Quick BI 报表与自有系统集成 某运输公司期望用最低成本,最快速度搭建一个可展示、可分析的简易BI,能迅速将公司重要业务数据集成展现在公司的管理系统中,为各业务线和各区域的人员提供数据支持。Quick BI解决了用户的...

快速体验

数据开发 使用DataWorks 数据集成 功能,将其他数据源中的数据同步到MaxCompute中。使用DataWorks的 数据开发 功能,将同步到MaxCompute中的数据进行清洗加工,并将结果数据写入MaxCompute表中。说明 RDS MySQL作为本次实验中存储原始...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用