DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
创建同步任务
配置离线同步任务，当您选择使用多个数据库时，则每个数据库均需要配置一个数据源。认证选项 选择 无认证。备库设置 如果数据源具备只读实例（备库），可以在配置任务时开启 备库设置，并选择备库ID。设置备库的优势是防止干扰主库，不影响...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
创建数据流
数据库：配置项 描述 数据库类型 选择输出数据的目标数据库类型。数据库 搜索并选择输出数据的目标数据库。说明 如果数据库未登录，在 登录实例 对话框中，输入 数据库账号 和 数据库密码 登录数据库。表名 选择或输入数据流输出数据的目标...
MySQL分库分表同步至Hologres（方案1.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
宜搭创建大屏实操
配置轮播饼图组件 配置轮播饼图组件的操作步骤如下：在画布编辑器中选择表示 客户引入渠道 的 饼图 组件，在组件的右侧面板中，选择 数据 面板，单击 配置数据源，选择 宜搭数据源，并单击 进入配置。在 图表数据配置 对话框中，将 数据集 ...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
负载均衡
在 基本信息 页面的 数据库代理企业通用版 或 数据库代理企业独享版 区域，单击 数据库代理服务配置。在 数据库代理服务配置 对话框中，根据业务需求为每个节点配置不同的权重。配置完成后，单击 确定。配置地址维度权重 登录 PolarDB控制...
Kafka单表实时入湖OSS（HUDI）
说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享数据集成资源组的网络连通，无需特殊配置。添加数据源 新建Kafka数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示新建Kafka数据源。...
MySQL分库分表同步至Hologres（方案2.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
全增量实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
使用ACM简化Spring Cloud微服务环境配置管理
在本文中，以测试和生产环境下连接不同的数据库、配置不同的数据源（包括连接池）参数为例，介绍了如何搭配使用阿里云配置中心ACM与Spring Cloud，帮助您在微服务架构中简化环境配置管理。迁移到MSE Nacos ACM进入下线状态，所有配置管理...
MySQL整库离线同步到OSS
已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源...
通过脚本模式创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情，请参见 数据集成支持的数据源。步骤一：创建离线脚本 在Dataphin首页，单击顶部菜单栏的 ...
通过脚本模式创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情，请参见 离线集成支持的数据源。步骤一：创建离线脚本 在Dataphin首页，单击顶部菜单栏的 ...
配置离线数据集成节点
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
使用SSMS迁移上云
本文以Azure SQL Database为例，介绍如何使用SQL Server Management Studio（SSMS）将您本地自建或其他云的SQL Server数据库迁移到 RDS SQL Server。前提条件 已创建存储空间大于源库的目标 RDS SQL Server 实例，且 RDS SQL Server 实例需...
源库连接性检查
如果源数据库为Oracle，那么检查源数据库的配置文件 sqlnet.ora。如果配置项 TCP.VALIDNODE_CHECKING 为 yes，说明源数据库限制了访问来源IP。修复方法 如果源数据库为自建MySQL，您可以在源数据库中执行以下命令为数据迁移使用的数据库...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
云平台配置检查常见问题
例如，检查数据库访问控制白名单、自动备份功能、日志审计功能、访问控制策略等。基线检查：通过对服务器进行基线检测，获取服务器在基线配置和应用上存在的风险和缺陷，提供风险告警和修复建议。例如，检测数据库登录账号弱口令、基于阿里...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
通过单条管道创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在配置离线单条管道过程中，为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见：支持的数据源。步骤一：创建离线单条管道 ...
通过单条管道创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在配置离线单条管道过程中，为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见：数据集成支持的数据源。步骤一：创建离线单...
Check节点
前提条件 Check节点基于数据源进行校验，使用Check节点前，需先创建对应数据源，具体如下：MaxCompute分区表 已创建MaxCompute数据源并绑定至数据开发（DataStudio）。在DataWorks中，您需要先将MaxCompute项目创建为DataWorks的MaxCompute...
错误检查
检查数据源的实体模型是否存在，如果是逻辑流数据源，还判断逻辑流返回的实体模型是否匹配 dataModelCheck='dataModelCheck',/检查数据库数据源中过滤字段都在实体内有定义 dataSourceFilter='dataSourceFilter',/检查数据库数据源中排序...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
配置任务常见错误码及排查方法
DTS.Msg.EcsJoinSecurityGroupLimitExceeded 配置数据源为 ECS自建数据库 的任务时。原因：ECS实例的安全组超过五个。解决方法：请根据业务需求并参考 移出安全组，移出ECS实例中多余的安全组后重试。说明 若由于业务需求安全组均无法移出...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
配置检查项
配置检查项 在 检查项配置 页面，您可从研发、存储、计算、质量、安全等不同维度查看当前登录账号下指定工作空间的检查项信息，并配置检查项的生效情况及相关参数。主要配置说明如下：设置生效检查环节：可配置文件在代码运行、提交、发布...
测试与发布API
检查配置的字段类型是否与数据源的字段类型不一致。DPN-OLTP-ENGINE-017 Redis缓存异常。请提交 工单，或联系Dataphin的支持人员协助处理。DPN-OLTP-ENGINE-018 跨数据源不支持。无。DPN-OLTP-ENGINE-019 数据类型编码或者转换失败。请提交...
- 产品推荐
- 这些文档可能帮助您