RDS MySQL同步至PolarDB MySQL版
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。通过云企业网CEN接入的自建数据库。...
RDS MySQL同步至PolarDB MySQL版
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
添加数据
在 设置数据源 页面，选择 数据源类型 为 数据库。在 选择已有数据源 列表中，选择一个数据库。说明 如果没有可选的数据库，您可以单击 新建，按照系统提示，新建一个数据库。详情请参见 配置数据源。在 SQL 编辑区域，输入以下SQL脚本。...
数据库采集
说明 建议在业务低峰期采集数据库数据，通常业务低峰期采集只需要较短时间就可以完成采集。采集器对CPU要求不高，如果涉及到数据库对象的getddl操作，采集开始时CPU负载会有一些增加，负载增加量取决于源数据库规格和当前负载。采集器对源...
添加宜搭数据源
在 设置数据源 页面中，选择 数据源类型 为 宜搭数据源。在 选择已有数据源 列表中选择一个配置完成的宜搭数据源。单击下方的 进入配置，打开 图表数据配置 对话框。在对话框左上角的 数据集 列表中选择一个目标数据集，选中后在下方 字段 ...
配置MySQL输入
已配置数据同步资源组与数据库的网络连通，详情请参见 配置资源组与网络连通。使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL...
自定义RDBMS数据库及同步数据
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 非必填，配置数据源的标签分类。生产数据源 或 生产+开发数据源 链接地址 填写数据源的链接地址。链接地址的格式为：jdbc:mysql:/{Public ...
自定义RDBMS数据库及同步数据
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 非必填，配置数据源的标签分类。生产数据源 或 生产+开发数据源 链接地址 填写数据源的链接地址。链接地址的格式为：jdbc:mysql:/{Public ...
适配组件数据
如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。具体配置API数据源时，是否选中 服务器代理请求 等操作，详情请参见 如何配置跨域数据。操作...
数据服务
数据源需要在 工作空间管理>数据源管理 页面进行配置。配置完成后，数据服务会自动读取数据源信息。详情请参见 配置数据源。数据服务是否支持MaxCompute（ODPS）数据源？数据服务不支持直接连接MaxCompute（ODPS）类型的数据源，您需要通过...
RDS MySQL与PolarDB MySQL版间的双向同步
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。通过云企业网CEN接入的自建数据库。...
配置DataV数据源
在 设置数据源 页面中，选择 数据源类型 为 数据库，已有数据源 为您前面步骤中创建的数据源。在SQL输入区域输入以下SQL语句。SELECT c1,c2 FROM mytable 单击 预览数据源返回结果，查看数据源返回结果。最终组件显示效果如下图所示。
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
RDS MySQL迁移至PolarDB-X 1.0
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL实例。以下类型的自建数据库：有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自...
创建数据源
本文为您介绍如何创建数据源，您可以添加文件类数据源，也可以针对 DB 类创建数据源。创建文件类数据源 登录资金安全监控控制台，在左侧导航栏单击 数据源。在 数据源 页面上，单击 新建数据源。在 新建数据源 页面上，输入以下配置信息：...
RDS MySQL迁移至PolarDB-X 2.0
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。以下类型的自建数据库：有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的...
RDS MySQL同步至云原生数据仓库 AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
RDS MySQL同步至PolarDB-X 2.0
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。通过云企业网CEN接入的自建数据库。...
管理数仓规划待发布对象
映射并更新配置：导入的数据源对象与当前同名同类型的目标环境数据源对象进行映射并更新目标环境数据源配置为导入的数据源对象配置。说明 若命中替换规则，数据源的配置将根据替换规则进行替换。仅映射不修改配置：导入的数据源对象与当前...
管理数仓规划待发布对象
映射并更新配置：导入的数据源对象与当前同名同类型的目标环境数据源对象进行映射并更新目标环境数据源配置为导入的数据源对象配置。说明 若命中替换规则，数据源的配置将根据替换规则进行替换。仅映射不修改配置：导入的数据源对象与当前...
添加宜搭数据源
在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。在 添加数据源 对话框中，类型 选择 宜搭数据源。填写宜搭数据源相关信息。参数 说明 自定义数据源名称（必填）数据源的显示名称。应用编码（必填）宜搭应用...
创建Hologres数据源
若您要使用DataWorks进行Hologres任务的开发、管理，需先将您的Hologres实例创建为DataWorks的Hologres数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提...
创建ClickHouse数据源
若您要使用DataWorks进行ClickHouse集群任务的开发、管理，需先将您的ClickHouse集群创建为DataWorks的ClickHouse数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接ClickHouse集群，进行相应的数据同步、数据开发、数据分析...
Quick BI
您可以使用外网或VPC网络连接 云数据库ClickHouse，在Quick BI中添加 云数据库ClickHouse 数据源并通过Quick BI构建BI系统。本文介绍如何在Quick BI中添加 云数据库ClickHouse 数据源。前提条件 已创建 云数据库ClickHouse 集群。具体操作...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
MySQL整库实时同步至OSS数据湖
配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源、OSS数据源的网络连通测试。不同网络环境下的网络连通方案可参见：配置资源组与网络连通。数据源相关能力...
元数据采集
当您需要采集已开启白名单访问控制的数据源的元数据时，则需要提前配置好数据库的白名单权限。详情请参见 元数据采集的数据源有白名单访问控制时需要配置的白名单。DataWorks目前不建议跨地域采集元数据，即DataWorks所在的地域需要与数据...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
使用DataWorks同步数据
背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提条件 已创建工作空间，引擎服务选择为MaxCompute。如何创建，请参见 创建工作...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
数据集成服务
如果要进行数据导入操作，则目标数据源为表格存储数据源，源数据源为其他数据源（例如MySQL数据源、MaxCompute数据源）或者表格存储数据源。如果要进行数据导出操作，则源数据源为表格存储数据源，目标数据源为MaxCompute数据源或者OSS数据...
创建数据流
支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL、PolarDB ...
宜搭创建大屏实操
在散点层 数据 面板中的 设置数据源 模块，勾选 数据过滤器，添加一个数据过滤器，并按如下图方法配置数据过滤器的代码。代码示例如下：data.forEach(item=>{ item.type="ok"} 过滤器内容配置完成后，散点层数据中将筛选出符合过滤要求的...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
Quick BI数据可视化
本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请参见 申请和释放公网地址。已获取 云数据库 SelectDB 版 的用户名和密码。操作步骤 登录 Quick BI控制...
- 产品推荐
- 这些文档可能帮助您