MySQL分库分表同步至MaxCompute
步骤二：网络与资源配置 源端选择环境准备步骤中已创建的数据源，目标数据源为步骤一的MaxCompute数据源。并测试连通性。说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤...
MySQL分库分表同步至MaxCompute
步骤二：网络与资源配置 源端选择环境准备步骤中已创建的数据源，目标数据源为步骤一的MaxCompute数据源。并测试连通性。说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤...
Echarts 网络图
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
一键实时同步至Elasticsearch
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
整库离线同步至OSS
同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
新建 PolarDB-X 2.0 数据源
建议您为数据迁移或数据同步项目创建单独的数据库用户，详情请参见 管理数据库账号。密码 数据库用户的密码。备注（可选）数据源的备注信息。单击 测试连接，验证数据传输和数据源的网络连接，以及用户名和密码的有效性。待数据源测试连接...
一键实时同步至Kafka
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
添加白名单
前提条件 您需保障数据源与数据集成资源组间的网络时连通状态：如果您目前需要连通的数据库网络较复杂（不是同步同阿里云账号下同Region的数据库），您需要根据数据集成资源组网络能力来选择合适的方案访问您特殊场景下的数据库，详情可...
新建 Kafka 数据源
VPC 内部署/跨网络部署 跨网络部署是指源端和目标端数据源位于不同的网络（包含不同的 VPC 或云服务供应商）。请根据业务需求，选择 VPC 内部署 或 跨网络部署，并在 交换机 下拉列表中选择 Kafka 服务所有 bootstrap server 和 broker ...
新建 PolarDB-X 1.0 数据源
建议您为数据迁移或数据同步项目创建单独的数据库用户，并且需要在底层的 RDS 内部也创建相同的用户名和密码。详情请参见 账号管理。密码 数据库用户的密码。重要 您需要在底层的 RDS 内部也创建相同的用户名和密码。备注（可选）数据源的...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
网络连通与白名单配置
11.192.167.0/24,47.102.181.0/24,47.102.234.0/24 获取白名单IP地址：独享数据服务资源组 独享数据服务资源组支持访问公网环境、阿里云VPC网络环境、IDC网络环境下的数据源。下表将为您介绍不同网络环境下如何进行网络配置，以确保独享...
独享资源组模式
DataWorks为您提供独享资源组模式，支持购买独享的机器资源组，来分配给工作空间中运行的任务。...单击右侧的 数据集成资源组配置。在 数据集成资源组配置 对话框中，选择相应的 方案 和 资源组。在节点的编辑页面，单击工具栏中的 图标。
离线同步任务运维
任务发布至生产调度系统前，默认访问任务配置所用数据源对应的开发环境指定的数据库或数据仓库。任务发布至生产调度系统后，默认访问任务配置所用数据源对应的生产环境指定的数据库或数据仓库。关于数据源开发生产隔离机制，详情请参见：...
一键实时同步至DataHub
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
支持的数据库
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互。本文详细介绍DTS支持的数据库、迁移类型、同步初始化类型、同步拓扑和支持订阅的数据类型。说明 关于文中涉及的迁移类型、同步类型、订阅的数据...
一键实时同步至Hologres
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
MySQL分库分表同步至Hologres（方案1.0）
步骤二：配置网络连通 源端选择已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认Hologres数据源。并测试连通性。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 ...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
一键实时同步至MaxCompute
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
一键实时同步至MaxCompute
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
新建 RocketMQ 数据源
VPC 内自建 RocketMQ 实例对于网络的处理：安装 RocketMQ 实例的 ECS 的安全组需要添加对应 VPC 的网段，放开 RocketMQ 实例的 namesvr 和 broker 的所有端口。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源...
Sqoop概述
将HDFS数据导入MySQL 创建好对应HDFS中的数据结构的MySQL表后，在集群的Master节点上执行如下命令。sqoop export-connect<dburi>/<dbname>-username<username>-password<password>-table<tablename>-export-dir参数 描述 dburi 数据库的...
配置回流数据源
配置从微信、社交互动模块、会员中台模块 回流到Quick Audience的数据的存储位置。操作步骤：单击页面右上角，选择 组织管理>接口管理。回流数据源设置：单击 编辑，设置回流数据源，然后单击 保存。微信回流数据源：用于存储回流的微信...
ElasticSearch
使用DDI读写ElasticSearch数据源 打通DDI集群与ElasticSearch数据源的网络 登录到 Elasticsearch管理控制台。点击上部选择实例所在 region。点击实例ID进入实例详情页面。查看 基本信息 找到对应的VPV和VSwitch。登录到 Databricks数据洞察...
应用场景
社交网络 社交网络是图经典应用场景之一，图可以轻松处理庞大的社交关系，构建复杂的社交网络。知识图谱 图计算引擎可支持各领域知识图谱的快速构建，存储千亿级知识，提供毫秒级的查询响应。电商&金融风控 风控是图计算最常见应用场景之一...
应用场景
社交推荐 图数据库GDB可以轻松应对海量高度互连社交数据的实时存储和高效查询，帮助您快速构建复杂的社交网络系统。例如，在一个典型的社交网络中，常常会存在“谁认识谁，谁上过什么学校，谁常住什么地方，谁喜欢什么餐馆”等查询，传统...
Salesforce社交营销邀测发布
5）外部营销数据导入：帮助您将外部的数据导入进 Social Messaging 中，利用这些数据可以新增或更新您的客户数据。6）内容管理：帮助您归类重复的素材，并且集成到其他的功能模块中，包含：图片、音频、视频、文件。产品文档 ...
应用场景
写密集、统计和分析型工作 Cassandra是为优异的写吞吐量而特别优化的，能够支持很高的多客户线程并发写性能和突发的峰值，这些特性使得Cassandra能够很好支持写多于读的场景，例如用户状态更新、社交网络、建议/评价以及应用统计等。...
配置VPC数据源
通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是专有网络。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，...
创建MySQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
在EMR上使用Sqoop与数据库同步数据时的网络配置
如果您的E-MapReduce（EMR）集群需要和集群之外的数据库同步数据，确保网络是联通的。本文以RDS、ECS自建和云下私有数据库三种情况为例，分别介绍如何配置网络。云数据库RDS Sqoop是用map任务同步数据，可以在任意节点上运行，而Sqoop任务...
访问外部数据源
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
通用参考：添加路由
如果您的数据源已开启白名单，或者所在安全组有端口访问限制，请确保已经允许独享资源组的弹性网卡IP访问。获取独享资源组相关白名单详情请参见 使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。请确保数据存储服务正常运行，...
资源组操作及网络连通
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
- 产品推荐
- 这些文档可能帮助您