配置目标节点
说明 当数据解析的数据源为API数据源时，您需在目标节点的上一节点增加一个名为 ts 的字段。该字段为Unix的毫秒时间戳，表示该条数据产生的时间点。后续步骤 目标节点配置完成后，您需对数据解析任务进行调试和发布。具体操作，请参见 启动...
添加AnalyticDB for PostgreSQL数据源
本文为您介绍在DataV中添加AnalyticDB for PostgreSQL数据源的方法。前提条件 已准备好待添加的AnalyticDB for PostgreSQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 ...
添加RDS for SQLServer数据源
本文为您介绍在DataV中通过内网和外网添加RDS for SQLServer数据源的方法。前提条件 已准备好待添加的RDS for SQLServer数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
添加RDS for MySQL数据源
本文为您介绍在DataV中添加RDS for MySQL数据源的方法。前提条件 已准备好待添加的RDS for MySQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。从 ...
通用参考：添加路由
数据源和DataWorks工作空间使用不同阿里云主账号或不在同一个地域时，选择 路由至IDC网络。路由至其他VPC网络 登录 DataWorks控制台。在左侧导航栏，单击 资源组列表。单击已购买的独享调度资源组后的 网络设置，默认进入 专有网络绑定 页...
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
DataWorks数据集成
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息，请参见 数据集成（Data Integration）和 支持的数据源与读写插件...
添加AnalyticDB for MySQL数据源
本文为您介绍在DataV中添加AnalyticDB for MySQL数据源的方法。前提条件 已准备好待添加的AnalyticDB for MySQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。在 类型 列表中...
新增和使用独享数据集成资源组
如果您的数据源无法通过IP直接访问，例如，数据源通过Host的域名托管，通过Host域名直接被外部访问时，您需要参考以下步骤配置Host，否则在添加数据源时，使用数据源的Host域名进行连通性测试时会失败。单击 Host配置，在Host配置页面左上...
Kafka实时ETL同步至Hologres
网络与资源配置：在下拉框中分别选择已创建的Kafka数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Kafka来源信息。单击页面上方的 Kafka来源，编辑Kafka来源信息。配置Kafka...
添加RDS for PostgreSQL数据源
本文为您介绍在DataV中添加RDS for PostgreSQL数据源的方法。前提条件 已准备好待添加的RDS for PostgreSQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，...
DataV连接
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过 DescribeDBInstanceNetInfo-查看实例的连接地址信息 接口获取DataV需要的 AnalyticDB PostgreSQL版 VPC实例ID。域名 ...
数据源白名单配置
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表为阿里云数据库IP白名单设置的操作指引，您可根据阿里云的产品名称查看对应操作...
添加RDS for SQLServer数据源
本文为您介绍在DataV中通过内网和外网添加RDS for SQLServer数据源的方法。前提条件 已准备好待添加的RDS for SQLServer数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型...
添加RDS for MySQL数据源
本文为您介绍在DataV中添加RDS for MySQL数据源的方法。前提条件 已准备好待添加的RDS for MySQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 RDS for ...
配置解析器
云产品流转功能通过配置数据流转解析器关联数据源（设备Topic消息）和数据目的（其他Topic、业务服务器或其他阿里云产品），使用解析脚本实现设备消息转发。本文介绍设置数据流转解析器的完整操作步骤，依次是创建解析器、关联数据源和数据...
MySQL节点
标准模式工作空间下，MySQL节点选择数据源时，无法下拉选择只配置开发环境但未配置生产环境的数据源。所以创建MySQL数据源时，您需要同时配置开发环境与生产环境的数据源。使用限制 MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源...
Spark常见报错
报错原因：Spark作业中配置的弹性网卡无法访问指定的数据源。常见于访问RDS MySQL数据源和HDFS数据源的场景。解决方法：检查当前Spark作业中指定交换机的IP地址段是否在数据源的白名单配置中。若不在，则需配置数据源的白名单。例如：访问...
LogHub（SLS）实时ETL同步至Hologres
网络与资源配置：在下拉框中分别选择已创建的LogHub数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保证资源组与数据源之间的网络连通性。配置SLS来源信息。单击页面上方的 SLS来源，编辑SLS来源信息。选择需要同步的...
新增和使用独享数据服务资源组
网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...
DataWorks资源组概述
网络 无法保证网络连通，包括但不限于以下场景：数据源处于公网环境中，但数据源有白名单设置，限制了未知IP的访问。数据源处于阿里云VPC网络环境中。可通过网络配置连通复杂的网络环境。详情请参见：独享调度资源组。任务执行时效性要求 ...
访问外部数据源
绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后，您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景，如果多...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
目标端 如果您已新建 OceanBase 数据库 MySQL 租户数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 新建数据源，在右侧对话框进行新建。参数详情请参见 新建 OceanBase 数据源。重要 目标端不支持 OceanBase 数据库 MySQL...
配置数据源
前提条件 为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法正常执行数据服务的相关任务。公共资源组网络配置，请参见 获取白名单IP地址：公共资源组。独享服务资源组网络配置，请参见 获取白...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
配置任务常见错误码及排查方法
DTS.Msg.EcsJoinSecurityGroupLimitExceeded 配置数据源为 ECS自建数据库 的任务时。原因：ECS实例的安全组超过五个。解决方法：请根据业务需求并参考 移出安全组，移出ECS实例中多余的安全组后重试。说明 若由于业务需求安全组均无法移出...
通过直连数据源模式创建API
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连API模式生成API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 API创建方式选择 对话框。在 ...
创建元数据
背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源，基于这三种数据源创建服务单元时无法直接读取到数据源的数据，因此在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据。...
配置资源组与网络连通
配置网络连通 步骤一：网络绑定 网络连通方案选择取决于数据源与DataWorks工作空间（独享资源组，即同步机器）间的环境关系，包括以下场景：同步网络选择 数据源所在环境 数据源与DataWorks工作空间关系 网络连通通用逻辑 配置示例 通过 ...
新建 DataHub 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 DataHub 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
创建数据解析任务
物联网数据服务支持数据解析功能，对数据源数据进行预处理，用于更深层次地挖掘数据价值。本文介绍创建数据解析的具体步骤。前提条件 已备份设备数据源或创建API数据源，更多信息，请参见 配置数据源。背景信息 数据解析功能说明，请参见 ...
内网DNS解析简介
内网DNS解析（Private DNS）服务是原“云解析PrivateZone”产品的全新升级，是阿里云解析DNS产品面向企业内网场景（主要为阿里云VPC内网场景）提供的完整DNS解析服务，涵盖内置权威、缓存、转发、递归等功能模块，为云上客户在VPC内网环境...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
详情请参见 PostgreSQL 数据源。已为目标端 OceanBase 数据库 Oracle 租户创建专用于数据迁移项目的数据库用户，并为其赋予了相关权限。详情请参见 创建数据库用户。如果您需要进行增量同步，请完成以下前置操作：增量同步时，数据传输不...
配置API数据源
重要 如果API数据源已应用于数据解析的源定义，删除API数据源将同时删除对应数据解析的数据源，请谨慎操作。更多信息，请参见 配置源定义。后续步骤 API数据源创建后，您可以使用数据解析功能，进一步处理、分析和利用数据。更多信息，请...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
源端 如果您已新建 OceanBase 数据库 Oracle 租户数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 新建数据源，在右侧对话框进行新建。参数详情请参见 新建 OceanBase 数据源。重要 源端仅支持 OceanBase 数据库 Oracle ...
数据源概述
数据源权限管控 完成数据源配置后，您可以对数据源进行分享与权限管控。DataWorks支持您在数据源管理页面，分享数据源权限给相应的工作空间或个人，并进入被分享的工作空间查看该数据源。您可以对数据源设置 可编辑、可查看 等权限控制。...
- 产品推荐
- 这些文档可能帮助您