配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
什么是私有模式的数据源?哪些用户能够收回数据源的分享权限?如何检查数据源分享关系的移除、关联情况?分享数据源后,其资源组的连通状态是否会被同步分享?分享数据源后,引用过该数据源的任务关联信息是否会被同步分享?哪些角色可以...
离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置,您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数,脚本模式的统一要求请参见 通过脚本模式配置离线同步任务,以下为您介绍脚本模式下的数据源的...
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。前提条件 您需根据后续要开发和调度...
如果您还没有Hologres类型的数据源,单击 新建,创建数据源。具体操作,请参见 创建Hologres数据源。表 选择Hologres数据源中的数据表。如果Hologres数据源中还没有数据表,则需要提前创建数据表。具体操作,请参见 表。写入模式 源数据源...
安全检测维度 安全检测项 检测对象 检测方式 数据源保护 数据源访问控制 说明 DataWorks支持对已配置的数据源设置访问权限,避免安全等级较低的人员访问安全等级较高的数据。DataWorks工作空间数据源 此安全检测项为你扫描哪些工作空间未对...
若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
附录:不同工作空间模式下,DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 ...
RAM角色授权模式 RAM角色授权模式 致力于提供安全性更高的数据源访问方式,并无需生成AK,能够有效地规避AK泄露的风险。在 RAM角色授权模式 下,您只需要授权DataWorks服务账号为具有访问OSS权限的角色,即可实现无AK访问OSS数据源。同时,...
MySQL节点报错:暂不支持MySQL节点驱动 问题描述添加MySQL数据源时,选择了非连接串模式创建的数据源,导致运行任务时失败,报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因出现上述报错通常都是选择了非连接串模式创建的...
离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置,您需要在任务脚本中按照脚本的统一格式要求编写脚本中的参数,脚本模式的统一要求请参见 通过脚本模式配置离线同步任务,以下为您介绍脚本模式下的数据源的Reader...
本实践中创建的数据源名为 doc_mysql1,详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请参见:数据源概述。已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组。已完成独享...
离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置,您需要在任务脚本中按照脚本的统一格式要求编写脚本中参数,脚本模式的统一要求请参见 通过脚本模式配置离线同步任务,以下为您介绍脚本模式下的数据源的Writer参数...
如果您配置离线任务时使用脚本模式的方式进行配置,您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数,脚本模式的统一要求请参见 通过脚本模式配置离线同步任务,以下为您介绍脚本模式下的数据源的Reader参数...
如果您配置离线任务时使用脚本模式的方式进行配置,您需要在任务脚本中按照脚本的统一格式要求编写脚本中的writer参数,脚本模式的统一要求请参见 通过脚本模式配置离线同步任务,以下为您介绍脚本模式下的数据源Writer参数的指导详情。...
说明 数据分析支持的数据源类型(包括引擎数据源和自建数据源),详情请参见 SQL查询支持的数据源。角色限制 租户管理员、租户安全管理员 角色权限,可对当前租户下所有工作空间的数据源进行授权。空间管理员 角色权限,仅支持授权用户所...
区域 描述 ① 筛选及搜索区 您可根据数据源的名称关键字进行搜索,可勾选 我管理的,筛选当前账号管理的数据源,也可根据数据源类型、环境、操作对象、操作人、权限类型、操作类型筛选数据源。② 导出区 查看导出记录:支持查看权限操作...
区域 描述 ① 筛选及搜索区 您可根据数据源的名称关键字进行搜索,可勾选 我管理的,筛选当前账号管理的数据源,也可根据数据源类型、环境、操作对象、操作人、权限类型、操作类型筛选数据源。② 导出区 查看导出记录:支持查看权限操作...
数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建,进入规划模块新建数据源。后续操作,详情请参见 创建Kafka数据源。说明 进行属性配置的账号需具备该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情...
数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建,进入规划模块新建数据源。后续操作,详情请参见 创建Kafka数据源。说明 进行属性配置的账号需具备该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情...
数据源名称 质量规则校验的数据源的名称。强/弱规则异常 强规则异常:强质量规则校验结果为异常的数量。弱规则异常:弱质量规则校验结果为异常的数量。执行状态 执行状态包含 成功、失败、执行中、等待中、已取消。调度信息 调度信息支持 ...
数据源名称 质量规则校验的数据源的名称。强/弱规则异常 强规则异常:强质量规则校验结果为异常的数量。弱规则异常:弱质量规则校验结果为异常的数量。执行状态 执行状态包含 成功、失败、执行中、等待中、已取消。调度信息 调度信息支持 ...
数据源名称 待检查的MaxCompute分区表所在的数据源。如果没有可用的数据源,您可单击 新建数据源 创建。创建MaxCompute数据源,详情请参见 创建MaxCompute数据源。表名 待检查的MaxCompute分区表。说明 仅支持选择所选数据源下的MaxCompute...
数据源列表提供当前环境中所有数据源的信息概览。您可以在 数据源管理 页面查看以下信息...如果当前环境中的数据源过多,您可以通过右上角的搜索功能,筛选数据类型或输入数据源名称,快速定位到想要的数据源。相关链接 编辑数据源 删除数据源
编辑数据源 在数据源列表,单击目标数据源 操作 列的 更多,选择 编辑,对除数据源类型外的数据源信息进行编辑。移除数据源 在数据源列表,单击目标数据源 操作 列的 更多,选择 移除,将数据源从列表中移除。测试连通数据源 在数据源列表...
编辑数据源 在数据源列表,单击目标数据源 操作 列的 更多,选择 编辑,对除数据源类型外的数据源信息进行编辑。移除数据源 在数据源列表,单击目标数据源 操作 列的 更多,选择 移除,将数据源从列表中移除。测试连通数据源 在数据源列表...
该API内部实现为异步调用发布,只有返回数据中的校验状态为通过的数据(即 SubmitPublishResult.status=true),才会进入异步发布流程,每次发布结束之后会生成发布记录,发布的结果需要从ListPublishingHistory(发布记录列表)中获取。...
数据源列表 页面为您展示所有已创建的数据源及其基本信息,包括 数据源标识、数据源类型、数据源来源、用户名 和数据源的 创建时间。您可以在操作列单击 测试连接,检查数据库的网络连接情况。以及进行复制、编辑和删除数据源的操作。在 ...
如果确认数据源已无用、可删除,您可以在 ...操作步骤 在 数据源管理 页面,从数据源列表中找到要删除的数据源。单击该数据源右侧操作列下的 删除 按钮。在弹出的确认窗口中,选择 确定,即可删除该数据源。相关链接 新建数据源 编辑数据源
如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
数据源支持跨工作空间分享,分享规则如下:从简单模式工作空间分享至简单模式工作空间:源端的简单模式工作空间升级为标准模式工作空间时:源工作空间会分享生产环境的数据源。目标简单模式工作空间升级为标准模式工作空间时:数据源变为两...
数据源管理 在数据源列表中查看、编辑和移除创建的数据源。查看数据源 数据源列表中,支持如下操作:操作项 说明 数据源名 显示数据源的名称、类型、实例 ID、租户 ID 和数据库用户名信息。单击数据源名称支持管理其中的数据库、会话和回收...
DataWorks的数据源用于连接不同的数据存储服务。在配置数据集成同步任务之前,您需要首先定义好同步任务的源端和目的端数据源信息,以便在配置同步任务时,能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您...
如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
鼠标hover在需要编辑的数据源上,单击 图标。修改后,单击 Enter 键即可。编辑数据源 登录 DataV控制台。在 功能导航 模块单击 数据源,进入数据源管理页面。鼠标hover在需要编辑的数据源上,单击 图标。以MySQL数据源为例,不同的数据源...
如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
EMR Workflow的数据源中心支持配置数据源,以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
若您想在DataWorks操作您的数据库或数据仓库(例如,MaxCompute项目数据),需先在DataWorks的数据源管理页面,将数据库或数据仓库创建为DataWorks的数据源,并将该数据源绑定至DataWorks相应的功能模块使用。例如,同步MaxCompute数据前,...