功能特性
资源调度 管理集群 混合部署 支持应用与数据库混合部署 MyBase托管版开放了数据库实例所部署主机的一部分OS权限，在实例主机上，您可以自主部署应用程序，实现应用与数据库的混布效果，从而达到就近访问、提升资源利用率的效果，同时满足...
原理优势
主要包括如下方面：更加灵活的资源调度 更加丰富的权限开放 更低的使用成本 更加强大的企业级数据库服务 更加灵活的资源调度 您可以在集群内部按照业务实际情况进行资源调度，最大化使用集群的主机资源。在初始创建集群时，提供紧凑分配和...
独享资源组
独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时，需要使用独享调度资源组，独享调度资源组的使用详情请参见 新增和使用独享调度资源组。独享数据集成资源组使用场景 如果您需要同步VPC...
资源组操作及网络连通
操作前，您可以先根据 配置资源组与网络连通 文档，选择对应的网络连通解决方案，连通方案核心点为：如果您使用公网同步跨地域（Region）的数据库，您需要将独享资源组本身的EIP添加到数据库白名单列表中，详情请参见：使用独享数据集成...
云原生能力
越来越多的客户使用云资源的方式已经在发生了改变，从应用到数据库都在向充分地利用云资源弹性、低成本等优势的方向发展，为了更好地支撑业务升级、架构升级，数据库也必然要进行升级。快速弹性 如上所述，借助于计算与存储分离的架构，...
MyBase与自建数据库对比优势
MyBase与自建数据库对比 数据库特性 云数据库专属集群MyBase 自建数据库 高可用 提供高可用性保障，宕机自动切换、修复。需要单独购买高可用系统。资源超配 提供CPU、内存、硬盘超配，突破主机固有资源限制，在合理的资源超配上有效降低...
数据源中心
数据库名 是 输入连接HIVE/IMPALA的数据库名称。j dbc连接参数 否 用于数据源连接的参数设置。格式为 {"key1":"value1","key2":"value2".}。测试连通性 否 添加数据源时支持使用调度资源组测试连通性。说明 如果工作流中使用了该数据源，...
什么是云数据库专属集群MyBase
以集群形式，MyBase 可提供资源调度、主机管理、实例管理三大功能：资源调度：您可以通过资源视角配置超配比，充分利用资源。资源分为CPU、内存、存储空间、IOPS、网络流量等多个维度。主机管理：主机是 MyBase 的资源载体，管理主机包括...
GPU节点调度属性标签
标签值切换 使用kubectl label切换标签值存在的问题 当一个GPU节点从一种GPU资源调度能力A切换到另一种GPU资源调度能力B时，直接使用 kubectl label 命令会引发如下的一些问题：该GPU节点上可能还存在使用GPU资源的应用，这些应用是以A功能...
关键特性
由于业务的高速发展，云数据库的综合能力需要进一步发展，提升运维效率，从而满足业务新需求。本文介绍专属集群 MyBase 的关键特性。MyBase产品关键特性 企业级数据库内核 专属集群 MyBase 对开源数据内核进行了大量增强和优化，详情请参见...
数据集成：全领域数据汇聚
数据集成资源组与网络连通 如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和数据集成资源组间的网络打通。DataWorks当前支持使用独享数据集成资源组或自定义数据集成资源组，不同资源组的属性与适用场景不同，网络连通方案...
DataWorks按量计费概述
公共调度资源组、公共数据集成资源组、公共数据服务资源组 为共享资源池，高峰期可能出现实例等待无法调起、同步任务线程数分配不足、API调用执行异常及限流 的情况。如果需要保证并发任务运行，请购买 独享调度资源组，独享数据集成资源组...
使用公共资源组
打通网络时，如果您需要公共资源组机器的相应信息，请参见 附录：ECS自建数据库的安全组配置 和 添加白名单。说明 在保证其它任务没有使用公共资源组的前提下，一个数据集成任务的公共资源组最多支持5个并发。在实际执行任务时，资源可能会...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
计费逻辑说明
访问复杂网络环境数据库 访问复杂网络环境下的数据库，请选择独享数据集成资源组。网络解决方案详情请参见 配置资源组与网络连通。实时同步数据 实时同步数据，需要使用独享数据集成资源组。调度费用 数据集成离线任务通过调度系统下发至...
通用参考：按量付费转包年包月
说明 切换数据集成任务使用的资源组时，请先确认切换后的资源组与数据库网络可连通。若资源组切换后由于网络问题导致任务失败，请参考 配置资源组与网络连通 对资源组进行网络配置。切换任务配置时的默认资源组 您需要进入数据开发界面，在...
独享资源组模式
如果数据库有白名单访问控制，请参考以下部分为数据库添加对应的白名单：获取独享资源组EIP、独享资源组绑定的专有网络IP及数据源的网络环境的方式，请参见 使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。绑定成功后，如果...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
离线同步任务运维
任务发布至生产调度系统前，默认访问任务配置所用数据源对应的开发环境指定的数据库或数据仓库。任务发布至生产调度系统后，默认访问任务配置所用数据源对应的生产环境指定的数据库或数据仓库。关于数据源开发生产隔离机制，详情请参见：...
通用参考：切换资源组
若要设置任务默认调度资源组及数据集成资源组，可在数据开发 设置>调度设置 面板操作。详情请参见 调度设置。注意事项 您可通过切换资源组切换调度任务所使用的资源组，根据周期任务新生成的实例会运行在切换后的资源组上，但该操作默认对...
整库离线同步至OSS
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
Workflow新功能发布记录
扩缩容调度资源组 调度资源组监控 新增资源调度资源组监控功能，您可以在控制台上，查看在资源组上运行的任务数、资源组CPU消耗及内存消耗情况。查看调度资源组利用率 支持StarRocks数据源 数据源中心支持添加StarRocks数据源，您可以在SQL...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
计费方式
非DataWorks的收费 除上述DataWorks相关收费外，也可能会产生由数据同步任务相关配置引起的账单和费用，如同步上下游数据库、计算引擎系统计算和存储费用，所需网络服务费用（如高速通道、共享带宽、EIP）等等，此类收费不属于DataWorks...
创建ClickHouse数据源
您可登录 云数据库ClickHouse控制台，获取相关数据库及端口信息。用户名 访问ClickHouse集群的用户名。密码 访问ClickHouse集群的用户密码。认证选项 选择后续访问ClickHouse集群时是否需要SSL认证。开启该认证服务后，ClickHouse数据源不...
系统管理
上传数据至EMR Hive、Hologres引擎：仅支持使用独享资源组（即 数据分析>系统管理 相应引擎必须配置为独享调度资源组和独享数据集成资源组）。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源...
基于AnalyticDB构建企业数仓
独享数据集成资源组 选择任务运行的机器，如果任务数比较多，使用默认资源组出现等待资源的情况，建议购买独享数据集成资源或添加自定义资源组，详情请参见 新增和使用独享数据集成资源组 和 新增和使用自定义数据集成资源组。单击右侧的 ...
调度集群管理概述
Dataphin支持连接不同调度集群，并将所有集群可用于调度的资源进行统一管理，使每个租户可以使用不同集群的资源用于创建自定义资源组，从而解决跨Region数据传输以及资源隔离等问题。使用限制 当前仅支持基于最新架构部署的客户使用调度...
MySQL节点
配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL数据库添加独享调度资源组对应的白名单，获取独享调度资源组白名单，详情请参见：添加白名单。测试连通性 您可前往 配置MySQL数据源 页面，在 资源组连通性 区域选择 任务调度，...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
新增和使用独享调度资源组
说明 如果您暂无连通数据库实例的需求，只是为了缓解因公共调度资源组的资源紧张，导致任务延迟的问题，则无需关注本文涉及的网络相关问题。您可以购买任意可用区的独享调度资源组，且无需进行网络相关配置操作。您需要先了解独享调度资源...
独享调度资源组
在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。适用场景 对任务时效性要求高，避免公共资源组资源争抢导致任务延时...
管理Redis集群
背景信息 关于 专属集群MyBase 的更多介绍，请参见 什么是云数据库专属集群MyBase。查看 专属集群MyBase 信息 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在 集群列表 页，查看专属集群信息，或者将信息下载到本地。默认...
离线同步任务调优
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
配置资源属性
配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 调度资源组 下拉框，选择任务调度时需要使用的资源组，默认配置为 公共调度资源组。说明 如果需要修改新建任务默认...
等待资源
一个数据集成任务将占用一个调度资源，若任务长时间未运行成功，可能将阻塞其他任务运行。等待运行中的任务执行完成释放资源，或者对独享数据集成资源组进行扩容。您可以通过以下方式查看资源信息。说明 数据集成任务等待资源组，可参考 离...
使用DataWorks同步iGraph数据
配置资源属性：用于定义调度场景下，将当前任务下发至数据集成任务执行资源时所使用的调度资源组，您可以在调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。以增量数据由MaxCompute同步到iGraph为例，每隔一个周期上游节点...
- 产品推荐
- 这些文档可能帮助您