数据开发
步骤一：购买并配置独享数据集成资源组 本教程需将存储在MySQL中的数据同步至MaxCompute，同步任务需使用DataWorks的独享数据集成资源组，因此您需要先准备独享数据集成资源组，并完成前期的准备工作。说明 DataWorks为您提供了独享数据...
创建标注任务
人员配置 根据选择的 任务流程，配置标注人员/组、检查人员/组、验收人员/组或任务管理员/组。您可以与该工作空间下的多个成员协作完成标注任务。iTAG 中的角色权限，请参见 概述。配置完成后，单击 创建。查看任务列表 创建完成打标、检查...
全增量实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
数据传输作业：数据集成
在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源，详情请参见 配置MaxCompute数据源。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据源网络环境已经连通，详情请参见 配置资源组与网络连通...
MySQL分库分表同步至Hologres（方案2.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
离线同步写入MongoDB数据
db.createCollection('test_write_mongo')离线任务配置 step1：添加MongoDB数据源 添加一个MongoDB数据源，保障数据源与独享数据集成资源组之间网络连通。操作详情请参见 配置MongoDB数据源。step2：创建离线同步节点，并配置离线同步任务 ...
运维中心入门
操作流程 阶段一：测试验证调度任务 步骤一：查看周期任务配置 为避免周期任务调度不符合预期，建议您在任务发布后先检查周期任务配置的调度参数、调度资源组等是否正确。若不符合预期，请修改相应配置并重新发布。步骤二：测试周期任务 ...
注册EMR集群至DataWorks
步骤三：资源组初始化 初次绑定集群、集群服务配置变更 或 组件版本升级（例如：修改core-site.xml）请初始化资源组，确保资源组可正常访问EMR，资源组当前环境配置可正常执行EMR任务。在 开源集群 页面，找到已注册的EMR集群页签，单击右...
数据集成侧同步任务能力说明
全增量同步任务配置 全增量同步任务配置时支持的能力如下，详细配置请参见：数据集成侧同步任务配置。任务配置相关能力说明请参见：数据集成侧同步任务配置相关能力。全增量同步任务运维 全增量同步任务为您提供了一键增加及删除同步表功能...
周期任务基本运维操作
任务监控报警 您可以在周期任务列表对任务配置监控规则：支持针对周期任务设置周期实例调度运行时的状态监控。详情请参见：创建并管理自定义规则。支持针对周期任务设置周期实例、补数据实例、测试实例运行时产出的表数据质量监控。详情请...
计费逻辑说明
请在任务配置完成后确认其产生的任务列表。其他费用 同步解决方案创建的任务，可能会产生由数据同步任务相关配置引起的费用和账单。说明 例如，同步任务涉及的上下游数据库、计算引擎系统计算和存储费用、网络服务费用（如高速通道、共享...
功能发布记录
2024-02-28 全部 CreateScalingGroup-创建一个伸缩组 ModifyScalingGroup-修改一个伸缩组 DescribeScalingGroups-查询伸缩组列表 支持K8s YAML配置文件方式管理伸缩组或伸缩配置 通过配置文件（K8s YAML格式）可以快速创建和管理ECI类型...
DataWorks的审计事件
ConfirmReverseTaskDetail 保存模型逆向任务配置。CopyApi 克隆数据。Create 登录产品售卖页面进行的购买操作。CreateAccount 创建账号。CreateAdjunct 创建修饰词。CreateAlisaTask 创建调度任务。CreateAtomicIndicator 创建原子指标。...
功能特性
伸缩组 功能集 功能 功能描述 参考文档 伸缩组管理 创建伸缩组 如果需要根据业务变动需求与策略自动增加或减少指定类型的实例数量，则您可以通过创建伸缩组来自动调整您的业务计算能力（即实例数量）。创建伸缩组 启用/停用伸缩组 启用伸缩...
创建EMR Presto节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
离线同步任务运维
为确保周期调度的离线同步任务运行无误，请在任务发布完成后，前往 生产运维中心>周期任务 界面查看生产环境任务配置（任务代码，任务使用的调度资源组及数据集成任务执行资源组）是否符合预期。DataWorks的离线同步任务通过调度资源组将其...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
数据导入方式
步骤五：修改任务配置 如果使用Lindorm SQL方式访问，请参考 Reader脚本Demo 和 Writer脚本Demo 配置文档中TableService模型的配置。如果使用HBase兼容方式访问，请参考 Reader脚本Demo 和 Writer脚本Demo 配置文档中WideColumn模型的配置...
实时同步能力说明
实时同步任务配置 实时同步任务配置时支持的能力如下，您无需编写代码，通过简单的任务配置即可实现单表ETL实时同步，整库实时数据的收集。详情请参见：配置单表实时同步任务、配置整库实时同步任务。单表增量数据实时同步：支持图形化开发...
查看并管理周期任务
您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务运维操作说明详情请参见：周期任务基本运维操作。...
BigQuery数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。附录：脚本Demo与参数说明 离线任务脚本配置方式 如果...
创建同步任务
离线同步任务将通过调度资源组下发至数据集成任务执行资源组上执行，任务调度收费与离线同步任务个数有关，和任务配置的并发无关。关于离线同步任务下发机制，详情请参见：任务下发机制。同步速率 用于控制同步速率。限流：您可以通过限流...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
实时同步任务告警设置最佳实践
建议Kafka源端重要实时同步任务配置均配置。指标4：Failover 报警监控原理与适用场景 配置建议 Failover指标是指当实时同步进程发生异常退出时，为提升进程可靠性，数据集成控制服务会重新拉起进程尝试恢复失败退出同步进程，进而提升同步...
创建EMR Hive节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
数据集成侧同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
通过定时任务设置伸缩组内的实例数量
本文为您介绍通过创建定时任务的方式来设置伸缩组内的实例数量的方法，使您能够定时修改伸缩组内的最大实例数、最小实例数和期望实例数。背景信息 您可以通过如下两种方式设置或修改伸缩组内的实例数量，包括伸缩组内的最大实例数、最小...
新建实验
使用某组超参来运行任务，参数配置如下：参数 描述 指标类型 用来评估Trial的指标类型，取值如下：summary：最终指标需要从来自OSS的Tensorflow summary文件中提取。table：最终指标需要从MaxCompute表格中提取。stdout：最终指标需要从...
MySQL节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Impala节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建CDH Hive节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Presto节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建EMR Spark SQL节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
使用阿里云CLI执行滚动升级任务
执行回滚任务：滚动升级异常时的处理 如果滚动升级过程中出现异常，或者滚动升级后又需要使用历史配置，您可以执行回滚任务为伸缩组内ECS实例恢复配置。本步骤提供示例命令，演示如何回滚已经执行的滚动升级任务。在命令的返回信息中找到...
MySQL整库周期性增全量同步至Hive
本实践仅支持使用独享数据集成资源组，您需购买并配置独享资源组，保障资源组与MySQL数据源、Hive数据源网络连通，独享数据集成资源组的购买与配置操作请参见 新增和使用独享数据集成资源组。创建同步任务 登录并进入 数据集成子模块页面，...
Amazon Redshift数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：Amazon Redshift脚本Demo与参数说明。附录：Amazon Redshift脚本Demo与参数...
使用DataWorks或者DataX导入数据
资源组类型 配置文档 特点 注意事项 独享资源组 独享资源组模式 独享资源组的机器由DataWorks自动买出，运维完全托管于系统，您无需担心机器服务和可用性等问题。独享资源不支持跨地域使用。例如，华东2（上海）地域的独享资源，只能给华东...
创建CDH MR节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
Hologres整库周期性增全量同步至MaxCompute
本实践仅支持使用独享数据集成资源组，您需购买并配置独享资源组，保障资源组与Hologres数据源、MaxCompute数据源网络连通，独享数据集成资源组的购买与配置操作请参见 新增和使用独享数据集成资源组。创建同步任务 登录并进入 数据集成主...
使用Python SDK执行滚动升级任务
（可选）执行回滚任务 如果滚动升级过程中出现异常，或者滚动升级后又需要使用历史配置，您可以执行回滚任务为伸缩组内ECS实例恢复配置。本步骤提供示例代码，演示如何回滚已经执行的滚动升级任务。创建Python脚本并输入执行回滚任务的代码...
- 产品推荐
- 这些文档可能帮助您