创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
MySQL整库周期性增全量同步至Hive
创建同步任务 登录并进入 数据集成子模块页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 MySQL，去向数据源选择 Hive；根据同步场景...
MySQL整库周期性增全量同步至MaxCompute
任务运维 启动同步任务 完成配置之后，界面会自动跳转到 任务列表 页面，您可以单击对应任务的 操作 列的 启动 按钮，启动同步任务。查看任务详情 您可以单击 任务名称 或 执行概况 的空白处，查看任务详情。任务详情包含以下几个部分。...
Kafka单表实时入湖OSS（HUDI）
查看任务运行状态 创建完成同步任务后，您可以在同步任务页面，找到已创建的同步任务，单击 任务名称 或 执行概况 空白处，查看任务的运行详情。任务详情分为三个部分：基本信息：您可以查看同步任务的数据源信息、绑定的资源组等信息。...
如何处理备份失败问题
如果备份任务只是偶发性失败，一般是由于网络抖动或者临时断开导致的。此时不需要您进行任何操作，待网络恢复后，备份任务就能自动正常执行。如果持续失败，建议使用 云备份客户端问题诊断工具 对客户端所处网络环境进行监测。常见网络问题...
分布式部署
运行 执行迁移任务 分布式部署时，执行任务的一般步骤是修改任务配置文件、部署服务、清除同名任务、提交任务、启动迁移服务、查看任务状态、重试失败子任务以及停止迁移任务。详细说明如下：部署服务。在Linux终端执行bash console.sh ...
Hologres整库周期性增全量同步至MaxCompute
创建同步任务 登录并进入 数据集成主站页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 Hologres，去向数据源选择 MaxCompute；根据...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
创建同步任务 登录并进入 数据集成主站页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 AnalyticDB for MySQL3.0，去向数据源选择 ...
创建EMR Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前，您需要先在EMR中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
离线同步任务调优
文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响因素。同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
任务的关联内容
在云效项目协作中，可以使用关联功能快速将当前内容与其相关内容做资源汇总，在任务详情中统一呈现。通过关联功能，将所有与该任务相关的日程、任务、分享、文件等资料汇总，方便追溯和查看。关联的作用 关联内容有两个作用：1.查看被关联...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品需求文档，以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求...
实时同步能力说明
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 实时同步支持单表实时增量数据同步至目标端单表、分库分表...
数据加工
任务配置 限制项 说明 任务数 1个Project中最多可创建100个数据加工任务。重要 数据加工任务处于停止或者运行完成状态时，依然会占用配额，建议及时清理停止或者运行完成状态、并且确认不再使用的数据加工任务，减少配额占用。更多信息，请...
使用限制
任务配置 限制项 说明 任务数 1个Project中最多可创建100个数据加工任务。重要 数据加工任务处于停止或者运行完成状态时，依然会占用配额，建议及时清理停止或者运行完成状态、并且确认不再使用的数据加工任务，减少配额占用。更多信息，请...
离线同步能力说明
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 离线同步支持单表同步至目标端单表、分库分表同步至目标端单...
EMR Serverless Spark与其他VPC间网络互通
通过网络连接功能，您可以访问自有VPC（Virtual Private Cloud）内的数据源。本文将以SparkSQL和Application JAR类型任务连接至您的自有VPC的HMS（Hive Metastore）服务为例，为您介绍如何配置并访问自有VPC内的数据源。前提条件 已准备好...
数据集成侧同步任务能力说明
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 全增量同步任务支持单表数据同步至目标端单表、分库分表数据...
新功能发布记录
2024-02-29 割接验证 AWS资源调研新增支持产品 新增Amazon Lambda、CloudFront、MQ、SQS四种产品的资源调研 2024-02-20 在线调研AWS资源 割接验证支持私网链接 支持通过私有网络连接，发起数据校验任务 2024-02-06 割接验证 割接验证支持...
单机部署
├─import.log#迁移日志│├─job_stat.log#任务状态记录│├─ossimport2.log#单机版运行日志│└─submit.log#任务提交记录├─master│├─jobqueue#存放尚未分解完成的任务│└─jobs#存放任务运行状态│└─local_test#任务名称│├...
EMR Hive数据整库离线同步至MaxCompute
配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。说明 若数据源与资源组网络不通，请参考界面提示或文档进行网络连通配置。详情请参见：配置资源组与网络连通。配置数据来源与去向 ...
EMR Hive数据整库离线同步至MaxCompute
配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。说明 若数据源与资源组网络不通，请参考界面提示或文档进行网络连通配置。详情请参见：配置资源组与网络连通。配置数据来源与去向 ...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
步骤二：配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。还支持同步源端分库分表数据至目标单表，详情请参见：场景：配置分库分表离线同步任务。若数据源与资源组网络不通，请参考...
使用DataWorks同步iGraph数据
数据集成是大数据开发治理平台DataWorks提供的数据同步服务，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。借助DataWorks提供的数据同步能力可将多种数据源的数据批量写入iGraph。本文为您讲解如何配置...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
监控与日志
监控与日志可有效保障您部署在专有网络VPC中的资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有...
DataWorks的审计事件
CreateImportMigration 创建导入任务，导入任务包含数据源信息、任务、表等对象的DataWorks导入导出包。CreateManualDag 触发手动业务流程执行。CreateMaxCompute 创建MaxCompute引擎。CreateMeasureUnit 创建度量单位。CreateMetaCategory...
MySQL节点
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保独享调度资源组和MySQL数据库的网络已连通，关于独享调度资源组网络连通方案，详情请参见：绑定专有网络。配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL...
源站探测
全球加速提供源站探测功能，您可以通过全球加速的监听创建源站探测任务，实时监控从探测点经过全球加速至源站的全链路网络质量，从而快速定位网络故障，针对性的进行网络优化。源站探测介绍 您可以为全球加速的监听创建源站探测任务，源站...
网络抓包
云防火墙提供网络抓包工具，允许您通过特定的IP和端口捕获互联网边界的流量数据包，便于您快速分析数据包内容、诊断网络问题以及审查潜在的攻击行为，进而揭示网络通信的安全隐患。本文介绍如何有效使用该网络抓包工具。限制说明 云防火墙...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
创建训练任务
重要 当前运行 DLC 任务时，需保障任务资源组实例、数据集存储（OSS）在同一地域的VPC网络环境中，且与代码仓库的网络是连通状态。如果数据集配置选择CPFS类型的数据集，需要配置专有网络，且选择的专有网络需要与CPFS一致。否则提交的DLC...
创建EMR Impala节点
访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
创建EMR Hive节点
访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
创建EMR Spark SQL节点
访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
- 产品推荐
- 这些文档可能帮助您