全增量同步任务运维
完成任务配置后，您可以对已创建的任务进行管理，同时，您还可以查看任务运行的指标详情。本文为您介绍全增量同步任务的常见运维操作。背景信息 本文仅说明全增量同步任务常见的运维操作，全增量同步任务产生的实时同步子任务运维操作请...
创建EMR Impala节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
MySQL节点
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保独享调度资源组和MySQL数据库的网络已连通，关于独享调度资源组网络连通方案，详情请参见：绑定专有网络。配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL...
创建EMR Hive节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
创建EMR Spark SQL节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
配置同步任务
代码编写页面仅限解锁及被您自己锁定的状态方可编辑，如果他人锁定显示 图标，单击 图标，进行偷锁，偷锁成功后显示 图标，您可以开始编辑同步任务。说明 保存完成修改的 已提交 状态的同步任务后，系统自动将同步任务的状态调整为 开发中...
Ride测试环境搭建
安装成功后，打开如下RIDE 图标 显示如下界面：二、加载测试case 1、导入测试用例 测试用例在文件ACS_test_cases_${名称}.txt中，文件名中的${厂商名称}修改为对应公司名称，如ACS_test_cases_alibaba.txt 在Ride中导入测试用例：2、修改用...
Data Lake Analytics节点
如果您需要修改在 数据开发 页面测试时使用的任务执行资源，请单击工具栏中的 图标，选择相应的独享调度资源组。说明 因为访问专有网络环境的数据源需要使用独享调度资源组执行任务，所以此处必须选择测试连通性成功的独享调度资源组。单击...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的业务受损。事件：显示集群的事件信息，...
创建CDH Impala节点
使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH Impala节点 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。...
DataX同步数据
在 数据处理 页面，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 通用脚本>SHELL。在 新建文件 对话框，配置参数后，单击 确定。参数 描述 名称 本教程中的名称为 DataX。调度类型 本教程中选择任务的...
DataX同步数据
在 数据处理 页面，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 通用脚本>SHELL。在 新建文件 对话框，配置参数后，单击 确定。参数 描述 名称 本教程中的名称为 DataX。调度类型 本教程中选择任务的...
Smart Metrics Holiday功能
在时序预测领域，这种不常见但可预料的指标异常现象被称为Holiday效应，这种异常发生的时段被称为Holiday。出现Holiday效应的部分场景如下：某公司每天凌晨2点左右进行缩容，第二天上午6点左右进行扩容，这两种操作都会导致相应的指标出现...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
使用Smart Metrics创建预测任务和配置告警
本文介绍如何使用Smart Metrics插件，包括创建预测任务、指标查询和配置告警。功能入口 登录 可观测可视化 Grafana 版 控制台，在左侧导航栏单击 工作区管理。在 工作区管理 页面，单击目标工作区右侧的 访问地址URL 链接进入Grafana。说明...
创建CDH Hive节点
如果您已部署CDH集群并希望借助DataWorks执行Hive任务（例如，数据查询作业或处理批量数据），可以使用CDH Hive节点。本文为您介绍如何创建CDH Hive节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于...
定时任务
定时任务可以在固定的间隔时间执行指定的程序或者指令，应用监控的定时任务功能可以帮助您了解定时任务的详细情况，包括概览、SQL调用分析、NoSQL调用分析、异常分析、错误分析、链路下游和调用链查询。说明 ARMS应用监控目前仅支持展示XXL...
创建CDH Presto节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
创建CDH MR节点
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
创建EMR Spark Streaming节点
在工具栏中，单击 图标，保存节点任务，单击 图标，运行节点任务。编辑 高级设置。如果您使用的是DataLake（新版数据湖）集群，则可配置如下高级参数。“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 ...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的业务受损。您可以通过 配置集群巡检 ...
使用Python读文件
Dataphin仅支持开发基于Python的脚本，不支持开发依赖第三方组件的脚本。开发基于第三方组件的脚本，需要通过pip install下载第三方组件。本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址...
使用Python读文件
Dataphin仅支持开发基于Python的脚本，不支持开发依赖第三方组件的脚本。开发基于第三方组件的脚本，需要通过pip install下载第三方组件。本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址...
Java UDF最佳实践
步骤三：新建SQL任务 在 数据处理 页签，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 MAXC任务 MAX_COMPUTE_SQL。在 新建文件 对话框，配置参数。参数 描述 名称 填写计算任务的名称，例如 javaudf。...
Java UDF最佳实践
步骤三：新建SQL任务 在 数据处理 页签，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 MAXC任务>MAX_COMPUTE_SQL。在 新建文件 对话框，配置参数。参数 描述 名称 填写计算任务的名称，例如 javaudf。...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
GPU自助诊断
如果存在异常诊断项，则显示为 实例存在*项异常，并显示异常详情和相应的修复方案，您可以参考修复方案解决问题。诊断项详情 本文仅包含 GPU设备和驱动的状态检查，级别分为严重、警告和通过。诊断基础信息 包括资源ID、报告ID和诊断时间。...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。节点状态：显示当前集群的节点状态。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。节点状态：显示当前集群的节点状态。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的...
查看实例任务进度
使用限制 Elasticsearch 7.16版本实例，以及成都和广州地域的所有实例不支持如下功能：在查看实例变更进度时，不支持查看实例的变更任务所处阶段及各阶段的进度详情，不支持查看变更记录。查看数据迁移进度。操作步骤 登录 阿里云...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。节点状态：显示当前集群的节点状态。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的...
查看开发环境场景运维信息
任务流列表会显示整个场景的节点流程图和节点列表，本文介绍如何查看开发环境场景运维信息。前提条件 已部署运行开发环境场景，具体操作，请参见 新建开发环境场景并运行。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 ...
查看开发环境场景运维信息
任务流列表会显示整个场景的节点流程图和节点列表，本文介绍如何查看开发环境场景运维信息。前提条件 已部署运行开发环境场景，具体操作，请参见 新建开发环境场景并运行。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
创建CDH Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
使用DataWorks
在顶部菜单栏，单击 图标后，单击 图标，运行离线同步任务。通过脚本模式配置并运行数据同步任务 配置网络与资源。选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。具体操作请参见 通过向导模式配置并...
加工数据
提交业务流程 打开业务流程配置面板，单击工具栏中的 图标。选择 提交 对话框中需要提交的节点，输入 备注，并选中 忽略输入输出不一致的告警。单击 确认，待显示 提交成功 即可。运行业务流程 打开业务流程配置面板，单击工具栏中的 图标...
- 产品推荐
- 这些文档可能帮助您