使用Python读文件
步骤二：创建Shell任务 在 数据处理 页签，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 通用脚本>SHELL。编写DataX任务代码。在 新建文件 对话框，配置参数。参数 描述 名称 填写计算任务的名称，例如...
使用Python读文件
步骤二：创建Shell任务 在 数据处理 页签，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 通用脚本>SHELL。编写DataX任务代码。在 新建文件 对话框，配置参数。参数 描述 名称 填写计算任务的名称，例如...
Java UDF最佳实践
步骤三：新建SQL任务 在 数据处理 页签，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 MAXC任务 MAX_COMPUTE_SQL。在 新建文件 对话框，配置参数。参数 描述 名称 填写计算任务的名称，例如 javaudf。...
Java UDF最佳实践
步骤三：新建SQL任务 在 数据处理 页签，单击左侧导航栏 计算任务 图标。在 计算任务 页面，单击 计算任务 后的 图标，选择 MAXC任务>MAX_COMPUTE_SQL。在 新建文件 对话框，配置参数。参数 描述 名称 填写计算任务的名称，例如 javaudf。...
创建EMR Impala节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
MySQL节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
创建EMR Hive节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
创建EMR Spark Streaming节点
在工具栏中，单击 图标，保存节点任务，单击 图标，运行节点任务。编辑 高级设置。如果您使用的是DataLake（新版数据湖）集群，则可配置如下高级参数。“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 ...
创建EMR Spark SQL节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
实例健康诊断
实例健康诊断功能可以对 轻量应用服务器 实例的计算服务状态、网络服务、存储服务和配置管理等进行全方位的诊断，帮助您了解实例的健康状态，及时发现并解决常见的问题。前提条件 轻量应用服务器 实例需处于 运行中 状态。操作场景 推荐您...
创建同步任务
任务配置完成后，单击工具栏的 图标，保存任务。步骤三：提交并发布任务 同步任务保存后，返回业务流程。单击工具栏中的 图标，提交同步任务至调度系统中。调度系统会根据配置的属性，从第二天开始自动定时执行。后续步骤 现在，您已经学习...
防勒索客户端和备份任务异常状态排查
如果防勒索客户端或备份任务出现了异常，会导致云安全中心无法保护您的重要文件或数据。建议您及时排查异常情况，防止勒索软件攻击导致的数据丢失或加密。本文介绍为服务器创建勒索防护策略后，防勒索客户端和备份任务异常状态的原因排查及...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的业务受损。事件：显示集群的事件信息，...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的业务受损。您可以通过 配置集群巡检 ...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。节点状态：显示当前集群的节点状态。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。节点状态：显示当前集群的节点状态。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的...
查看集群信息
应用状态：显示当前运行的部署、容器组、有状态副本集等应用状态的示意图，绿色图标代表正常，黄色图标代表异常。节点状态：显示当前集群的节点状态。集群风险预警：自动扫描Kubernetes集群，提示您潜在的风险和对应的解决方案，防止您的...
配置并管理实时同步任务
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步...批量切换 单击 图标，勾选需要修改资源组的任务，单击底部菜单栏的 修改数据集成资源组，即可批量修改。说明 若未找到修改数据集成资源组入口，可先过滤节点类型为离线同步。
查看监控概览
核心指标看板 可查看当前工作组核心指标的监控黑榜，包括告警分组所含异常任务数、任务来源所含异常任务数、负责结构所负责异常任务数、负责人所负责异常任务、业务监控链路所含异常任务数、高频异常任务。说明 如果没有异常任务排行，单击...
查看监控概览
核心指标看板 可查看当前工作组核心指标的监控黑榜，包括告警分组所含异常任务数、任务来源所含异常任务数、负责结构所负责异常任务数、负责人所负责异常任务、业务监控链路所含异常任务数、高频异常任务。说明 如果没有异常任务排行，单击...
容器服务报警管理
报警配置功能提供统一管理容器报警场景的功能，包括容器服务异常事件报警、集群相关基础资源的关键指标报警、集群核心组件及集群中应用的指标报警。支持在创建集群时默认开启报警功能。容器服务的报警规则支持通过集群内部署CRD的方式配置...
通过向导模式配置离线同步任务
使用说明 部分数据源不支持使用向导模式配置离线同步任务，您可以选择数据源后，根据界面提示，若当前数据源不支持向导模式编辑任务，则单击工具栏中的 图标切换至脚本模式继续配置任务。详情请参见 通过脚本模式配置离线同步任务。向导...
诊断实例的健康状态
前提条件 如果问题场景为全面体检或者实例网络异常，请确保待检测实例满足以下条件：实例规格：属于在售的实例规格族。更多信息，请参见 实例规格族。说明 已停售的实例规格族不支持实例健康诊断功能。实例状态：处于 运行中（Running）...
查看业务链路（邀测中）
以业务数据链路为视角进行...在 业务链路 页面中，可查看节点监控数据、异常任务列表和业务链路的运行情况。单击业务链路列表中的链路卡片。在链路画布中，单击单个业务节点，可以查看该业务节点涉及到的正在被监控任务节点或数据质量状况。
查看业务链路（邀测中）
以业务数据链路为视角进行...在 业务链路 页面中，可查看节点监控数据、异常任务列表和业务链路的运行情况。单击业务链路列表中的链路卡片。在链路画布中，单击单个业务节点，可以查看该业务节点涉及到的正在被监控任务节点或数据质量状况。
使用路径分析
路径分析是一个配置分析工具，覆盖 ECS 实例互访、ECS 与公网IP地址互访、ECS 与私网IP地址互访、云上 VPC 与云下站点互访等多类应用场景，能够判断源资源和目的资源之间的连通性，诊断网络配置错误引起的连接问题。路径分析介绍 路径分析...
使用PTS监测日常业务
随着移动互联网的日益普及，业务连续性的要求越来越高，如何先于用户发现不同地域或者运营商网络下的核心功能可用性问题是所有移动互联网场景下的业务都需要思考或者解决的问题。本文以典型的电商业务为例，介绍如何使用PTS进行日常业务的...
对接使用CDH与CDP
运维监控配置 CDH引擎的任务支持使用DataWorks运维中心的智能监控功能，通过自定义报警规则、配置任务告警，根据设置的报警规则自动触发任务运行异常报警。自定义报警规则操作可参见 规则管理，配置任务告警操作可参见 基线管理。数据质量...
消息通知
网络域代理告警通知 当网络域代理服务异常时，堡垒机将发送消息通知。说明 在堡垒机中创建网络域且使用代理的连接方式来添加代理服务器后，堡垒机会每五分钟检测一次代理服务器的连通性。更多信息，请参见 网络域。运维审批通知 运维员进行...
如何关闭沉浸式任务栏？
问题详述 如何关闭沉浸式任务栏？解决方法 SDK 版本大于等于 3.1.0 的场景，可以在控制台上进行关闭。SDK 版本小于 3.1.0 的场景，调用 FeedbackAPI.setTranslucent(false)。
创建防护策略
勒索防护策略1.0版本与2.0版本的差异如下：差异项 1.0版本 2.0版本 自定义排除目录 不支持 支持 经典网络 兼容 云备份（Cloud Backup）使用 备份方式 多个备份任务同时进行备份（易导致CPU高）多个备份任务依次进行备份 防护策略一键升级 1...
Data Lake Analytics节点
如果您需要修改在 数据开发 页面测试时使用的任务执行资源，请单击工具栏中的 图标，选择相应的独享调度资源组。说明 因为访问专有网络环境的数据源需要使用独享调度资源组执行任务，所以此处必须选择测试连通性成功的独享调度资源组。单击...
创建和管理流日志
流日志功能可以捕获VPC中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，您可以通过分析流日志捕获的流量信息检查VPC下的访问控制规则、排查网络故障以及监控异常流量。本文介绍如何创建和管理流日志。前提条件 在创建流...
运维监控
运维监控包括任务中心和全景监控，本文为您介绍如何查看任务中心和全景监控。前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。查看任务流运维 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，...
创建PolarDB-X 1.0数据订阅任务
本文介绍如何创建 PolarDB-X 1.0 数据订阅任务。前提条件 已创建 PolarDB-X 1.0，如未创建请参见 创建实例 和 创建数据库。说明 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独购买的RDS），暂不支持为PolarDB MySQL。若...
创建CDH Impala节点
单击工具栏中的 图标，提交节点任务。在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布...
创建数据源质量规则
连通性监测：配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上，进而导致任务报错，对连通性监测的变化进行监控告警。表结构异动：上游表的结构变化，如更名、删除、增减字段，进而导致下游报错，对表结构的变化进行...
- 产品推荐
- 这些文档可能帮助您