DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
播放异常自主排查
本文主要介绍当播放异常时自主排查异常根因的定位思路及排查步骤等。排查思路 说明 当出现播放异常时，建议优先使用播放链接检测工具进行自助检测。本工具可快速诊断常见播放异常问题，并根据具体异常提供解决建议。具体操作，请参见 视频...
播放异常自主排查
本文主要介绍当播放异常时自主排查异常根因的定位思路及排查步骤等。排查思路 说明 阿里云播放器SDK在持续不断的推出新功能并优化提升性能和稳定性，当您使用播放器SDK遇到问题时，建议您先使用最新版SDK进行验证，验证您的问题在最新版SDK...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
数据风险点监控
订单拍下时间不会大于当天时间，也不会小于业务系统上线时间，一旦出现异常校验则报错。当业务复杂、规则繁多、规则配置的运行成本高时，您也可以根据数据资产等级进行监控。离线数据风险点监控 数据准确性 数据准确性是数据质量的关键，也...
Smart Metrics Holiday功能
Smart Metrics的Holiday功能支持配置定制化事件，提高动态基线告警的准确率。本文介绍如何配置Holiday。背景信息 Smart Metrics能够自动捕捉指标的季节性特征，包括以一周、一天、几小时为周期的规律性特征，并依据这些特征对未来一段时间...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
健康检查及自动恢复
一旦检测到节点异常（往往是内存超限、进程异常退出等异常场景）将会进入自动恢复过程，master会通过检查每个work节点资源限制情况来动态调度恢复的目标，可能出现2种调度场景：1）在原work节点重启 2）跨work节点重启。注：由于这种健康...
Kafka增量数据同步至MaxCompute
推荐勾选 出错后自动重跑，重跑次数设置3，重跑间隔设置2，让同步实例出现异常的话能够自动重跑实现自愈。配置调度资源组。按照需要选择调度资源组，推荐使用独享调度资源组。配置调度依赖。本实践同步任务无需在特定其他任务运行成功后才...
Kafka增量数据同步至MaxCompute
推荐勾选 出错后自动重跑，重跑次数设置3，重跑间隔设置2，让同步实例出现异常的话能够自动重跑实现自愈。配置调度资源组。按照需要选择调度资源组，推荐使用独享调度资源组。配置调度依赖。本实践同步任务无需在特定其他任务运行成功后才...
创建手动任务
手动任务可通过拉线设置执行顺序，但该操作并非设置调度依赖。手动业务流程与调度业务流程仅存在部分差异，界面功能认识可参见 数据开发功能索引。进入手动业务流程功能界面 您需要前往 DataStudio（数据开发）>手动业务流程 页面，通过...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
kube-scheduler组件监控
本文主要介绍kube-scheduler组件的指标清单、对应大盘的使用指导以及常见指标异常的问题解析。指标清单 指标是组件对外透出状态和参数的方式之一，kube-scheduler组件使用的指标清单如下。指标清单 类型 说明 scheduler_scheduler_cache_...
使用负载感知调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
什么是SCDN
流量预测：数据化实时调度，支持节点级别流量预测，提升调度质量和准确性。访问控制 Refer防盗链：支持Refer黑白名单来对访问者身份进行识别和过滤，从而限制资源被访问。URL鉴权：支持高级防盗链功能，设置鉴权Key对URL进行加密，保护您的...
调度依赖配置指引
本文为您介绍调度依赖的配置指引，避免因调度依赖配置有误导致数据异常，配置前建议先了解此内容。背景信息 DataWorks上任务的调度依赖是指调度场景下节点间的上下游依赖关系。在DataWorks中，上游节点任务运行完成且运行成功，下游节点...
智能解析调度不准问题
使用阿里云解析DNS服务器的域名，如果您设置的智能解析线路出现调度不准的情况，可以参考如下内容进行排查。说明 如果您不知道当前域名是否使用了阿里云解析DNS服务器，请参考 如何获知云解析DNS分配的DNS服务器。1.查看LocalDNS的出口IP ...
查看调度资源大盘
调度资源大盘展示Dataphin集群已配置调度资源的使用及分配情况。您可以查看并分析全局资源总量配置及单个任务资源分配的情况，可以有效地提升资源利用率并降低成本，同时也能减少因调度资源紧张而造成大量任务堆积的可能性，增强平台的稳定...
运维中心入门
当节点运行出错时DataWorks会根据配置发送相应报警，以便您及时发现并处理异常，保障节点日后可正常调度。进入运维中心。在左侧导航栏单击 智能监控>规则管理。新建自定义规则。单击 新建自定义规则。配置规则信息。您可根据业务需求，...
节点运维
开启“节点维护”功能 节点维护开启后,需要注意以下几点：开启后将立即驱逐节点上的所有Pod，且不会再有新的Pod调度到该节点，可作为机器异常场景下的应急维护手段；对于部分Pod可能存在指定节点调度的情况，需检查被驱逐的Pod是否正常被...
EDAS应用支持金丝雀发布时指定任务调度比例
EDAS支持已接入SchedulerX的应用在金丝雀发布时指定任务调度比例规则。规则配置完成后，升级后的任务应用会经过小规模验证，验证通过后再全量升级，保障升级过程平稳无损。本文介绍如何将已接入SchedulerX的EDAS应用在金丝雀发布时配置任务...
管理任务流实例
说明 时间范围内运行的任务是串行运行的，即必须一个业务时间的任务执行成功，下一个业务时间才可执行任务。发布或下线任务流 具体操作，请参见 发布或下线任务流。查看任务流版本差异 在确认发布任务流之前，若该任务流有发布态版本，且...
创建和使用EMR资源
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
使用负载热点打散重调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
工作原理
日志服务智能异常分析App提供模型训练和实时巡检功能，支持对日志、指标等数据进行自动化、智能化、自适应地模型训练和异常巡检。本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间...
计算层高可用
任意节点宕机导致当前节点上的计算任务失败，可依赖计算任务间的血缘关系，找到上一次持久化的中间数据结果，对失败任务进行重新调度计算，而且仅重新计算失败的任务。对于Coordinator前端节点，通过持久化查询的元数据，通过调度新的...
使用Grafana进行异常检测算法调优
Lindorm Machine Learning提供了Grafana插件，支持以可视化的方式进行时序异常检测，您可以通过该插件调试出合适的异常检测算法与参数。操作流程 整体操作流程如下。步骤一：创建Grafana工作区 您可以在阿里云 应用实时监控服务ARMS 中快速...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用插件部署混合云集群
本文介绍如何使用E-HPC插件部署混合云集群，该集群由本地调度器、本地域控和云上计算节点等组成。背景信息 混合云集群是E-HPC提供的一套用于云上计算资源和本地服务之间互通的集群结构，通常由本地调度器、本地域控、云上计算节点、共享...
服务定时自动部署
使用方案二部署EAS服务 购买DataWorks 独享调度资源组，详情请参见 新增和使用独享调度资源组。购买PAI，详情请参见 开通并创建默认工作空间。完成定时训练，并将模型保存至固定地址，详情请参见 使用DataWorks离线调度Designer工作流。...
存储多可用区部署的推荐配置
调度应用时，出现错误 0/x node are available,x nodes had volume node affinity conflict。以上这些问题，均会导致应用发布中断受阻，本文推荐一种存储多可用区部署的最佳配置，最大程度的减少上述问题。推荐配置 使用云盘进行持久化存储...
节点伸缩概述
当集群的容量规划无法满足应用Pod调度时，您可以使用ACK提供的节点伸缩功能，自动扩缩节点资源以进行调度容量的补充。ACK目前提供 节点自动伸缩 与 节点即时弹性 两种弹性方案，后者相较于前者有着更快的弹性速度、更高的交付效率和更低的...
- 产品推荐
- 这些文档可能帮助您