舰队管理概述
随着Kubernetes集群的广泛应用，企业往往需要...作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。相关文档 ACK One概述 开启舰队管理功能 管理关联集群 ArgoCD
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
事件驱动弹性
容器水平伸缩的方式具有使用简单、资源指标丰富等特点，但是它对于需要即时弹性的场景，尤其是对基于事件源进行离线作业支撑不足。ACK提供了ack-keda来提供事件驱动弹性能力，事件驱动弹性适用于音视频离线转码、事件驱动作业、流式数据...
运行模式
使用场景适合于离线作业，可与阿里云DataWorks产品结合进行作业调度，命令行提交方式如下。path/to/MaxCompute-Spark为编译后的Application JAR包路径。cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class ...
ACK One概述
作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。多集群舰队相关文档，请参见 多集群舰队概述。分布式工作流Argo集群 分布式工作流Argo集群采用无服务器模式，...
查看资源组监控
查看作业的计算资源用量 作业使用统计记录了每个离线作业（包括XIHE BSP作业、Spark作业、湖仓版控制台的数据同步和迁移任务）所使用的计算资源。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，...
作业配置指南
sqls SQL应用必填"sqls":["select*from xxxx","show databases"]本关键字是区别于社区Spark的DLA平台自研功能，允许用户不提交JAR包和Python文件，直接提交SQL离线作业。该关键字跟 file,className,args 关键字不能同时使用。用户可以在...
基于Flink+Paimon搭建流式湖仓
传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入分层的数仓中（ODS->DWD->DWS->ADS），但是存在延时长和成本高两大问题。离线作业的调度通常每小时甚至每天才进行一次，数据的消费者仅能看到...
使用Gang scheduling
为了提升集群的利用率和运行效率，ACK希望将Kubernetes作为一个统一的管理平台来管理在线服务和离线作业。由于调度器的限制，使得一些离线的工作负载无法迁移到Kubernetes。例如，某些有All-or-Nothing特点的作业要求所有的任务在同一时间...
基本概念
SQL作业开发 部署（Deployment）为了避免修改草稿中的内容会影响到线上正在运行的作业，提出了部署（Deployment）概念，目的是将开发和生产隔离，SQL开发中的作业草稿、上传的JAR和Python包都可以成为部署。通过部署使草稿变为线上作业，...
2021-03-16版本
新版VVP支持开发和运维分离：SQL脚本名和线上作业名一一对应，原SQL脚本名中如果存在中文，升级后将会把中文用随机数替代，原SQL脚本名称将在脚本配置的Label中展示。建议将脚本重命名为线上对应名称。如果存在重复的SQL脚本名称，将在SQL...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
迁移方案
仅支持线上作业迁移，不支持开发态（多版本）作业迁移。Blink和Flink支持的Connector类型不完全一致，迁移前需评估Blink中使用的Connector是否在目标Flink版本上支持。如果不支持，则暂无法进行迁移，但您可以通过自定义Connector的方式...
ECS资源复用版
客户A在MaxCompute购买了包年包月计算资源 500 CU，用于满足00:00~08:00的离线计算作业需求。客户开通ECS资源复用版后，可将CR共享至MaxCompute，并将共享时间段设置为00:00~09:00。MaxCompute将在00:00购买CR内未被占用的20台ECS实例，并...
混合云主控模式最佳实践
混合云主控模式集群的管理节点为云上新增集群的管理节点，计算节点由线下已有计算节点和云上新增计算节点组成。本文以E-HPC云上集群将线下已有计算节点纳入管理的场景为例，介绍混合云主控模式集群（SGE调度器）的部署方案。重要 本文的...
写入与查询
湖仓版（3.0）集群是否支持自动切换在线作业和离线作业？湖仓版（3.0）集群如何选择XIHE MPP还是XIHE BSP来执行作业？湖仓版（3.0）集群如何查看XIHE BSP作业的状态？如何进行资源隔离，减少SQL任务间的相互影响？如何处理IN条件过多的问题...
2022年
新说明 系统讲解阿里云离线实时一体化数仓的能力，帮助您设计构建离线实时一体化数仓。离线实时一体化数仓 2022-07-14 字符串函数。更新说明 新增 regexp_extract_all 函数。字符串函数 2022-07-13 新增模拟IDC Spark读写MaxCompute实践。...
包年包月
到期后 到期后15天内 无法访问工作空间，线上作业停止运行。您可以为工作空间续费，续费成功后可以继续使用工作空间，详情请参见 续费说明。到期超过15天后 工作空间将会自动释放，作业数据将被删除，且删除后无法恢复。说明 您上传的JAR包...
流水线概述
学习使用流水线，请首先阅读 流水线的运行，这里讲解了流水线的概念原理，以及如何使用。通过一站式方案的新建向导创建的项目，通常已经自动生成了一条流水线。可以查看它的配置，修改补充，或者新建一条流水线。流水线的配置方法详见 流水...
功能发布记录（2022年）
优化左侧目录树，未提交作业任务会直接显示 提交、发布 图形按钮，方便进行任务的快速发布。2022.4.7 华东1（杭州），华东2（上海），华北2（北京），华北3（张家口），华南1（深圳），西南1（成都），中国（香港）所有DataWorks用户。数据...
DMS调度Spark
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...
操作指导
如何配置作业运行参数？如何开启GC日志？如何查找引发告警的作业？如何查看工作空间ID等信息？如何查看AccessKey ID和AccessKey Secret信息？如何查看当前作业的Flink版本？如何关闭系统自动开通的Prometheus监控服务？网络连通性 如何设置...
配置AnalyticDB MySQL Spark节点
配置Batch和SQL类型作业的具体操作，请参见 Spark离线应用开发 和 Spark SQL应用开发。完成上述配置后，单击 保存。单击 试运行、指定时间运行 或 指定时间范围运行。如果执行日志的最后一行出现 status SUCCEEDED，表明任务运行成功。如果...
使用Logview 2.0查看作业运行信息
作业详情 您可以通过作业详情区域全方位了解作业，作业详情区域包含如下功能区：Job Details 作业执行图 Job Detail 页签的上半部分为作业执行图。执行图以可视化方式展示三个维度的子任务依赖关系：Fuxi Job层、Fuxi Task层和Operation层...
竞价实例
当您希望以较低的成本执行Spark作业（包括Spark SQL作业和Spark Jar作业）时，可以为Job型资源组开启竞价实例功能。开启竞价实例功能后，集群会尝试使用闲置（更低价）的Spark Executor资源执行Spark作业。本文主要介绍什么是竞价实例，...
使用教程（时序模型）
当前支持使用此功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、中国香港、德国（法兰克福）、美国（弗吉尼亚）、印度（孟买）、新加坡。Tablestore数据结果表 Flink支持...
公告
2024年02月28日-MaxCompute单机宕机演练 尊敬的MaxCompute用户：MaxCompute将于北京时间 2024年02月28日（周三）15:00~16:00，在中国华北3（张家口）、西南1（成都）地域进行接入服务可靠性演练，预计不会对用户作业运行产生影响。...
2023年
2023-04-11 全部地域 新用户免费试用额度 新版作业运维 新版作业运维将提供全量MaxCompute作业运行列表进行运维管理，同时满足查看作业快照信息和作业当前信息。2023-04-06 全部地域 作业运维（新版）2023-03 功能名称 功能描述 发布时间 ...
公开数据集概述
MaxCompute将GH Archive提供的海量公开事件数据进行离线处理并开发，生成以下表：dwd_github_events_odps（GitHub公开事件数据事实表）dws_overview_by_repo_month（GitHub公开事件月度指标数据聚合表）说明 表中的数据源于 GH Archive。...
前言
本次培训主要介绍 Mesh 协议插件和功能插件。协议插件包含各种场景的私有协议接入；功能插件包括协议转换、拦截器以及动态配置等场景，帮助您高效、低成本、快速完成...通过命令行离线部署和升级插件 介绍如何通过命令行离线部署和升级插件。
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
使用限制 基于Delta Lake或Hudi存储机制的湖仓一体方案的使用限制如下：仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域支持构建湖仓一体能力。MaxCompute需要与...
基于Flink+Hologres搭建实时数仓
单击左侧导航栏的 作业运维，单击刚刚部署的ODS作业 操作 列的 启动，选择 无状态启动 启动作业。查看MySQL同步到Hologres的3张表数据。在 HoloWeb 开发页面连接Hologres实例并登录目标数据库后，在SQL编辑器上执行如下命令。查orders中的...
基于Flink+Hologres搭建实时数仓
单击左侧导航栏的 作业运维，单击刚刚部署的ODS作业 操作 列的 启动，选择 无状态启动 启动作业。向计算组加载数据。Table Group是Hologres中数据的载体。使用read_warehouse_1查询order_dw数据库中Table Group（本示例为order_dw_tg_...
离线实时一体化数仓
以下为您系列讲解阿里云离线实时一体化数仓的能力，帮助您设计构建离线实时一体化数仓。课程视频列表 课程简介 课程内容：离线实时一体化概要介绍。主要产品：MaxCompute、Hologres、Flink、DataHub 课程时长：8分钟 课程内容：离线实时...
离线实时一体化数仓
以下为您系列讲解阿里云离线实时一体化数仓的能力，帮助您设计构建离线实时一体化数仓。课程视频列表 课程简介 课程内容：离线实时一体化概要介绍。主要产品：MaxCompute、Hologres、Flink、DataHub 课程时长：8分钟 课程内容：离线实时...
补丁发布推荐流程
说明 标准作业流程为：线下测试->灰度发布->全量发布。线下测试 使用调试工具，进行补丁调试，请参见 调试补丁。线下使用市场主流手机进行补丁验证，尽可能完整覆盖主流的市场机型和ROM。说明 如果您没有足够的线下机型，可使用 EMAS 移动...
GetMediaProducingJob-查询剪辑合成作业
获取剪辑合成作业的详细信息，包括剪辑合成任务的任务状态、时间线、模板及数据等。本接口仅支持查询近一年的剪辑任务数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
在DataWorks运维中心查看作业运行信息
DataWorks运维中心展示 离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息，帮助您提升任务运维效率。当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等...
- 产品推荐
- 这些文档可能帮助您