舰队管理概述
随着Kubernetes集群的广泛应用，企业往往需要...作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。相关文档 ACK One概述 开启舰队管理功能 管理关联集群 ArgoCD
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
事件驱动弹性
容器水平伸缩的方式具有使用简单、资源指标丰富等特点，但是它对于需要即时弹性的场景，尤其是对基于事件源进行离线作业支撑不足。ACK提供了ack-keda来提供事件驱动弹性能力，事件驱动弹性适用于音视频离线转码、事件驱动作业、流式数据...
运行模式
使用场景适合于离线作业，可与阿里云DataWorks产品结合进行作业调度，命令行提交方式如下。path/to/MaxCompute-Spark为编译后的Application JAR包路径。cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class ...
ACK One概述
作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。多集群舰队相关文档，请参见 多集群舰队概述。分布式工作流Argo集群 分布式工作流Argo集群采用无服务器模式，...
查看资源组监控
查看作业的计算资源用量 作业使用统计记录了每个离线作业（包括XIHE BSP作业、Spark作业、湖仓版控制台的数据同步和迁移任务）所使用的计算资源。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，...
作业配置指南
sqls SQL应用必填"sqls":["select*from xxxx","show databases"]本关键字是区别于社区Spark的DLA平台自研功能，允许用户不提交JAR包和Python文件，直接提交SQL离线作业。该关键字跟 file,className,args 关键字不能同时使用。用户可以在...
写入与查询
湖仓版（3.0）集群是否支持自动切换在线作业和离线作业？湖仓版（3.0）集群如何选择XIHE MPP还是XIHE BSP来执行作业？湖仓版（3.0）集群如何查看XIHE BSP作业的状态？如何进行资源隔离，减少SQL任务间的相互影响？如何处理IN条件过多的问题...
基于Flink+Paimon搭建流式湖仓
传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入分层的数仓中（ODS->DWD->DWS->ADS），但是存在延时长和成本高两大问题。离线作业的调度通常每小时甚至每天才进行一次，数据的消费者仅能看到...
使用Gang scheduling
为了提升集群的利用率和运行效率，ACK希望将Kubernetes作为一个统一的管理平台来管理在线服务和离线作业。由于调度器的限制，使得一些离线的工作负载无法迁移到Kubernetes。例如，某些有All-or-Nothing特点的作业要求所有的任务在同一时间...
基本概念
SQL作业开发 部署（Deployment）为了避免修改草稿中的内容会影响到线上正在运行的作业，提出了部署（Deployment）概念，目的是将开发和生产隔离，SQL开发中的作业草稿、上传的JAR和Python包都可以成为部署。通过部署使草稿变为线上作业，...
2021-03-16版本
新版VVP支持开发和运维分离：SQL脚本名和线上作业名一一对应，原SQL脚本名中如果存在中文，升级后将会把中文用随机数替代，原SQL脚本名称将在脚本配置的Label中展示。建议将脚本重命名为线上对应名称。如果存在重复的SQL脚本名称，将在SQL...
查看血缘关系
提升数据分析效率 当数据资产变更或者出错的情况下快速定位所影响的线上作业，及时进行处理，避免错误决策。优化数据资产成本 通过分析血缘关系，您可以了解数据的流转路径和依赖关系，从而优化数据处理流程，及时下线长期没有调用的服务，...
迁移方案
仅支持线上作业迁移，不支持开发态（多版本）作业迁移。Blink和Flink支持的Connector类型不完全一致，迁移前需评估Blink中使用的Connector是否在目标Flink版本上支持。如果不支持，则暂无法进行迁移，但您可以通过自定义Connector的方式...
ECS资源复用版
客户A在MaxCompute购买了包年包月计算资源 500 CU，用于满足00:00~08:00的离线计算作业需求。客户开通ECS资源复用版后，可将CR共享至MaxCompute，并将共享时间段设置为00:00~09:00。MaxCompute将在00:00购买CR内未被占用的20台ECS实例，并...
混合云主控模式最佳实践
bin/bash#$-cwd#$-l vf=1G#$-q workq#$-N sge-demo1#$-o/home/test/$-e/home/test/echo"demo start,sleep 10s and ping localhost"sleep 10 ping-c 10 localhost echo"demo complete"提交作业至线下计算节点所在队列进行测试。qsub sample2...
操作指导
如何配置作业运行参数？如何开启GC日志？如何查找引发告警的作业？如何查看工作空间ID等信息？如何查看AccessKey ID和AccessKey Secret信息？如何查看当前作业的Flink版本？如何关闭系统自动开通的Prometheus监控服务？网络连通性 如何设置...
使用教程（时序模型）
每行代表一个时间线在某个时间点的数据，该行的主键部分为时间线标识和时间戳，该行的数据列部分为该时间线在该时间戳下的数据点，可以有多个数据列。其中度量名称（measurement）、数据源（data source）和标签（tags）组成了一个时间线...
基于Flink+Hologres搭建实时数仓
单击左侧导航栏的 作业运维，单击刚刚部署的ODS作业 操作 列的 启动，选择 无状态启动 启动作业。查看MySQL同步到Hologres的3张表数据。在 HoloWeb 开发页面连接Hologres实例并登录目标数据库后，在SQL编辑器上执行如下命令。查orders中的...
基于Flink+Hologres搭建实时数仓
单击左侧导航栏的 作业运维，单击刚刚部署的ODS作业 操作 列的 启动，选择 无状态启动 启动作业。向计算组加载数据。Table Group是Hologres中数据的载体。使用read_warehouse_1查询order_dw数据库中Table Group（本示例为order_dw_tg_...
补丁发布推荐流程
说明 标准作业流程为：线下测试->灰度发布->全量发布。线下测试 使用调试工具，进行补丁调试，请参见 调试补丁。线下使用市场主流手机进行补丁验证，尽可能完整覆盖主流的市场机型和ROM。说明 如果您没有足够的线下机型，可使用 EMAS 移动...
GetMediaProducingJob-查询剪辑合成作业
获取剪辑合成作业的详细信息，包括剪辑合成任务的任务状态、时间线、模板及数据等。本接口仅支持查询近一年的剪辑任务数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
创建自定义组件
WORLD_SIZE=1 MASTER_PORT=9999 MASTER_ADDR=train1pt84cj*-master-0 RANK=0 ElasticBatch（ElasticBatchJob）ElasticBatch是一种分布式离线弹性批量推理作业类型。ElasticBatch Job具有以下特点：轻松并行，吞吐量翻倍。任务等待时间大大...
在DataWorks运维中心查看作业运行信息
DataWorks运维中心展示 离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息，帮助您提升任务运维效率。当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等...
2023-04-13版本
作业开发流程优化 作业开发页面优化为SQL开发页面，提供SQL开发的平台：提供部署上线的隔离机制，避免开发SQL影响线上正在运行的作业。对于Jar和Python作业来说，开发与线上天然隔离，且不需要使用到SQL中的UDF、Connector和Catalog等组件...
部署作业
完成作业开发后，您需要将作业部署。部署将开发和生产隔离，部署后不影响运行中的作业，只有（重新）启动后才会正式上线运行。本文为您介绍如何部署SQL作业、JAR作业和Python作业。前提条件 已完成作业开发。SQL作业开发，详情请参见 SQL...
监控告警与日志问题
本文介绍监控告警与日志中的常见问题。Datastream作业TM日志中抛...配置日志到SLS后，作业启动报错 问题详情 修改作业日志输出到SLS后，作业启动时显示 作业启动失败，请重试，并报错如下：Unknown ApiException {exceptionType=...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
2023年
GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得作业执行者级别的资源使用列表 新说明 指定时间范围内，针对已结束的全部作业进行统计，以“天”为级别展示作业执行者级别的资源使用总量。...
查询加速（MCQA）
支持使用独立的资源池，不占用离线计算资源，可以自动识别查询作业，缓解排队压力，优化使用体验。支持将MCQA（MaxCompute Query Acceleration）查询作业的运行结果写入临时缓存中。当用户后续执行相同的查询作业时，MaxCompute会优先返回...
数据库实时入仓快速入门
此时，如果您希望开发一个数据同步的作业，将这些表和数据都同步到Hologres中，其中user分库分表能合并到Hologres的一张表中，则可以按照以下步骤进行：步骤一：创建Catalog 步骤二：开发数据同步作业 步骤三：启动作业 步骤四：观察全量...
配置监控告警
实时计算Flink版默认使用云监控（免费监控服务）或ARMS提供监控报警服务，配置作业指标或事件监控告警，便于您及时发现并处理异常。本文为您介绍使用不同监控服务时如何配置监控告警。使用限制 部署时提交至Session集群的Flink作业不支持...
Spark开发编辑器
作业类型 Batch：离线应用。Streaming：流应用。完成上述参数配置后，单击 确定 创建应用模板。创建Spark模板文件后，您可以在Spark开发编辑器中配置Spark应用。如何配置Spark应用，请参见 Spark应用开发介绍。Spark应用配置编写完成后，您...
公告
此功能对应MaxCompute管理控制台的 作业运维，作业运维 已经全部覆盖原有能力，详情请参见 作业运维（新版）。优化推荐（部分区域支持）：在DataWorks的数据治理已经全部覆盖原有能力，包括任务持续空输出、持续全表扫描以及适合启用动态...
作业实例详情
通过Logview URL或本地的Logview离线文件以只读方式打开作业详情。使用Logview查看作业的详细信息是比较常用的方式。使用Logview还可以查看其他用户在其他项目空间中提交的任务状态。MaxCompute Studio支持通过输入一个有效的Logview URL...
2020年
2020-12-07 所有区域 消费监控告警 查询编辑器支持查询加速提升数据分析能力 MaxCompute数据分析查询模式原先是离线模式，此次发布查询模式支持MaxCompute查询加速，对于中、小数据量查询作业将执行时间从分钟级缩减至秒级，即查速度上提升...
CDC问题
作业重启时，MySQL CDC源表会从作业停止时的位置消费，还是从作业配置的位置重新消费？MySQL CDC源表如何工作，会对数据库造成什么影响？如何跳过Snapshot阶段，只从变更数据开始读取？如何读取一个分库分表的MySQL数据库？多个CDC作业导致...
查看监控报表
Compaction评分用于衡量一个表分区是否需要执行Compaction操作，通常在离线情况下，该值应低于100。然而，当出现大量导入任务时，该值可能会显著提高。如果该值大于800，需要进行手动干预来优化性能。Disk使用量 磁盘使用量。Disk容量 磁盘...
- 产品推荐
- 这些文档可能帮助您