DataHub
单击左侧导航栏中的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业。在 创建作业模板 页面，按照页面提示进行参数配置后，单击 确定 创建Spark作业。单击Spark作业名，在Spark作业编辑框中输入以下作业内容，并按照以下参数...
HBase标准版2.0版本Phoenix服务
单击左侧导航栏中的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业。在 创建作业模板 页面，按照页面提示进行参数配置后，单击 确定 创建Spark作业。单击Spark作业名，在Spark作业编辑框中输入以下作业内容，并按照以下参数...
Lindorm文件引擎
单击左侧导航栏中的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业模板。在 创建作业模板 页面，按照页面提示进行参数配置后，单击 确定 创建Spark作业。单击Spark作业名，在Spark作业编辑框中输入以下作业内容，并按照以下...
MongoDB
单击左侧导航栏中的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业。在 创建作业模板 页面，按照页面提示进行参数配置后，单击 确定 创建Spark作业。单击Spark作业名，在Spark作业编辑框中输入以下作业内容，并按照以下参数...
功能特性
数据访问 作业管理 Lindorm计算引擎支持通过Lindorm管理控制台、DMS服务和DataWorks平台调度计算作业，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。作业管理 Ganos时空服务 时空索引 Lindorm宽表引擎在原有的...
统计信息
关闭自动收集 统计作业管理 查看统计作业 通过 SHOW ANALYZE 来查看统计信息收集作业的信息。语法 SHOW[AUTO]ANALYZE|job_id>[WHERE[STATE=["PENDING"|"RUNNING"|"FINISHED"|"FAILED"]]];参数说明 参数名称 参数说明 AUTO 仅展示自动收集...
2021年
基于Policy对具备内置角色的用户进行权限管理 2021-11-29 MaxCompute开放租户级别的用户管理能力。更新说明 支持通过MaxCompute控制台管理用户。角色规划 2021-11-23 重构MMA内容。更新说明 重构MMA内容。MMA概述 2021-11-18 新增网易BI...
Spark FAQ
如果该错误是DLA控制台作业管理界面报出，请先 创建虚拟集群，再提交作业。如果您使用的不是控制台方式，而是Aliyun OpenAPI、Spark-submit脚本或者Jupyter等，需要检查配置参数VcName对应的需求集群是否未填写或者填写错误。查找可用的...
批量删除作业
1 背景 由于历史原因，提交了大量的批量计算 DAG 作业，但是作业没有及时清理；或者单次提交了大量的作业，需要做清理操作。目前批量计算控制台支持单页批量删除，但若存在几十页作业的情况，清理动作也比较麻烦。因此提供了一个批量清理...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业的方法 使用命令行 bcs sub"python test.py"-p./test.py 该命令会将 test.py 文件打包成 worker.tar.gz 并上传到指定位置，然后再提交作业...
停止作业
当作业运行失败或不再需要...在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，在 集群 列表中选择作业所在集群。单击 作业列表 页签，在作业状态栏选择 未完成。单击要停止的作业操作列的 详情。单击作业信息面板右下角的 停止作业。
产品概述
BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的计算机程序，让它在阿里云的多个 VM 实例上同时运行，然后把结果写入到指定的持久化存储位置...
查看作业结果
在左侧导航栏，选择 作业与性能管理>作业。单击目标作业列表右侧 详情，可以查看作业详细信息。查看作业性能指标。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器。找到gromacs-test集群，在操作列，单击 节点。选择作业和节点并完成...
监控作业
在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，选择目标集群，单击 作业监控 页签。设置筛选条件。支持设置的筛选条件如下：时间段：过滤某一时间段内的作业数据。可快速选择查看距离当前时间前1小时、4小时、12小时或1天的数据...
自动伸缩最佳实践
在左侧导航栏，选择 作业与性能管理>作业。在 集群 列表中，选择AutoScaling集群，单击 创建作业。在 创建作业 页面，选择 编辑作业文件>新建文件>使用文件模板>pbs demo。在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 ...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
在Serverless集群中提交作业
在左侧导航栏，选择 作业性能与性能管理>作业。在 作业 页面上方的 集群 下拉列表处，选择Serverless集群。单击 提交作业 页签。完成作业参数配置，然后单击 提交作业。提交作业时需要配置ECI实例相关参数和作业相关参数。系统会根据配置...
2023-04-13版本
管理自定义Catalog 智能诊断能力增强 本次提供了对作业开发过程和作业运行过程中产生的错误日志智能分析的能力，在日志界面查看信息时，系统会自动分析日志内容并提供可执行的操作建议。作业智能诊断 SLS连接器客户端升级 优化了SLS连接器...
Serverless Spark概述
同时，虚拟集群也可以配置默认的Spark作业参数，方便您统一管理Spark作业。关于如何创建虚拟集群，请参考 创建虚拟集群。计算单元CU（Compute Unit）CU主要是Serverless Spark计量的基本单元，1CU=1 vCPU 4GB Memory。作业结束后，DLA会...
Apache Log4j 0Day安全漏洞公告说明
安全建议 客户侧临时修复方案 在Flink开发控制台左侧菜单栏，选择 配置管理>作业默认配置 后，将如下JVM配置写入 其他配置 中。env.java.opts:'-Dlog4j2.formatMsgNoLookups=true' 该参数会禁止Log4j2的Lookup功能，从而屏蔽掉此功能带来的...
开通实时计算Flink版
基本概念 您可以了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。权限管理 RAM用户、RAM角色等访问Flink控制台需要RAM权限（例如工作空间的查看、购买）和项目空间权限（例如...
操作指导
在 配置管理 页面 作业默认配置 页签 更多Flink配 置文本框，添加如下代码。env.java.opts:>-Dsun.net.spi.nameservice.provider.1=default -Dsun.net.spi.nameservice.provider.2=dns,sun-Dsun....
2021-12-16版本
本文为您介绍2021-12-16号发布的Flink全托管版本的重大功能变更和主要缺陷...优化作业资源管理方案。优化DataStream Connector。详情请参见 MySQL CDC DataStream Connector。修复Gemini Backend异常。修复Apache Flink社区1.13版本已知问题。
2023-06-21版本
SQL作业开发 部署作业 成员管理API开放 开放成员管理API，可通过API完成自动化授权。无 页面体验优化 作业运维列表支持自定义样式布局和筛选。优化部分UI样式。优化部分页面布局，扩大日志等信息页面的区域。无 告警能力增强 支持无数据告...
集群概述
重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免影响业务稳定性。计算节点 用于执行高性能计算作业的节点。对于不同规模的集群，建议的管控节点配置和作业执行数量如下：集群规模...
作业浏览
通过MaxCompute Studio的Job Explorer可以方便查看当前用户提交的MaxCompute实例情况，包括运行状态、作业类型、起止时间等。打开Job Explorer 在顶部菜单栏，单击 View>Tool Windows>Job Explorer 打开 Job Explorer。查看项目的作业实例 ...
2023-08-21版本
CDAS功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。新增OceanBase连接器，可以将OceanBase数据库作为结果表和维表使用。OceanBase是阿里巴巴和蚂蚁集团100%...
AI负载调度
允许系统管理员使用自定义队列的作业队列管理，以提高队列的灵活性。结合Quota系统，ack-kube-queue自动优化了工作负载和资源配额管理，以便最大化利用集群资源。使用任务队列ack-kube-queue 异构资源调度 ACK为CPU、GPU等异构资源提供了...
视频DNA
视频DNA采用先进的视频指纹技术标记视频唯一身份，具有稳定性，不会随音视频文件的格式转换、剪辑拼接、压缩旋转等变换而发生变化，应用于视频查重、版权保护等场景，捍卫数字媒体版权尊严。...视频DNA管理：提供视频DNA完整的SDK示例代码。
视频DNA
视频DNA采用先进的视频指纹技术标记视频唯一身份，具有稳定性，不会随音视频文件的格式转换、剪辑拼接、压缩旋转等变换而发生变化，应用于视频查重、版权保护等场景，捍卫数字媒体版权尊严。...视频DNA管理：提供视频DNA完整的SDK示例代码。
管理OSS投递任务（新版）
您可以在数据投递概览页面管理OSS投递任务，包括查看OSS投递任务的基础信息、统计报表，修改配置并重启任务、删除OSS投递任务等操作。前提条件 已创建OSS投递任务。具体操作，请参见 创建OSS投递任务（新版）。已开启任务运行日志。具体...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
OSS参考使用说明
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
名词解释
在BatchCompute 系统中，用户可以通过命令行工具、管理控制台或 SDK 提交、管理和查询作业。任务 一个作业由一组任务（Task）及其依赖关系组成。批量计算支持能以有向无环图 DAG（directed acyclic graph）形式描述的作业。任务间的依赖...
作业启动
支持作业间快照的共享，但需要满足作业间的状态的兼容性，详情请参见 作业状态集管理。允许忽略部分算子状态（AllowNonRestoredState）说明 仅JAR作业支持。默认情况下，Flink系统会尝试将整个快照与正在提交的作业匹配。作业的修改引起算...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
临时查询
背景信息 本文为您介绍临时查询的相关操作，具体如下：新建作业 设置作业 运行作业 编辑锁 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制...
作业优先级
当您通过DataWorks的基线管理功能设置MaxCompute作业优先级时，MaxCompute作业优先级=9-DataWorks基线优先级。说明 DataWorks临时查询，默认没有基线，发起的MaxCompute作业最低优先级为9。DataWorks工作流，由于有默认基线优先级为1，所以...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
项目管理
开启安全模式后，需要在运行集群的用户管理中添加提交作业的EMR用户，详情请参见 管理用户。在开启安全模式的项目中提交作业时，阿里云账号以默认hadoop用户执行，RAM用户则默认以当前RAM用户同名的EMR用户执行作业。进入数据开发的项目...
- 产品推荐
- 这些文档可能帮助您