Spark作业配置
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
查看Spark监控
查看作业监控 您可以通过作业列表或者作业尝试列表查看作业监控。作业列表查看作业监控。登录 Data Lake Analytics管理控制台。单击 Serverless Spark>作业管理。在 作业列表 中，单击目标作业 操作，选择 监控。说明 作业监控 的监控项...
作业停止
如果您对作业进行了修改（例如更改SQL代码、增删改WITH参数、更改作业版本等），且希望修改生效，则需要先上线，然后停止再启动。另外，如果作业无法复用State，希望作业全新启动时，也需要停止后再启动作业。本文为您介绍如何停止作业。...
组件
本文档介绍组件在流式布局画布中的操作方法，包括组件位置调整、复制组件和删除组件等，帮助您更加方便快捷地在移动端可视化应用中对组件进行配置。DataV提供了组件调整位置、复制组件等功能，使流式布局画布中组件内容操作更流畅。您可以...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
组件
本文介绍组件在流式布局画布中的操作方法，包括组件位置调整、复制组件和删除组件等，帮助您更加方便快捷地在移动端可视化应用中对组件进行配置。操作功能 DataV提供了组件调整位置、复制组件等功能，使流式布局画布中组件内容操作更流畅。...
查看作业列表
本文为您介绍如何查看您集群下的作业信息。前提条件 已在E-MapReduce控制台创建on ACK的集群，详情请参见 快速入门。操作步骤 进入作业详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击待查看集群的 名称。单击上方的 作业详情 页...
布局控件
分栏布局
自定义标量函数（UDSF）
说明 python_demo-master 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。在PyCharm中，单击 file>open，打开刚才解压缩完成的 python_demo-master。双击打开 \python_demo-master\udx\udfs.py 后，根据您的业务，修改 ...
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群的内核版本为3.1.6.3及以上版本。已创建Job型资源组，且提交作业时选择在Job型资源组中运行。注意事项 暂不支持修改已...
媒体处理的审计事件
CancelJob 取消转码作业。CategoryTree 查询类目树。CheckResource 检查资源。Create 登录产品售卖页面进行的购买操作。CreateCustomEntity 新增自定义实体。CreateCustomGroup 新增自定义库。CreateFpShotDB 新增视频DNA库任务。...
按量付费闲时版
SpotQuota且引用了OTS、OSS外部表的SQL作业）引用外部表的SpotSQL作业当日总费用=计算输入数据量×单价 计费单价如下：公共云：0.03元/GB 金融云：0.057元/GB SpotMapReduce作业（指计算配额为os_SpotQuota的MapReduce作业）SpotMapReduce...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
如何创建自定义布局
导播台提供了单画面、画中画以及四画面布局等典型布局样式，为满足用户场景的多样性，阿里云导播服务支持用户根据场景需要自定义布局样式。自定义布局步骤 确定布局画面数量、所引用的视频源及位置ID、画面层次关系。确定每个画面的坐标系...
管理作业版本
背景信息 本文从以下方面为您介绍如何管理作业版本：对比作业版本 回滚作业版本 锁定作业版本 删除作业版本 对比作业版本 仅支持SQL代码和作业配置内容的对比，有差异的内容就会被标记出来。登录 实时计算控制台。在 Flink全托管 页签，...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
运维中心
功能 描述 详情 单击目标作业实例所在行的 详情，可以查看作业实例的详细信息，包括执行参数、作业内容以及作业日志。停止 单击目标作业实例所在行的 停止，可以终止正在运行的作业实例。流式作业 在左侧导航栏中，选择 工作流记录>流式...
编辑模式
您可以在仪表盘的编辑模式下，进行添加图表、调整布局、编辑图表、导入图表、修改仪表盘名称等操作。前提条件 已创建仪表盘。具体操作，请参见 创建仪表盘。功能入口 重要 编辑模式下的所有操作，都必须保存后才会生效，即在仪表盘页面的右...
SQL作业开发
本文为您介绍Flink全托管SQL作业开发的操作步骤。使用说明 在编写SQL作业代码时，您可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 ...
格子
本文档介绍格子在流式布局画布中的操作方法，包括格子高度调整、分裂格子和删除格子等，帮助您更加方便快捷地在移动端可视化应用中对格子进行配置。DataV提供了格子调整高度、分裂格子等功能，使流式布局画布中内容操作更流畅。您可以在...
查看作业结果
本文介绍作业运行完成后如何查看作业性能指标和作业运行结果。前提条件 已创建作业并且作业已运行完成，具体操作，请参见 创建作业。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能...
如何创建自定义布局
导播台提供了单画面、画中画以及四画面布局等典型布局样式，为满足用户场景的多样性，阿里云导播服务支持用户根据场景需要自定义布局样式。自定义布局步骤 确定布局画面数量、所引用的视频源及位置ID、画面层次关系。确定每个画面的坐标系...
2023-04-13版本
暂无 SQL作业调试流程优化 优化了SQL作业的调试流程，不再需要设置调试的Session集群，而是在作业调试阶段选择调试作业要使用的Session集群，避免作业多版本情况下需要频繁更换调试集群的问题。作业调试 新增安全页面 将用户授权与密钥托管...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
Shell作业配置
本文介绍如何配置Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
排版
线条及全屏排版具体应用场景 线条：使用线条可以让网站浏览者的模块结构更清晰，如下图所示。全屏排版：可用于设计精美的首页。支持多页、全屏展示，每一页内容可单独编辑，比如您在第一页中放置一个按钮，实际上是将按钮放进了容器内，第...
格子
本文介绍格子在流式布局画布中的操作方法，包括格子高度调整、分裂格子和删除格子等，帮助您更加方便快捷地在移动端可视化应用中对格子进行配置。操作功能 DataV提供了格子调整高度、分裂格子等功能，使流式布局画布中内容操作更流畅。您...
指定作业的报警设置
DLA不仅支持使用定义好的报警模板对所有作业进行监控报警，还支持对单个作业进行监控报警。本文介绍如何针对特定的作业进行监控报警。前提条件 您已经成功购买DLA虚拟集群。如果您是RAM用户，请确认已具备 AliyunARMSFullAccess 权限。您...
删除导播台布局
调用DeleteCasterLayout删除导播台布局数据。使用说明 先通过 CreateCaster接口 创建导播台，再调用本接口删除导播台布局数据。QPS限制 本接口的单用户QPS限制为10次/秒。超过限制，API调用会被限流，这可能会影响您的业务，请合理调用。更...
查询虚拟演播厅布局
调用DescribeStudioLayouts获取虚拟演播厅布局设置。使用说明 先通过 AddStudioLayout接口 添加虚拟演播厅的布局设置，再调用本接口获取虚拟演播厅布局设置。QPS限制 本接口的单用户QPS限制为15次/秒。超过限制，API调用会被限流，这可能会...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
Impala SQL作业配置
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
创建作业
本文以运行水分子算例介绍如何快速创建作业。前提条件 已在集群中创建用户，具体操作，请参见 创建用户。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在 集群 页面，找到gromacs-test集群，单击 远程连接。在 ...
配置作业部署信息
在作业启动前，您需要配置作业部署信息。本文为您介绍如何配置作业部署信息。前提条件 其他阿里云账号或RAM用户等访问项目空间，并进行作业资源配置等操作时，则需要为其进行授权，详情请参见 作业操作授权。已完成作业部署，详情请参见 ...
Quota调度策略说明
MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统可以并发运行多个作业，因此涉及到计算资源的分配。MaxCompute中每个包年包月二级Quota的调度策略分为FIFO（先进先出）和FAIR（公平调度）。您可以通过设置二级Quota的调度...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
配置自动调优
Flink作业支持智能调优和定时调优两种自动调优模式。本文为您介绍如何配置智能调优和定时调优，以及配置过程中的注意事项。背景信息 通常，您需要花费大量的时间进行作业调优。例如，新上线一个作业时，需要考虑如何配置该作业的资源、并发...
- 产品推荐
- 这些文档可能帮助您