Logview诊断实践
解决措施：需要优化设计SQL，减少分区的数量，包括：分区裁剪、过滤掉不需要读的分区、把大作业拆成小作业。如何判断SQL中分区剪裁是否生效，以及分区裁剪失效的常见场景请参考文章：分区剪裁合理性评估。产生原因二：小文件过多。产生小...
2020年
通过该视图，使用人员可以快速定位运行时间较长的慢作业、资源消耗高的大作业，从而有针对性地进行作业优化或资源容量规划。2020-12-08 无。元数据视图列表 按量计费SQL支持日累计消费限制 MaxCompute发布按量计费SQL日累计消费限制功能，...
网络拓扑概述
网络拓扑图可以清晰地展示网络中资源的连接和关系，可视化网络结构，帮助您快速了解您的云上网络架构，进行网络配置验证、网络问题排查和云网络资源统一运维。背景信息 当前阿里云上网络资源类型丰富，功能形态各异，大量网络资源分散在...
查询加速（MCQA）
海量数据明细查询分析 MCQA可以自动识别查询作业特征，既能快速响应，处理小规模作业，同时还可以自动匹配大规模作业资源需求，满足分析人员分析不同规模和复杂度的查询作业的需求。需要探索的历史数据量大、真正需要的有效数据量不大、...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
流量镜像概述
网络运维场景：网络问题定位 通过流量镜像来检查网络问题，运维人员可以直接查看传输的内容（例如：分析TCP的重传）来排查问题，而不依赖进入虚拟机内部抓取报文。功能计费 计费说明 流量镜像总费用=实例费+流量处理费 实例费=开启镜像会话...
Routine Load
即如果在采样窗口内，错误行数大于，则会导致例行作业被暂停，需要人工介入检查数据质量问题。说明 被 where 条件过滤掉的行不算错误行。strict_mode"strict_mode"="true"指定是否开启严格模式，默认为 false。开启后，非空原始数据的列...
2022-09-19版本
管理AnalyticDB MySQL（ADB）Catalog 性能优化 引入作业原生快照格式，大幅优化原来标准格式作业快照在大状态下容易超时的问题，整体作业稳定性得到显著提升。详情如下表所示。类别 优势 作业快照完成时间 平均提升5~10倍，提升比例随增量...
作业超时监控告警
您需要提前配置该监控指标，如果作业运行时间过长，可以及时检查是否存在资源紧张或作业计算量过大等问题。作业运行时长_SQL类型 以MaxCompute项目为单位，监控项目下的所有SQL类型作业。如果某个SQL作业的运行时间（包含等待时间）超过...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
Quota调度策略说明
可能存在一个大作业占用绝大部分资源，导致同Quota组其他作业一直处于排队等待被编译状态。说明 可通过查看logview确认作业运行状态，若子状态为 Waiting for cluster resource，则表示作业排队等待被编译。可通过设置单作业CU上限降低此...
作业发生切换或者TaskManager失败
本文介绍作业发生切换或者TaskManager失败的问题。报错：akka.pattern.AskTimeoutException 报错原因 因为JobManager或TaskManager的内存不足导致持续GC，从而导致JM和TM之间的心跳和PRC请求超时。因为作业规模较大，即RPC请求量较大，但JM...
SetSchedulerInfo-设置调度器信息
SchedInterval 指调度周期，单位：秒 调度周期指运行多个作业之间时间间隔，如设置为 60，表示本次作业开始运行 60 秒后才能开始运行下次作业。默认值：60 60 SchedMaxJobs integer 否 集群调度的最大作业数。若集群排队和运行的作业数总和...
规格常见问题
但是当同一地域已经开通按量计费模式时，如果作业量较大，您可以考虑对于消耗资源少的作业采用包年包月计费模式，消耗资源较大的作业采用按量计费模式，保证作业运行时一直有计算资源。更多包年包月项目使用按量计费资源信息，请参见 包年...
企业级状态后端存储介绍
GeminiStateBackend具有存储计算分离的技术，使得状态存储可以不依赖于本地盘，可以避免因本地状态数据过大而引发作业故障的问题。有关存储计算分离相关配置，请参见 存算分离配置。支持KV分离，大幅提升双流或多流Join作业的效能。双流或...
2022-03-04版本
在作业探查页签中，新增日志分页的能力，避免作业长期运行会导致日志过大页面无法打开的问题。支持动态修改日志级别。在不重启作业的前提下，可以在作业探查页签中，动态修改运行中的TM的日志级别，以满足您定位问题的需求。支持查看失败的...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。...相关文档 实时计算Flink版系统检查点或作业快照相关的常见问题，请参见 系统检查点或作业快照。SQL修改所造成的兼容性影响详情，请参见 SQL修改及兼容性。
功能与优势
您可以进行细粒度资源管理，支持SQL算子级别的精细化资源（CPU和Memory）配置，大规模作业资源利用率提升100%。付费类型 您可以根据自身业务特点，选择包年包月或者按量付费。特色能力 数据实时入湖入仓 支持整库实时同步、分库分表实时...
资源规划及规格选型
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
常见问题
Q：我有大量渲染作业，但是波峰波谷明显，有什么好建议？A：使用自定义集群，可长期维持在一定数量，满足日常的渲染需求，当波峰来临时，可以提交 AutoCluster 任务或者调高集群规模（波峰过去调低数量），省钱又省力。Q：制作完场景后我要...
Java SDK常见问题
本文为您介绍Java SDK的常见问题。问题类别 常见问题 SDK咨询 如何下载Java SDK包？如何通过MaxCompute Java SDK设置SQL的Flag？如何使用Logview排查Java SDK报错？如何在MaxCompute的Java业务代码中执行SQL作业？使用SQLTask执行SQL查询时...
写入或更新调优指南
很多情况下，写入慢也可能是Flink作业中其他步骤的问题。您可以拆分Flink作业的节点，并观察Flink作业的反压情况，是否在读数据源或一些复杂的计算节点已经反压，数据进入到Hologres结果表的速率已经很慢，此时优先排查Flink侧是否有可以...
Apache Log4j 0Day安全漏洞公告说明
说明 由于大版本间可能不兼容，为了保证升级前后版本之间的兼容性，请将版本升级至作业当前大版本中的最新小版本。相关链接 Advise on Apache Log4j Zero Day(CVE-2021-44228)Apache Log4j Security Vulnerabilities Remote code injection...
SubmitJob-提交作业
调用SubmitJob在指定集群提交作业。接口说明 在集群提交作业前，请确认上传作业文件（如 job.sh）到集群。具体操作，请参见 CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
EditJobTemplate-编辑作业模板
调用EditJobTemplate编辑作业模板。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
CreateJobTemplate-创建作业模板
调用CreateJobTemplate创建作业模板。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
ListJobTemplates-查询作业模板列表
调用ListJobTemplates查询作业模板列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
通过Java SDK开发Spark应用
本文介绍通过Java SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业的操作步骤。前提条件 JDK为1.8及以上版本。已创建 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版集群。已创建Job型资源组。...
作业配置指南
Serverless Spark作业的描述格式为JSON格式，包含作业名称，JAR包路径以及作业配置参数等信息。本文主要介绍如何配置Serverless Spark任务格式。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持...
常见问题
您可以根据以下步骤，通过DataFlow集群外的机器，提交作业到DataFlow集群：确保DataFlow集群和DataFlow集群外的机器网络互通。配置提交Flink作业的客户端的Hadoop YARN环境。DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/...
概览
使用该工具，您无需再依赖繁琐的JSON或YAML模板语法，而是可以通过熟悉的编程语言完成资源的创建和配置，实现自动化部署及运维。使用须知 ROS CDK已经支持在TypeScript、JavaScript、Python、Java和C#中使用，您可以选择任意已支持的编程...
AttachCluster最佳实践
0 背景 AttachCluster作业是批量计算最新推出的 作业类型。它结合了固定集群作业和AutoCluster作业的优势，既能自动管理集群生命周期，弹性伸缩资源，又能使用分布式缓存节省资源。本文的目的在于介绍在阿里云批量计算服务上运行...
教育场景识别
产品介绍 读光试题作业OCR识别产品能力，主要针对教育应用场景中对试题题目、数学公式、速算题目等信息的智能化识别需求，通过对通用OCR高精度识别能力的教育场景迭代优化，为用户提供数学试题图片中题目文本及数学公式的识别、速算题目...
使用教程（时序模型）
Flink与Tablestore实例必须处于同一专有网络VPC。Tablestore实例的服务地址必须使用VPC地址。当前支持使用此功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、中国香港、...
配置自动调优
作业某VERTEX节点连续6分钟实际处理数据时间占比超过80%，调大作业并发度使得SLOT使用率降低到50%，但不超过设置最大的资源（默认为64 CU）。所有TM的平均利用率连续6分钟超过80%，调高并发度使TM的CPU使用率降低到50%。所有TM的最大CPU...
使用资源目录和共享VPC实现多账号网络互通
但随着业务复杂度的增加，会面临如下的新问题：分散配置导致无法进行网络集中运维 企业网络架构是一张经过规划的大网，当网络设施分散在每个业务账号之下时，企业网络运维人员很难做到网络的集中控制。重复网络资源配置导致成本增加 在每个...
实时计算Flink读写OSS或者OSS-HDFS
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。单击 部署。完成作业开发和深度检查后，即可部署作业，将数据发布至生产...
产品架构
比较早的解决方案，是将虚拟机的网络和物理网络融合在一起，形成一个扁平的网络架构，例如大二层网络。随着虚拟化网络规模的扩大，这种方案中的ARP欺骗、广播风暴、主机扫描等问题会越来越严重。为了解决这些问题，出现了各种网络隔离技术...
- 产品推荐
- 这些文档可能帮助您