监控指标说明
JM所在的JVM创建后，加载类的总数或卸载类的总数过大，会导致占用过大的内存空间，从而影响作业性能。无 TM资源 指标 含义 详情 单位 TM CPU Load 单个TM CPU的负载。指一段时间内CPU正在处理以及等待CPU处理的进程数之和的统计信息。通常...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
工作流编辑
E-MapReduce工作流支持基于有向无环图（DAG）并行执行大数据作业，您可以通过E-MapReduce控制台管控工作流调度以及查看工作流的执行状态。背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度...
开发和调试
开发人员可定义Combiner以减少存储消息的内存和网络数据流量，缩短作业的执行时间。改进业务逻辑。数据量大时，读取磁盘中的数据可能耗费一部分处理时间。减少需要读取的数据字节数可以提高总体的吞吐量，提高作业性能。您可通过以下方法...
批量删除作业
1 背景 由于历史原因，提交了大量的批量计算 DAG 作业，但是作业没有及时清理；或者单次提交了大量的作业，需要做清理操作。目前批量计算控制台支持单页批量删除，但若存在几十页作业的情况，清理动作也比较麻烦。因此提供了一个批量清理...
2022年
如Project内某些作业占用大量资源会影响整体项目作业时效（如数据回刷作业占大量资源但时效要求不高、某些占用大量资源且时效要求高的算法作业），需要进行Quota隔离指定资源进行计算，可以通过Use Quota功能直接指定，无需单独创建Project...
Apache Log4j 0Day安全漏洞公告说明
说明 由于大版本间可能不兼容，为了保证升级前后版本之间的兼容性，请将版本升级至作业当前大版本中的最新小版本。相关链接 Advise on Apache Log4j Zero Day(CVE-2021-44228)Apache Log4j Security Vulnerabilities Remote code injection...
Java SDK常见问题
Instance创建后会调用 instance.waitForSuccess()方法，一旦作业耗时大，就会卡顿。此时如果有Logview，就可以查看并追踪作业卡顿的具体原因。用户B从表面看就是作业卡顿了，没有任何输出。Java SDK的RestClient本身有重试机制，如果系统在...
CDC问题
如果是通过CTAS方式同步数据导致的数据库压力过大，可以将多个CTAS作业合并为一个作业运行。在配置相同的情况下，为每一个MySQL CDC源表配置相同Server ID，可以实现数据源的复用，从而减小数据库的压力。详情请参见 代码示例四：多CTAS...
电子邮件安全指南
一、电子邮件威胁种类 1、病毒、蠕虫、特洛伊木马：是对计算机、服务器或计算机网络造成损害的软件、代码和程序。这三种恶意代码可以作为电子邮件附件引诱用户打开或运行，一旦它成功感染了受害者的计算机，它就会肆无忌惮实施破坏行为，...
离线同步并发和限流之间的关系
在不限流的情况下，数据集成会提供现有任务配置（并发、内存）、硬件环境（数据源规格、网络、）下最大的传输性能。同步速率（限流）是指按照用户配置的作业整体速度限制、以及任务最大并发数来运行任务。数据集成在编排执行计划时，每个...
媒体处理常见问题
我们推荐使用阿里云CDN服务来分发您的内容，您可以将存储转码输出内容的OSS Bucket作为阿里云CDN的原站，缩短用户查看媒体文件的延迟，提高用户访问的响应速度，解决网络带宽小、用户访问量大、网点分布不均等问题。更多信息，请参见 CDN...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
大数据上云及巡检服务内容说明
2、对应售前方案，确定迁移目标端所使用的阿里云大数据组件信息（规格、版本、网络连通性等），数据迁移方式（存量迁移方式/增量迁移方式），作业迁移方式，迁移工具，一致性校验标准。数据迁移设计 基于需求详细调研的结果，设计【XXX】...
Hive作业异常排查及处理
Drop大分区表超时 报错日志：FAILED:Execution ERROR,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.org.apache.thrift.transport.TTransportException:java.net.SocketTimeoutException: Read timeout 原因分析：作业异常的...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
CREATE TABLE AS（CTAS）语句
示例六：多个CTAS语句时，新增CTAS语句加入数据同步作业 使用VVR 8.0.1及以上版本时，多个CTAS语句的作业启动后，如果新增CTAS语句，支持从作业快照重启，从而捕获到新的表，对新增表进行数据同步。SQL作业开发时需要增加以下语句，开启...
作业发生切换或者TaskManager失败
因为作业规模较大，即RPC请求量较大，但JM资源不足，从而RPC请求积压，因此导致JM和TM之间的心跳和PRC请求超时。解决方案 如果是持续GC导致的报错，则建议通过作业内存情况和GC日志确认GC的耗时和频率，如果确实存在高频GC或GC耗时的问题，...
迁移方案
集群最大CU规格 4核16 GB 80 CU 8核32 GB 160 CU 16核64 GB 800 CU 24核96 GB 800 CU以上 网络互通 在EMR控制台创建完DataFlow集群之后，在迁移作业之前，您还需要确保提交Flink作业的客户端所在的机器与DataFlow集群之间的网络互通。...
监控与报警
网络接收数据量（作业维度）指定作业的网络接收数据量（MB）。网络发送数据量（作业维度）指定作业的网络发送数据量（MB）。GPU算力使用率（作业维度）指定作业的GPU算力使用率。GPU显存使用率（作业维度）指定作业的GPU显存使用率。GPU SM...
Windows系统的ECS实例中安全审计日志简要说明
3-Network（通过网络访问系统）：用户或计算机通过网络进行的访问。最常见场景是连接到服务器的共享文件夹、共享打印机等共享资源。通过网络登录IIS时也被记为这种类型，但基本验证方式的IIS登录是个例外，它将被记为类型8。4-Batch（作为...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
计算费用（按量付费）
大部分的SQL作业有分区过滤和列裁剪，所以通常该值会远小于源表数据大小。分区过滤：例如SQL语句中含有 WHERE ds>20130101，ds 是分区列，则计费的数据量仅包括实际读取的分区，不包括其他分区的数据。列裁剪：例如SQL语句 SELECT f1,f2,f3...
配置自动调优
作业某VERTEX节点连续6分钟实际处理数据时间占比超过80%，调大作业并发度使得SLOT使用率降低到50%，但不超过设置最大的资源（默认为64 CU）。所有TM的平均利用率连续6分钟超过80%，调高并发度使TM的CPU使用率降低到50%。所有TM的最大CPU...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
SQL作业开发
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。可选：单击 调试。您可以使用作业调试功能模拟作业运行、检查输出结果，...
测试SCC集群性能
背景信息 超级计算集群SCC（Super Computing Cluster）在弹性裸金属服务器基础上，加入高速RDMA（Remote Direct Memory Access）互联支持，大幅提升网络性能，提高大规模集群加速比。因此SCC在提供高带宽、低延迟优质网络的同时，还具备...
规格常见问题
但是当同一地域已经开通按量计费模式时，如果作业量较大，您可以考虑对于消耗资源少的作业采用包年包月计费模式，消耗资源较大的作业采用按量计费模式，保证作业运行时一直有计算资源。更多包年包月项目使用按量计费资源信息，请参见 包年...
SubmitServerlessJob-提交Serverless作业
调用SubmitServerlessJob提交Serverless作业到E-HPC集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
Flink SQL作业快速入门
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。（可选）步骤五：进行作业调试 在作业开发页面顶部，单击 调试。您可以...
网络架构升级
升级目的 优化IP资源的使用效率：大幅度减少您的交换机IP数的占用，IP数占用从作业JM/TM个数粒度（每个Flink作业的每个JM/TM都会占用一个IP）减少到工作空间粒度（内部架构占用2-3个IP)。加强网络安全隔离措施：进一步增加您的VPC内网络...
查看运行分析
对于开源Flink实时计算引擎的实时实例，可在Dataphin中查看运行分析。运行分析不仅可以支持对实时实例信息进行分析、刷新等操作，也...JM所在的JVM创建后，加载类的总数或卸载类的总数过大，会导致占用过大的内存空间，从而影响作业性能。个
修改虚拟交换机
相关文档 Flink新网络架构可以大幅度减少您的交换机IP数的占用，详情请参见 网络架构升级。实时计算Flink版默认不具备访问公网的能力，但通过在VPC中创建NAT网关，并创建SNAT条目，将Flink所在的交换机绑定至弹性公网IP（EIP），即可通过...
作业配置说明
memory-overhead：适用于堆外内存开销较大的作业（例如Spark Python作业），Executor规格配置如下：spark.executor.cores=2 spark.executor.memory=8192m spark.executor.memoryOverhead=8192m xlarge-memory-overhead：适用于堆外内存开销...
计费常见问题
通过经典网络及VPC网络从MaxCompute下载数据不收费，仅外网下载数据收费。更多下载费用信息，请参见 数据传输费用（公网下载）。MaxCompute服务账单中的预付费和后付费费用包含哪些？MaxCompute服务账单中的预付费和后付费包含的费用如下：...
网络连通性
本文为您介绍网络连通性有关的常见问题。Flink全托管集群如何访问公网？如何访问跨VPC的其他服务？如何设置白名单？如何排除网络问题？如何查看公网带宽情况？Flink全托管集群如何访问公网？背景说明 Flink全托管集群默认不具备访问公网的...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
- 产品推荐
- 这些文档可能帮助您