Spark FAQ
此时需要增加作业的资源总量，调大spark.executor.instances参数，或者调大Executor规格（spark.executor.resourceSpec）。最好不要超过同时运行的Stage的Tasks总数，否则会导致资源浪费。4.查看是否由GC导致。查看方式：单击展开对应作业...
MaxCompute账单用量明细分析
根据查询结果可以得到以下结论：大作业可以减小数据读取量、降低复杂度、优化费用成本。可以按照 ds 字段（按照天）进行汇总，分析某个时间段内的SQL消费金额走势。例如利用本地Excel或Quick BI等工具绘制折线图等方式，更直观地反映作业的...
Spark常见报错
本文汇总了 AnalyticDB for MySQL Spark作业常见的错误码、报错信息、报错原因和解决办法。您可以参考本文解决报错。报错概览 现象 错误码 报错信息 Spark访问JDBC数据源失败。JDBC_SOURCE_TABLE_NAME_DUPLICATE Both '$jdbcTableName' and...
通过控制台提交作业
E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC管理控制台提交作业。前提条件 集群和集群节点状态都为 运行中。已创建用户，具体操作，请参见 管理用户。已准备好作业文件。E-HPC支持多种...
文网文证有哪些种类？
文网文分为以下几大类：网络游戏、网络音乐、网络动漫、网络表演、网络艺术品、网络展览等。目前阿里云可以代客户办理网络音乐、网络动漫、网络表演这三类文网文证。音乐类文网文 网络音乐产品：是指用数字化方式通过互联网、移动通信网、...
虚拟机自定义规范创建
可以更改计算机名称、网络设置和许可证设置。自定义客户机操作系统可以快速设置虚拟机操作系统主机名、IP地址、子网掩码、网关等信息。您可以在虚拟机部署期间或之后应用自定义。在克隆或部署过程中，您可以指定自定义设置或选择现有自定义...
专有网络和交换机概述
您可以在自己定义的专有网络中使用阿里云资源，也可以在一个专有网络中创建多个交换机来划分子网。一个专有网络内的子网默认私网互通。本文为您介绍专有网络、交换机、路由器的概念和作用以及IPv4和IPv6网段的功能和差异。专有网络和交换机...
Spark常见问题
作业报错 运行Spark作业时，报错User signature dose not match，如何解决？运行Spark作业时，报错You have NO privilege，如何解决？运行Spark作业时，报错Access Denied，如何解决？运行Spark作业时，报错No space left on device，如何...
计量计费
计费单元 模型服务 计费单元 通用文本向量 token 重要 这里token数量指的是大模型使用的tokenizer分词后对应的最小分词单元的数量。在通用文本向量模型中，单个token平均约对应1.5个汉字，0.7个英文单词。通用文本向量服务根据模型输出结果...
计量计费
计费单元 模型服务 计费单元 通用文本向量 token 重要 这里token数量指的是大模型使用的tokenizer分词后对应的最小分词单元的数量。在通用文本向量模型中，单个token平均约对应1.5个汉字,0.7个英文单词。通用文本向量服务根据模型输出结果...
配置作业资源
作业启动前或者作业上线后，您可以配置和修改作业资源，本文为您介绍如何配置和修改基础模式和专家模式的作业资源。使用限制 仅SQL作业支持配置专家模式。注意事项 作业资源配置后，需要重启作业才能生效。操作步骤 进入资源配置入口。登录...
Java SDK Demo
}/*返回一个Spark Job当前的状态*@param sparkJobId 用户Spark作业的ID*@return 返回Spark作业的状态,类型为String*@throws ClientException 提交作业可能因为网络原因等抛出错*/public static String getSparkJobStatus(IAcsClient client...
计算成本优化
当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时，MaxCompute为您提供 计算成本优化 功能，可基于实际作业请求量和资源配置期望，对 包年包月一级Quota 类型的计算...
竞价实例
当您希望以较低的成本执行Spark作业（包括Spark SQL作业和Spark Jar作业）时，可以为Job型资源组开启竞价实例功能。开启竞价实例功能后，集群会尝试使用闲置（更低价）的Spark Executor资源执行Spark作业。本文主要介绍什么是竞价实例，...
通用文本向量模型
另外，为了避免大量突发的作业占据太多资源，限制并发的作业数为3个，即任意时间，单个用户最多只有3个通用文本向量的异步作业在并发运行，其他的作业只能在队列中等待。text-embedding-async-v2 如果您熟悉编程语言，推荐您使用SDK或API...
产品架构
比较早的解决方案，是将虚拟机的网络和物理网络融合在一起，形成一个扁平的网络架构，例如大二层网络。随着虚拟化网络规模的扩大，这种方案中的ARP欺骗、广播风暴、主机扫描等问题会越来越严重。为了解决这些问题，出现了各种网络隔离技术...
基本概念
常见类型：提交媒体信息作业、提交转码作业、查询转码作业、提交截图作业、提交智能生产作业、提交智能标签作业、提交媒体审核作业、提交视频DNA作业、提交视频版权水印作业等。提交任务：提交方式：支持使用MPS控制台、调用各类提交作业的...
混访混挂迁移示例
专有网络和经典网络存在很大的不同，除了安全隔离外，专有网络使您在云上具备了网络管理能力，但这些管理需要使用相关的网络产品实现。本文档中的迁移示例仅供参考，很多系统都比迁移示例的系统复杂。在迁移前需要仔细评估，梳理系统依赖，...
上下游存储
如果未开启Checkpoint，或者Checkpoint设置的间隔过大，在Kafka端可能会查询不到当前读取的Offset。为什么Flink和Kafka之间的网络是连通的，但是依然会有timeout expired while fetching topic metadata的报错？Flink和Kafka之间的网络连通...
什么是EMR Serverless Spark
EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless ...
通过消费组读取文本日志进行模板匹配
创建日志模板匹配作业 登录 日志服务控制台。进入 创建作业 页面。在 日志应用 区域的 智能运维 页签中，单击 智能异常分析。在实例列表中，单击目标实例。在左侧导航栏中，选择 分析任务>文本分析>日志模板匹配。在页面右上角的 日志模板...
数据类型
Active：表示管道内的作业会被调度给转码系统转码，Paused：表示管道暂停，作业不再会被调度到转码系统，管道内的所有作业状态维持在已提交状态，正在执行的作业不受影响，继续进行。NotifyConfig String MNS通知配置。AliyunMediaInfoJob ...
工作原理
多维指标时序数据：下探分析作业读取各个维度的时序指标，在观测到异常事件时，检测哪些维度的时序指标与期望值偏差较大，并将这些维度作为异常事件的候选根因。下探分析结果会被写到目标日志库（internal-ml-log）中，并且在仪表盘中进行...
SDK安装与使用
需要是JSON格式*@return Spark JobId,提交作业成功,返回作业的ID,用于后续的状态跟踪*@throws ClientException 提交作业可能因为网络原因等抛出错误*/public String submitSparkJob(String regionId,String accessKeyId,String ...
Blink和Flink常见问题及诊断
一些时候作业并发设置的过大,在Hologres管理控制台监控告警页表现如下：作业刚启动的时候连接数很高，运行一段时间之后连接数下降。这是因为很多连接处于空闲状态被关闭了，此现象表明作业实际上不需要如此大的并发或连接数，应该合理规划...
通用服务条款
本条款中“服务”指：阿里云基于云计算、物联网、大数据和人工智能等基础能力为您提供的网络连接、设备管理、软件服务和技术支持等，该等服务可以用于设备连接、管理，数据传输、分析、处理以及软件开发等。阿里云提供的软件作为服务的组成...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
MaxCompute分区表数据导入
考虑到作业较为复杂，所以可以利用DataWorks的迁移助手功能，将Data作业案例文件导入您的项目中，您即可获得Data作业案例，之后按照您的具体业务需求更改部分参数或脚本即可，详情请参见 使用迁移工具导入DataWorks作业。注意事项 使用临时...
成本追踪
对于下载费用，内网也就是经典网络的下行流量是不收费的，上行流量也是不收费的。只有使用公网的时候，下行流量才会计费。元数据 当发现异常的计算作业时，您可以通过查看元数据来查看作业执行详细信息，找出具体的问题作业进行治理。您...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
计算成本控制
SQL作业计算成本控制 对于SQL计算作业，大部分费用较高的SQL都是由全表扫描引起的。另外，调度频繁也会引起SQL作业费用的增加，调度频繁可能会产生任务的堆积，在后付费的情况下会造成排队现象，如果任务多又出现了排队，那么第二天的账单...
Routine Load
在网络隔离的环境中可能出现的问题 在有些环境中存在网段和域名解析的隔离措施，所以需要注意：创建Routine load任务中指定的Broker list必须能够被Doris服务访问。Kafka中如果配置了advertised.listeners，advertised.listeners中的地址...
涂鸦作画API详情
id String 查询作业的 task_id a8532587-fa8c-4ef8-82be-0c46b17950d1 output.task_status String 被查询作业的作业状态 任务状态：PENDING 排队中 RUNNING 处理中 SUCCEEDED 成功 FAILED 失败 UNKNOWN 作业不存在或状态未知 output....
在Serverless集群中提交作业
作业优先级 作业运行的优先级，取值范围0~9，取值越大，优先级越高。临时存储 ECI实例增加的临时存储空间大小。单位：GiB。每个ECI实例默认有30 GiB空间可用于临时存储，如果无法满足您的需求，可以自定义增加。增加的空间按照容量大小计费...
迁移方案
本文为您介绍将自建开源Flink集群的流式作业（包含Table API、SQL和Datastream）迁移至阿里云实时计算Flink全托管版的迁移优势、迁移方案和相关文档。迁移优势 Flink全托管产品按CU售卖，根据业务需要按需购买，可以降低成本。另外提供提交...
分场景排错指引
在当前页面查找最后一个Caused by信息，即第一个Failover中的Cause by信息，往往是导致作业异常的根因，根据该根因的提示信息，可以快速定位作业异常的原因。如何定位Flink无法将数据写入到结果表的问题？当Flink无法将数据写入到结果表时...
TOP INSTANCE
返回当前项目下所有正在执行的作业，默认最大返回50条。limit number：可选。返回当前项目下指定数量的正在执行的作业。使用示例-返回当前项目下前5条正在执行的实例信息。top instance-limit 5;返回结果如下。QueueingInstances:0 total....
产品优势
数据安全 基于专有网络VPC实现的网络访问隔离，专有网络内的集群节点使用安全组防火墙进行三层网络访问控制。充分保证了集群网络的安全性。集群数据保存在阿里云文件存储NAS中，利用NAS的传输加密与存储加密特性，保障集群数据不被窃取或...
开通实时计算Flink版
提供Intel X86和倚天ARM两大主流CPU架构，满足您对于不同架构的需求。说明 目前仅包年包月付费模式下的华北6（乌兰察布）、华北2（北京）和华东1（杭州）地域支持倚天ARM架构，具体请以控制台购买页显示为准。Intel X86架构 地域 建议选择...
运行HPL、iPerf和FIO以测试集群性能
E-HPC客户端提供了可视化的页面来配置HPL、iPerf和FIO应用，可以快速提交相关作业，测试集群benchmark性能，包括浮点计算能力、带宽性能和读写能力。背景信息 测试集群benchmark性能主要使用以下几个软件：HPL：一个测试高性能计算集群系统...
- 产品推荐
- 这些文档可能帮助您