通用环境变量列表
TensorFlow环境变量 TensorFlow分布式作业通过TF_CONFIG环境变量来构建分布式的网络拓扑信息。DLC为TensorFlow训练配置的通用环境变量如下：环境变量名 描述 TF_CONFIG TensorFlow分布式网络拓扑信息，示例如下：{"cluster":{"worker":[...
2022-11-09版本
Flink在网络抖动时，FLINK-28265 会导致Serialized CompletedCheckpoint文件被清理，进而在Failover时出现FileNotFound错误，且无法在作业Failover时自动恢复。Apache Flink社区于Flink 1.16.0和1.15.3版本进行了修复，阿里云实时计算Flink...
灵骏智算资源组使用指南
TensorFlow环境变量 TensorFlow分布式作业通过TF_CONFIG环境变量来构建分布式的网络拓扑信息，对于TensorFlow，DLC设置了如下环境变量：环境变量名 描述 TF_CONFIG TensorFlow分布式网络拓扑信息，示例如下：{"cluster":{"worker":["dlc1y3...
2023-04-13版本
角色授权 支持网络探测能力 支持您通过输入IP或者域名的方式检测Flink作业运行的环境与您的上下游系统是否联通。暂无 支持自定义Catalog 通过Catalog的方式注册元数据后，在创建SQL的时候不需要再频繁使用DDL创建临时表，实时计算控制台...
自定义监控指标上报渠道
Flink支持通过监控指标（Metrics）来帮您分析作业数据是否正常，您可以直接在控制台作业运维页面的数据曲线页签进行指标查看，也可以选择将监控指标上报到其他渠道。本文为您介绍如何将监控指标上报到自建Prometheus、日志服务SLS、Kafka或...
Serverless Spark概述
区别于传统实体集群，虚拟集群中没有固定的计算资源，您无需配置和维护计算节点，只需根据实际业务需要分配资源额度和配置待访问目标数据所在的网络环境。同时，虚拟集群也可以配置默认的Spark作业参数，方便您统一管理Spark作业。关于如何...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
开通实时计算Flink版
基本概念 您可以了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。权限管理 RAM用户、RAM角色等访问Flink控制台需要RAM权限（例如工作空间的查看、购买）和项目空间权限（例如...
移除同步对象
为保障DTS可以正常连接源和目标库、读取源库的库表信息，在配置数据同步作业时，请勿对源库和目标库执行升级、变配、网络切换、跨可用区迁移等操作，即源库和目标库须处于正常运行的状态。注意事项 将同步对象移除后，同步作业将不再同步该...
新增同步对象
为保障DTS可以正常连接源和目标库、读取源库的库表信息，在配置数据同步作业时，请勿对源库和目标库执行升级、变配、网络切换、跨可用区迁移等操作，即源库和目标库须处于正常运行的状态。注意事项 新增对象的同步起始时间点与同步作业是否...
VPC环境
专有网络VPC（Virtual Private Cloud）是您基于阿里云构建的一个隔离的网络环境，专有网络之间逻辑上彻底隔离。更多详情，请参阅 什么是 VPC。BatchCompute 在创建集群或作业的时候，可以指定集群创建在 VPC 环境内（和原有经典网络配置...
安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
核心概念的层次结构
Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络开通...
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
上下游存储
全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有...
大数据上云及巡检服务内容说明
2、对应售前方案，确定迁移目标端所使用的阿里云大数据组件信息（规格、版本、网络连通性等），数据迁移方式（存量迁移方式/增量迁移方式），作业迁移方式，迁移工具，一致性校验标准。数据迁移设计 基于需求详细调研的结果，设计【XXX】...
Hive作业异常排查及处理
元数据相关报错 Drop大分区表超时 报错日志：FAILED:Execution ERROR,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.org.apache.thrift.transport.TTransportException:java....：作业异常的可能原因是表分区太多...
注册Hive Kerberos集群
背景信息 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，...
SubmitServerlessJob-提交Serverless作业
调用SubmitServerlessJob提交Serverless作业到E-HPC集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
基本概念
NIS：网络信息服务（Network Information Service），是一种集中身份管理的方式。您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用NIS服务器中的用户来登录这个节点，而不需要在每个节点上都建立同样的用户。LDAP：轻型...
查看运行分析
字节（Byte）每秒远端读取网络缓冲区的数据的字节数（numBuffersIn Remote PerSecond）每秒远端读取网络缓冲区的数据的字节数。字节（Byte）每秒输出字节总数。（numBytesOut PerSecond）可查看上游吞吐输出情况，协助您观察作业流量表现。...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
作业编辑
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
管理作业模板
通过作业模板，您无需配置作业参数，即可快速创建作业，提高工作效率。本文介绍如何创建、使用、编辑、删除作业模板。创建作业模板 创建作业模板时，一个地域下最多可创建20个作业模板。登录 弹性高性能计算控制台。在顶部菜单栏左上角处，...
通过控制台提交作业
E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC管理控制台提交作业。前提条件 集群和集群节点状态都为 运行中。已创建用户，具体操作，请参见 管理用户。已准备好作业文件。E-HPC支持多种...
MaxCompute如何访问Hologres
spark-submit-master yarn-cluster-driver-class-path/home/postgreSQL/postgresql-42.2.16.jar-jars/home/postgreSQL/postgresql-42.2.16.jar/home/pythoncode/holo_yarncluster.py 提交后可以查看Spark打印日志，作业正常完成会打印作业...
管理作业
在项目中，您可以通过创建作业来进行任务开发。本文为您介绍如何创建作业、设置和删除作业。前提条件 已创建项目，详情请参见 新建项目。创建作业 进入 项目空间 页面。使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察...
创建和执行Spark作业
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体请参考 细粒度配置RAM子账号...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
提交作业
作业是E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。本文介绍如何使用E-HPC客户端提交作业。准备工作 提交作业前，您需要准备好作业文件，并上传到E-HPC集群中。E-HPC客户端支持以下两种方式上传作业文件：通过...
临时查询
在 新建交互式作业 对话框中，填写 作业名称 和 作业描述，从 作业类型 列表中，选择新建的作业类型。E-MapReduce数据开发支持Shell、SparkSQL、Spark Shell和HiveSQL四种类型的临时查询作业。注意 创建作业时作业类型一经确定，不能修改。...
查询作业
提交作业后，您可以在E-HPC客户端查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 如果集群采用标准方式部署，则仅支持具有sudo权限的用户查询...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。本文为您介绍如何管理作业的状态集，包括创建、查看、删除和从指定状态恢复。背景信息 概念 详情 系统检查点（对应Apache Flink中的Checkpoint）生命周期完全由Flink系统...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
引擎运维
在DataWorks实例任务中，E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。...
作业启动
完成作业开发和部署后，您需要在作业运维页面启动作业至运行阶段。此外，作业在停止后需要恢复、更新了非动态生效的参数配置需要生效时，也需要启动作业。本文为您介绍如何启动作业。前提条件 已完成作业部署，详情请参见 部署作业。使用...
部署作业
完成作业开发后，您需要将作业部署。部署将开发和生产隔离，部署后不影响运行中的作业，只有（重新）启动后才会正式上线运行。本文为您介绍如何部署SQL作业、JAR作业和Python作业。前提条件 已完成作业开发。SQL作业开发，详情请参见 SQL...
监控作业
提交作业到E-HPC集群后，您可以在控制台查看作业监控数据，包括运行、提交、排队和完成作业数，便于您了解集群内作业的运行情况，及时调整集群规模和作业任务，提升集群工作效率。前提条件 支持作业监控的集群需满足以下条件：调度器为PBS...
计算资源使用
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先级区间，如：[0,3]表示...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
- 产品推荐
- 这些文档可能帮助您