DML操作常见问题
解决措施 一般作业输出动态分区数达到几千已经很大，超过10000可能存在业务逻辑或SQL语法问题。如无逻辑或语法问题，建议修改分区表的分区字段，或将业务逻辑拆分为多个作业，避免出现该错误。向MaxCompute表中插入动态分区时，报错invalid...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
Quota管理（新版）
对于作业优先级不同的场景，即使优先级高的作业提交时间晚于优先级低的作业，资源也将优先分配至高优先级作业。您需要根据业务情况选择合适的调度策略（暂不支持类型为交互式的二级Quota设置调度策略），更多介绍请参见 Quota调度策略说明...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
作业启动
完成作业开发和部署后，您需要在作业运维页面启动作业至运行阶段。此外，作业在停止后需要恢复、更新了非动态生效的参数配置需要生效时，也需要启动作业。本文为您介绍如何启动作业。前提条件 已完成作业部署，详情请参见 部署作业。使用...
作业发生切换或者TaskManager失败
因为作业规模较大，即RPC请求量较大，但JM资源不足，从而RPC请求积压，因此导致JM和TM之间的心跳和PRC请求超时。解决方案 如果是持续GC导致的报错，则建议通过作业内存情况和GC日志确认GC的耗时和频率，如果确实存在高频GC或GC耗时的问题，...
迁移操作
本文为您介绍如何将Bayes上的作业迁移到 实时计算开发控制台，包括迁移步骤、使用限制和注意事项。前提条件 您已具备Bayes对应项目的Owner权限和目标Flink项目空间的Owner权限，Flink权限管理详情，请参见 权限管理。Flink工作空间和Bayes...
动态摘要
freeschema_extract_fields内容格式如下：#假设对content和title做动态摘要 content`21`250`2<em>`2</em>`2.`1title`21`290`2<em>`2</em>`2.#结果展示，搜索被飘红 {"content":"搜索引擎"} 多个字段之间用“`1”分隔 一个字段内部用“`2”...
动态摘要
freeschema_extract_fields内容格式如下：#假设对content和title做动态摘要 content`21`250`2<em>`2</em>`2.`1title`21`290`2<em>`2</em>`2.#结果展示，搜索被飘红 {"content":"搜索引擎"} 多个字段之间用“`1”分隔 一个字段内部用“`2”...
使用UDAF实现数据排序和聚合
本文提供了一个自定义聚合函数（UDAF），实现将多行数据合并为一行并按照指定列进行...部分参数也支持动态更新，减少作业启停带来的业务断流时间，详情请参见 动态更新作业参数。在SQL作业中使用Python自定义函数，详情请参见 自定义函数。
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
配置作业资源
作业启动前或者作业上线后，您可以配置和修改作业资源，本文为您介绍如何配置和修改基础模式和专家模式的作业资源。使用限制 仅SQL作业支持配置专家模式。注意事项 作业资源配置后，需要重启作业才能生效。操作步骤 进入资源配置入口。登录...
规格常见问题
但是当同一地域已经开通按量计费模式时，如果作业量较大，您可以考虑对于消耗资源少的作业采用包年包月计费模式，消耗资源较大的作业采用按量计费模式，保证作业运行时一直有计算资源。更多包年包月项目使用按量计费资源信息，请参见 包年...
SetSchedulerInfo-设置调度器信息
SchedInterval 指调度周期，单位：秒 调度周期指运行多个作业之间时间间隔，如设置为 60，表示本次作业开始运行 60 秒后才能开始运行下次作业。默认值：60 60 SchedMaxJobs integer 否 集群调度的最大作业数。若集群排队和运行的作业数总和...
作业类型
背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务需求选择相应的作业类型。作业概述 固定集群作业 优点：集群支持分布式缓存，适用大...
数据传输的审计事件
ModifyDynamicConfig 动态修改配置。ModifyFormInfo 修改数据连接信息。ModifyMigrationObject 修改数据迁移实例的迁移对象。ModifySubscription 修改订阅任务。ModifySubscriptionObject 修改订阅对象。ModifySynchronizationObject 修改...
Hive作业异常排查及处理
本文介绍Hive作业异常的排查方法和解决方法。异常排查 如果客户端遇到作业异常或性能等问题，您可以按照如下步骤进行排查：查看Hive客户端日志。Hive CLI命令行提交的作业客户端日志位于集群或Gateway节点的/tmp/hive/$USER/hive.log 或者/...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
功能与优势
您可以进行细粒度资源管理，支持SQL算子级别的精细化资源（CPU和Memory）配置，大规模作业资源利用率提升100%。付费类型 您可以根据自身业务特点，选择包年包月或者按量付费。特色能力 数据实时入湖入仓 支持整库实时同步、分库分表实时...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障...由于大数据的动态性和不断变化的性质，成本优化应该持续进行，成本优化流程请参见 成本优化概述。
工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。本文为您介绍如何管理作业的状态集，包括创建、查看、删除和从指定状态恢复。背景信息 概念 详情 系统检查点（对应Apache Flink中的Checkpoint）生命周期完全由Flink系统...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
查看作业性能
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
PAI-TF概述
当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算引擎时，您可以在一个项目中同时提交SQL作业和PAI-TF作业。...
Java SDK常见问题
Instance创建后会调用 instance.waitForSuccess()方法，一旦作业耗时大，就会卡顿。此时如果有Logview，就可以查看并追踪作业卡顿的具体原因。用户B从表面看就是作业卡顿了，没有任何输出。Java SDK的RestClient本身有重试机制，如果系统在...
StopJobs-批量停止作业
调用StopJobs停止指定集群中一个或多个作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
RerunJobs-重新运行脚本作业
调用RerunJobs重新运行一个或多个作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
DeleteJobs-批量删除作业
调用DeleteJobs删除指定集群中一个或多个作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
Broker Load
背景信息 因为Doris表里的数据是有序的，所以Broker Load在导入数据时需要利用Doris集群资源对数据进行排序，相对于Spark Load来完成海量历史数据迁移，Broker Load对Doris集群资源占用较大。Broker Load方式是在没有Spark计算资源的情况下...
配置MaxCompute Studio
SDK&Console配置选项对话框提供了 Installed Location 配置项，用以指定本地安装MaxCompute客户端的安装路径。MaxCompute Studio会自动检测路径中安装的MaxCompute客户端的版本，如果检测失败，会返回错误信息。说明 MaxCompute Studio 2.6...
基本概念
本文汇总使用弹性高性能计算E-HPC过程中涉及的基本概念，方便您查询和了解相关概念...自动伸缩 E-HPC自动伸缩可以根据您配置的伸缩策略动态分配计算节点，系统可以根据实时负载自动增加或减少计算节点。可以帮您合理利用资源，减少使用成本。
YARN资源配置
从EMR-3.49.0及之后版本，EMR-5.15.0及之后版本开始，EMR会根据集群初始化的机型和服务选择情况，在创建集群过程中动态调整组件的默认内存设置，而不是使用之前版本中的默认配置。本文为您介绍YARN组件堆内存大小配置以及YARN资源配置的...
设置运行时属性
disks属性值为逗号分隔的磁盘信息，每个磁盘信息用空格分隔的三元组来描述，如“local-disk 40 cloud_efficiency”，分别代表：挂载点，如数据盘挂载位置/cromwell_root或local-disk（local-disk代表系统盘，挂载位置在根目录/）。...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
2021-03-16版本
注意事项 SQL编辑器中SQL脚本名称和作业名称变更 原VVP平台没有做开发和运维分离，即SQL脚本和上线作业间不存在关联关系，因此SQL脚本和上线作业的命名方式未做一致性要求。新版VVP支持开发和运维分离：SQL脚本名和线上作业名一一对应，原...
大数据计算服务MaxCompute
本文为您介绍大数据计算服务MaxCompute连接器的语法结构、WITH参数和使用示例等。背景信息 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案，致力于批量结构化数据的存储和计算，提供海量数据仓库的解决...
- 产品推荐
- 这些文档可能帮助您