同步调用
并发执行 并发执行是指在任意指定时间您的函数代码同时执行的数量。您可以用以下公式来估算并发的函数调用数：并发调用数=请求速率×函数执行时间 请求速率：函数被调用的速率，即每秒请求数或每秒事件数。函数执行时间：函数请求到达实例...
同步调用
并发执行 并发执行是指在任意指定时间您的函数代码同时执行的数量。您可以用以下公式来估算并发的函数调用数：并发调用数=请求速率×函数执行时间 请求速率：函数被调用的速率，即每秒请求数或每秒事件数。函数执行时间：函数请求到达实例...
新建补数据任务
您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期...
新建补数据任务
您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期...
开发ODPS MR任务
背景信息 MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MaxCompute提供两版本的MapReduce编程接口：详情请参见 MapReduce。...
开发ODPS MR任务
背景信息 MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MaxCompute提供两个版本的MapReduce编程接口：详情请参见 MapReduce...
周期任务补数据
您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期...
周期任务补数据
您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期...
创建定时任务工作负载CronJob
并发策略 您可以设置以下三种并发策略：Allow：允许并发运行任务，会抢占集群资源。Forbid：禁止并发运行，如果前一个任务还没有完成，则直接跳过下一个任务。Replace：已到新任务创建时间点，但前一个任务还未完成，新的任务会取代前一个...
列存索引内存管理介绍
本文介绍了列存索引物理内存、虚拟内存以及如何控制内存与并发执行相关内容。物理内存 列存索引执行器的所有内存全部接入到统一的内存分配接口中。该统一接口的功能如下：统计实际内存使用量 block即将分配内存的查询操作 kill即将分配内存...
使用限制
本文介绍阿里云EMR Serverless Spark在资源数、性能、项目空间数量或JAR包数量等方面的限制，请您评估以下限制对您业务的影响并做出相应的调整。限制项 说明 地域 EMR ...并发控制 同一工作空间内允许并发执行的任务数量上限为100个。
创建定时任务工作负载CronJob
并发策略 您可以设置以下三种并发策略：Allow：允许并发运行任务，会抢占集群资源。Forbid：禁止并发运行，如果前一个还没有完成，则直接跳过下一个任务。Replace：已到新任务创建时间点，但前一个任务还未完成，新的任务会取代前一个任务...
执行补数据并查看补数据实例（旧版）
并行数取值范围为 2~10 组，多个实例并发执行的情况如下：若业务日期的跨度时间少于并行组数，则任务并发执行。例如，业务日期为 1月11日~1月13日，并行数为4组，则只会生成三个补数据实例（每个补数据实例对应一个业务日期），三个实例...
离线同步并发和限流之间的关系
针对限流场景，举几个常见案例介绍如下：用户配置并发数为5，任务限速为5MB/s，则任务会尝试切分为5个分片并发执行，每个分片执行限制速率为1MB/s。如果任务实际并发为5，则作业的最终速度上限为5MB/s，小于等于任务速度上限。任务实际执行...
功能特性
作业描述 用户需要提交一个作业（Job）描述 JSON 文件到批量计算服务，该 JSON 文件中详细描述了需要执行哪些程序（支持多个程序），运行哪些程序需要启动多少台机器，机器的规格（内存和CPU等），运行日志打印到哪里，完成后结果输出到...
调度资源组计费说明
建议并发执行任务数上限 emr.w1.small 1 vCPU 2 GiB 2 任务提交至Yarn执行：16 任务不提交至Yarn执行：10 说明 任务提交至Yarn执行：配置工作流任务时开启 提交到Yarn执行 开关，所有的工作流任务将提交至EMR集群的Worker节点上运行。...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器...子任务可以并发执行或根据条件执行。任务拓扑中的任务执行流程均从开始节点开始，到结束节点终止，任务的执行流程形成一张有向无环图。
使用公共资源组
资源组类型 描述 参考链接 独享调度资源组 在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议使用DataWorks的独享调度资源组。独享调度资源组计费说明：包年包月 独享数据集成资源组 在数据...
必读：复杂依赖场景调度配置原则与示例
此时，到达定时运行时间的小时周期实例会并发执行。说明 若不希望并发执行，可对下游小时任务设置自依赖（即 依赖上一周期：本节点（自依赖））。下游小时任务生成的所有周期实例执行时互时不影响。小时任务设置自依赖 仅首个生成的小时...
分析数据源
客户端组可以添加多个客户端，用于并发执行一个数据分析任务。客户端组选择 新建客户端组，然后自定义 客户端组名称，并选中添加到客户端组的客户端。您也可以选择已有客户端组。配置数据分析计划，主要参数说明如下：参数 描述 允许数据...
设置任务失败重跑及优先级
在执行任务之前，您可以针对任务节点的数据库设置优先级，当数据库上并发执行的任务数超过设置的额度时，将会按照优先级队列的方式排队执行任务，先执行优先级高的任务。同时，您还可以开启任务失败重跑功能，开启后，当任务失败时会自动...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 ...
安全检查
背景信息 执行一键安全检查后，云安全中心会并发执行漏洞检测、基线检测、网站后门检测和资产指纹采集，会导致该服务器CPU和内存占用率升高，可能会对您服务器上部署的业务产生一定的影响。一键检查一般需要1~5分钟，建议您在业务低峰期...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用...
基础术语
子任务可以并发执行或根据条件执行。任务编排 Topology management 将多个子任务根据业务逻辑编辑成拓扑任务的过程。任务分步 Step 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后...
参考：渐进式计算
说明 请您根据实际作业运行情况设置作业并发运行的最大实例数，实例数设置过大或者过小均会影响实际运行效率。渐进式计算使用示例 第一天新建作业 使用渐进式计算方式查询 时间列 范围为[20200801,20200807]的数据，并设置渐进式计算模式为...
Hive
支持并发执行多个段落。支持参数功能。支持图表展示SQL结果。示例 多行SQL 如下图所示，在一个段落里执行2句SQL语句（以分号间隔），第一句切换执行引擎，第二句运行Select语句。注释 以-开头的均为SQL注释。参数功能 Zeppelin支持${var=...
基本概念
本地运行版 本地运行版，简称本地版，是指求解器的运算是在用户自己的电脑上来执行，并通过网络链接阿里云的云端鉴权服务来获得软件运行的权限。用户不需要传待求解的问题到云端，能有效减少数据的网络传输时间。这个版本提供的SDK是单机...
补数据
此功能不控制小时、分钟任务当天的所有实例是否并发执行，当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自依赖使用说明，请参见 场景2：依赖上一周期的结果时，如何配置调度依赖。解决措施 选择不并行，一个...
捷顺
并且在可能的情况下对这些慢SQL进行 自动SQL优化 或者提出优化建议，避免旧系统遗留的慢SQL在高并发执行时把数据库资源耗尽导致系统崩溃。开启DAS 自动扩容，当数据库实例CPU使用率因为QPS增长而持续超过阈值一段时间，DAS调用RDS OpenAPI...
架构优化
通过弹性计算、网络和数据库几大类IaaS/PaaS云资源性能优化，可以为用户在云上环境中获得云...Python、Ruby等解释型语言程序在运行时才翻译成机器码，每次执行都依赖于解释器的翻译，在增加灵活性的同时程序执行效率与编译型语言相比较低。
为什么CPU负载高？
问题现象 CPU使用率100%CPU使用率高 负载（Load）高 问题原因 CPU使用率高或者负载高的原因与程序运行状态有关，包括启动时与运行时。解决方案 场景一：启动时CPU使用率高/负载高 部分语言（例如Java）在刚启动时，存在二次编译的过程。...
数据组织优化
由于数据是按照 BucketIndex 来切分存储的，因此Clustering服务会以Bucket粒度来并发执行，大幅缩短整体运行时间。Clustering服务会与Meta Service进行交互，以获取待处理的表或分区列表。完成操作后，会将新旧数据文件的信息传入Meta ...
使用应用观测器排查代码问题
观测线程执行堆栈和上下文变量，而不会阻塞程序的执行；统计代码行执行次数和方法执行耗时。前提条件 目前仅支持观测 Java 应用（JDK>=1.7）；不能跟Java 远程调试同时使用（即不能跟-agentlib:jdwp 同时使用）Java 应用需要运行在 Linux...
同步时源库为PolarDB-X 2.0的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步...
管理 MOSN 日志级别
INFO：输出一些您感兴趣的或者重要的信息，这个可以用于生产环境中输出程序运行的一些重要信息，这些信息在粗粒度级别上突出应用程序的运行过程。不能滥用，避免打印过多的日志。DEBUG：主要用于开发过程中打印一些运行信息。一般在调试...
同步时源库为Db2 for LUW的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。在DTS同步期间，若有除DTS外的数据写入目标库，则会导致源库与目标库数据不一致。您可以在DTS同步结束后，使用...
常见问题
则可联系产品团队或提工单 建议在任务执行过程中适当添加日志信息，便于任务出错时定位原因 问：如何提高大量任务并发执行效率？答：基因分析平台将为单个task准备机器资源、拉取docker镜像等，因此高并发时同步准备机器资源或拉取docker...
表数据格式
数据优化管理操作例如小文件clustering、compaction等都可按照Bucket粒度来并发执行计算，提高执行效率，缩短运行时间。记录类型 目前记录只支持upsert、delete两种数据类型进行写入和存储，upsert包含insert/update两种隐含语义，如记录不...
ACID语义
操作并发冲突说明 当作业并发运行且写入相同目标表时，可能出现冲突。产生冲突时，先结束的作业会执行成功，后结束的作业可能会因冲突而报错。下表为作业并发提交场景下，对同一个非分区表或分区的并发操作先后结束的冲突说明。作业类型 ...
- 产品推荐
- 这些文档可能帮助您