批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
BatchExecuteStatementResult
名称 类型 描述 示例值 object BatchExecuteStatement 的返回值。GeneratedFieldsList array 批处理 SQL 执行过程中的自增列。array 批处理 SQL 中的一条 SQL 执行的自增列。Field 自增列的值，详情请参见 Field。
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
下载 OceanBase 客户端（OBClient）
OBClient 是一个交互式和批处理查询工具，需要单独安装。它是一个命令行用户界面，在连接到数据库时充当客户端，支持 OceanBase 的 Oracle 租户和 MySQL 租户。OBClient 运行时需要指定 OceanBase 租户的连接信息，具体方法请参见 通过 ...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
API概览
本产品（RDS Data API/2022-03-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK...BatchExecuteStatement 批处理SQL语句 调用BatchExecuteStatement接口对一组数据执行批处理SQL语句。
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
设备批量处理工具
物联网边缘计算提供多个跨平台的命令行工具（即批量处理工具），支持您批量处理设备和设备相关操作。Modbus设备批量导入工具 您只需依照已获取工具中的Excel模板，填写设备信息，Modbus设备批量导入工具即可帮助您自动完成产品和设备的配置...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
权限
批处理和触发器权限 使用批处理和触发器，您需要授权给IMM服务访问其他云资源（例如OSS）的权限。没有服务角色时，您可以在 云资源访问授权 页面创建默认角色。关于如何为批处理添加服务角色，请参见 批处理。关于如何为触发器添加服务角色...
搭配云HBase和Spark构建一体化数据处理平台
全量数据沉淀到Spark数仓（HiveMeta），做批处理、算法分析等复杂计算，结果回流到在线库对外提供查询。更多信息 该套方案的实践操作，请参见 Spark对接Kafka快速入门。重要 在Spark接入 云消息队列 Kafka 版 前，创建Topic和 Group。具体...
批量操作
在 批量操作 页面中，您可以在顶部页签中选择对 节点、资源 或者 函数 进行批量处理。您可以在页签中的上部通过 业务流程、责任人 等条件进行过滤。说明 离线同步任务支持数据集成资源组、数据来源与去向类型、数据来源与去向数据源进行...
DeleteProject-删除项目
接口说明 删除项目前，请确保已删除该项目中的所有资源：数据集（Dataset），绑定关系（Binding），批处理任务（Batch），触发器（Trigger）等。分别参考：删除数据集，删除绑定任务，删除批处理任务，删除触发器。项目删除后，项目所使用...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
智能生成·批量白底图
适用场景 商品图片批量处理（适用尺寸：500x500、800x800、1000x750、1280x800）。可配合“智能生成”使用。目前批量白底图限时免费下载，欢迎使用；操作方法“智能生成”界面中，选择“批量白底图”功能。1、点击“+”号，将事先拍好的...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
使用EasyTransfer进行文本分类
如果是多卡训练，则为每个GPU上的批处理大小。32 INT numEpochs 否 训练总Epoch的数量。1 INT optimizerType 否 优化器类型，取值包括：adam lamb adagrad adadeleta adam STRING learningRate 否 学习率。2e-5 FLOAT advancedParameters ...
产品优势
无存量数据的低成本批量处理方案 采用厂商的同步处理价格高昂，需要提供存量数据的低成本批量处理方案，接受异步接口返回检测结果。例如针对存量的OSS Bucket中的所有图片，进行打标处理。网盘 对于网盘应用，通常需要用户登录、目录服务、...
通过Spark SQL读写Delta外表
步骤二：创建外库和Delta外表 说明 您可以选择批处理或交互式执行任意一种方式执行以下SQL语句。详情请参见 Spark SQL执行方式。执行以下语句，创建数据库。如果已有数据库，可跳过本步骤。CREATE DATABASE if not exists external_delta_...
产品优势
批流一体 在实际的业务场景中，往往既有批处理的需求，也有流式计算的需求。您不仅需要清楚地划分批流两种作业，还需要分别进行开发。Databricks Delta Lake可以使用一套API接口同时处理批作业和流作业，达到事半功倍的效果。协同分析 数据...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
OperateVirusEvents-处理病毒防御告警
批量处理病毒防御的告警。处理类型有：深度查杀、加入白名单、忽略、手工处理。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
集成Open-Falcon
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，...
集成Skywalking
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
集成云监控告警
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，...
图片智能概述
您可以将要分析的图片上传保存到阿里云对象存储OSS上，通过OSS的RESTful数据处理接口 x-oss-process，在任何时间、任何地点、任何互联网设备上对图片进行智能分析。处理参数 OSS支持通过单个参数使用图片智能能力，支持将该参数封装在一个...
集成自建Prometheus告警
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，...
- 产品推荐
- 这些文档可能帮助您