Spark SQL执行方式
本文介绍批处理和交互式两种执行方式的注意事项、适用场景、特点及启动方法。批处理 注意事项 使用批处理方式执行SQL时，必须在SQL执行开始处使用 USE;语法选择一个数据库。SQL语句中指定表时，必须为 database_name.table_name 格式。批...
查看和处理安全告警
本文介绍如何查看和处理安全告警。查看安全告警 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 检测响应>安全告警处理。在 安全告警处理 页面，查看安全告警。快速筛选...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
批量计算
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
BatchExecuteStatementResult
名称 类型 描述 示例值 object BatchExecuteStatement 的返回值。GeneratedFieldsList array 批处理 SQL 执行过程中的自增列。array 批处理 SQL 中的一条 SQL 执行的自增列。Field 自增列的值，详情请参见 Field。
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
设备批量处理工具
物联网边缘计算提供多个跨平台的命令行工具（即批量处理工具），支持您批量处理设备和设备相关操作。Modbus设备批量导入工具 您只需依照已获取工具中的Excel模板，填写设备信息，Modbus设备批量导入工具即可帮助您自动完成产品和设备的配置...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
产品优势
无存量数据的低成本批量处理方案 采用厂商的同步处理价格高昂，需要提供存量数据的低成本批量处理方案，接受异步接口返回检测结果。例如针对存量的OSS Bucket中的所有图片，进行打标处理。网盘 对于网盘应用，通常需要用户登录、目录服务、...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
概述
应用场景 金融行业批处理 这种场景需要在规定时间内处理完指定的数据。传统的处理方式是根据数据库分片来处理，每台机器处理一个数据分片，这种方式的缺点就是当业务集群的机器数量大于分片数时，很多机器处于闲置状态，资源利用率低。集群...
Kyuubi概述
批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。...
实时数据消费概述
为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据（UPSERT或UPDATE）...
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input...提高管道批处理和管道工作线程数。相关文档 Logstash官方性能调试文档
数据处理概述
OSS通过自主研发和集成智能媒体服务（IMM），为您提供面向图片、文档、媒体、文件等资源20余项专业的数据处理能力。OSS支持的分析处理功能如下：功能模块 说明 相关文档 图片处理 图片处理包括图片缩放、自定义裁剪、图片样式等。图片处理...
BatchExecuteStatement-批处理SQL语句
调用BatchExecuteStatement接口对一组数据执行批处理SQL语句。接口说明 本接口当前仅支持华东 1（杭州）、华北 2（北京）地域的 Serverless 实例使用。您可以使用具有不同参数集的 DML 语句对多条记录进行批量更新和插入操作。与单独的插入...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
OperationSuspEvents-批量处理异常事件
批量处理异常事件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
流计算实现细节
图中MicroBatchExecutor为Spark的微批处理框架，Source为Structured Streaming抽象的接口类，SourceRDD为Spark的RDD抽象类，TablestoreClient为表格存储的客户端。实线表示详细操作，虚线表示请求成功返回。从整体上看，时序流程是...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。关于图片处理支持的参数，请参见 处理参数。注意事项 本文以...
简介
本视频介绍处理非结构化数据时，日志服务数据加工的主要功能和典型场景。icmsDocProps={'productMethod':'created','language':'zh-CN',};
攻击告警处置
查看并处理攻击告警 下文以处理恶意文件上传告警为例，介绍查看和处理攻击告警的具体操作。登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 防护配置>应用防护。在 攻击告...
连接方式概述
客户端 在连接 OceanBase 数据库的 Oracle 租户时，支持的客户端如下：OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行...
连接方式概述
本节主要介绍 连接和访问 OceanBase 数据库 MySQL 模式租户的方法。当前主要支持通过客户端、驱动或 ORM 框架连接到 OceanBase 数据库。客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的...
Java任务
本文介绍如何管理Java类型的任务。执行模式 Java任务类型支持单机、广播、可视化MapReduce、MapReduce和分片运行模式：单机：在同一个 groupId 下的机器随机挑一台执行。广播：同一个 groupId 下的所有机器同时执行。可视化MapReduce：属于...
Java任务
本文介绍如何管理Java类型的任务。执行模式 Java任务类型支持单机、广播、可视化MapReduce、MapReduce和分片运行模式：单机：在同一个 groupId 下的机器随机挑一台执行。广播：同一个 groupId 下的所有机器同时执行。可视化MapReduce：属于...
Java任务
本文介绍如何管理Java类型的任务。执行模式 Java任务类型支持单机、广播、可视化MapReduce、MapReduce和分片运行模式：单机：在同一个 groupId 下的机器随机挑一台执行。广播：同一个 groupId 下的所有机器同时执行。可视化MapReduce：属于...
灵骏常见问题
响应方式 需要将全部任务整合后，再进行批处理。实时响应，对单个任务的响应速度较快。适用场景 适用于计算密集、相似度高、多线程并行的高吞吐量运算场景。适用于对响应速度有要求，逻辑复杂的串行运算场景。最适合GPU的计算类型是可以...
批量或异步插入数据
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。...手动批处理的优点是，如果相同的插入语句多次发送到云数据库ClickHouse企业版（例如，由于客户端软件中的自动重试导致了一些暂时的网络连接问题），它支持表数据的默认自动去重。
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
- 产品推荐
- 这些文档可能帮助您