ResumeBatch-恢复批处理任务
接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例...
通过Spark SQL读写Delta外表
Delta是一种可以基于OSS对象存储的数据湖表格式，支持UPDATE、DELETE和INSERT操作。AnalyticDB for MySQL 湖仓版（3.0）和Delta表格式进行了整合，您可以通过Spark SQL读写Delta外表。本文主要介绍如何通过Spark SQL读写Delta外表。前提...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx...单击批处理ID前的展开按钮，可以查看批处理的所有任务信息，可以根据源文件路径和状态来搜索任务，单击 操作 列的 详情 可以查看任务详细信息。
批量操作
DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作，并支持批量提交并发布，将变更操作发布至生产环境生效。本文为您介绍批量操作的界面入口及详细指导。操作步骤 登录DataWorks控制台，进入 数据开发 页面后，在顶部的...
DeleteBatch-删除批处理任务
删除批处理任务时，可以先通过 GetBatch 查询批处理任务状态，确保能够顺利删除任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
迁移Batch批量计算到分布式工作流Argo集群
使用建议 在用户体验、核心能力、计算环境和生态集成方面，Argo工作流可以覆盖主流Batch批处理系统的功能，同时在复杂工作流编排和计算环境管理方面更具优势。工作流集群 基于Kubernetes构建，工作流定义符合Kubernetes YAML规范，子任务...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
编排逻辑流
在应用程序开发过程中，系统可以处理和恢复潜在错误和异常，以帮助您处理错误和异常，提高应用程序的稳定性、可靠性和可维护性。逻辑流搭建方式 魔笔支持以下两种方式搭建逻辑流。在页面中，通过数据容器绑定逻辑流，快速搭建逻辑流。通过...
消费-通过消费组实现高可靠消费
这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点。为方便理解，本文使用《银行的一天》作为例子将概念解释清楚。在文档末尾...
HLS标准加密
在 授权主体 搜索框搜索 AliyunMtsDefaultRole，选择系统创建的可供媒体处理使用的角色。在 选择权限 下方的搜索框搜索 KMS 并选择 AliyunKMSFullAccess，然后单击 确定。完成授权后，媒体处理可以访问您的KMS服务。收到加密视频请求时，...
HLS标准加密
对象存储OSS（Object Storage Service）阿里云提供的数据存储服务，媒体处理操作的媒体资源均存放在OSS的Bucket中。更多信息，请参见 什么是对象存储OSS。内容分发网络CDN（Content Delivery Network）阿里云提供的内容分发网络，在HLS加密...
媒体处理常见问题
媒体处理可以同时处理几个作业？每个用户都有默认的转码资源限制，转码资源分配给管道使用，各管道相互独立。每个管道同时处理的作业数量最多不超过分配给该管道的资源限额。详细说明请参见 使用限制。什么是转码资源？转码资源是媒体处理...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
风险事件
您可以选择单个处理或批量一次处理。新建风险事件 登录高可用管理控制台。在左侧导航栏上，单击 风险管理>风险事件。单击 新建风险事件，在 新建风险事件 面板，配置以下信息：参数 是否必填 说明 风险名称 必填 自定义的风险名称。风险...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。对媒体的内容、文字、语音、场景进行多模态分析，实现智能审核、内容理解、智能编辑等多种处理功能。音视频转码 把音视频码流转换...
基本概念
基本概念总览 分类 名称 通用概念 服务、FC函数、请求处理程序、版本、别名、标签、层、触发器、运行时、自定义域名 计费相关 按量付费、资源包 实例相关 弹性实例、GPU实例、冷启动、按量模式、预留模式、单实例并发数 函数调用 同步调用...
补丁管理概述
补丁管理目前支持的操作系统列表 Linux：Alibaba Cloud Linux 2/3 Red Hat Enterprise Linux 7/8 CentOS 7/8 Anolis OS 8 Debian 9/10 Ubuntu 16.04/18.04/20.04 AlmaLinux 8/9 Windows:server 2012 server 2016 server 2019
设备批量处理工具
物联网边缘计算提供多个跨平台的命令行工具（即批量处理工具），支持您批量处理设备和设备相关操作。Modbus设备批量导入工具 您只需依照已获取工具中的Excel模板，填写设备信息，Modbus设备批量导入工具即可帮助您自动完成产品和设备的配置...
队列服务订阅推送
在订阅推送可以持续地将就绪的数据立即推送到客户端手中，避免通过Get API进行轮询造成的时延和通过队列服务的内部机制进行查询，可以最大程度地降低处理时延和队列服务的负载。但是在使用上，由于有较多额外的概念，订阅推送具有一定的...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
OperationSuspEvents-批量处理异常事件
批量处理异常事件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
批量操作
批量操作主要是对一批客户进行批量操作，通过添加操作对象（以文件的形式上传需要操作的客户数据），然后对这些客户进行设置批量操作，包括：添加标签、移除标签、发放优惠券。同时也可以查看每次批量操作的详细信息，包括：操作对象、操作...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
使用可信实例
联系系统管理人员，确认近期是否进行过系统升级与维护操作，例如升级操作系统内核、改变操作系统启动参数以及修改初始文件系统（initramfs）等，然后根据不同情况采取不同方式来修复可信异常。场景一：近期没有进行系统升级或维护操作，...
功能特性
项目是划分众多数据处理能力的逻辑单元，用户可以根据自身业务需求，创建不同的项目来承载不同的数据处理操作。创建项目 项目操作 API 数据集操作 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。通常将有关联的媒体文件...
新旧版本使用指引
批处理 无 新版支持创建批处理，创建完成后，您可以指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。文档转换异步请求 无 DeleteOfficeConversionTask-删除异步文档格式转换任务 新版任务开始执行后，任务信息只...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
产品优势
批流一体 在实际的业务场景中，往往既有批处理的需求，也有流式计算的需求。您不仅需要清楚地划分批流两种作业，还需要分别进行开发。Databricks Delta Lake可以使用一套API接口同时处理批作业和流作业，达到事半功倍的效果。协同分析 数据...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
权限
若仅使用部分数据处理功能，也可参考下表仅授予对应功能的IMM权限：数据处理操作 说明 Action image/cropping 图片自动裁剪 imm:DetectImageCropping image/faces 图片人脸检测 imm:DetectImageFaces video/convert 创建视频转码任务 imm:...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
集成Open-Falcon
当告警数据存在数组节点时，可以指定目标数组节点作为根节点，将对应根节点下的数据进行批处理。选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点...
集成Skywalking
当告警数据存在数组节点时，可以指定目标数组节点作为根节点，将对应根节点下的数据进行批处理。选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点...
集成云监控告警
当告警数据存在数组节点时，可以指定目标数组节点作为根节点，将对应根节点下的数据进行批处理。选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点...
如何解决实例迁移后的宕机问题？
采用方案一的优点和缺点如下：优点：方便易操作，阿里云有丰富的公共镜像可以选择，一键切换到新版本操作系统。缺点：原系统盘中的数据需要客户自行备份处理，一些应用服务可能需要重新部署。解决方案二：升级系统到OS的最高版本 您可以...
- 产品推荐
- 这些文档可能帮助您