数据处理概述
OSS通过自主研发和集成智能媒体服务（IMM），为您提供面向图片、文档、媒体、文件等资源20余项专业的数据处理能力。OSS支持的分析处理功能如下：功能模块 说明 相关文档 图片处理 图片处理包括图片缩放、自定义裁剪、图片样式等。图片处理...
Spark计算引擎
Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力。AnalyticDB MySQL Serverless Spark是 AnalyticDB MySQL 团队基于Apache Spark打造的服务化的大数据分析与计算服务，开通 AnalyticDB MySQL 服务后只需...
集成日志服务告警
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。可选：选中 配置告警恢复事件，然后设置恢复字段条件。系统收到事件后会根据恢复字段...
生成测试数据
模拟数据设置信息 显示创建模拟数据任务时您选择的 目标表、模拟生成数据量、批处理大小、插入模拟数据前清空表、数据冲突处理方式、实际插入记录、冲突记录、忽略插入、清除记录 和 规则设置展示 等信息。在任务信息面板右下角，单击 再次...
集成Nagios
选择 使用批处理 后，选择需要批处理的数组节点作为根节点。说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。...同时支持实时和批处理：支持本地数据持久化和Page Cache，在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
机器阅读理解预测
如果使用多机多卡，则表示每个GPU上的批处理大小。INT类型，默认值为256。篇章最大长度 表示系统可处理的篇章最大长度，INT类型，默认值为384。问句最大长度 表示系统可处理的问句最大长度，INT类型，默认值为64。回复最大长度 表示系统可...
快速开始
6f9e-9f47-ad57-997ed8aeba6a","code":"","message":"","output":{"embeddings":[{"embedding":[0.09393704682588577,2.4155092239379883,-1.8923076391220093,.,.,.],"text_index":0 }]},"usage":{"total_tokens":23 } } 批处理接口调用 ...
快速开始
前言 通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。...批量数据异步接口代码示例详见 批处理接口API详情
功能特性
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。触发器 API 批量操作 使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、...
文本摘要训练
如果使用多机多卡，则表示每个GPU上的批处理大小。文本最大长度 表示系统可处理的序列整体最大长度。INT类型，范围为（1，512），默认值为512。训练轮数 训练总Epoch的数量。INT类型，默认值为3。学习率 模型构建过程中的学习率。FLOAT类型...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
聚类标注方法介绍
标注动作包括：错误-暂不处理 未覆盖-暂不处理 标注完成后，切换到【已标注未处理】标签下进行集中处理，支持对同种标注结果进行批量处理。标注步骤 第1步：选择用户问法 在【聚类问法组】中选择高频聚类问法，查看用户问法与知识的匹配...
批处理接口API详情
通用文本向量批处理API接口 通用文本向量的典型应用场景有两种形态，一个是日常的查询，一个是建库/更新库操作。在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力...
批处理接口API详情
通用文本向量批处理API接口 通用文本向量的典型应用场景有两种形态，一个是日常的查询，一个是建库/更新库操作。在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
消费者负载均衡
而对于流式处理、聚合计算场景，需要明确地对消息进行聚合、批处理时，更适合使用队列粒度的负载均衡策略。使用示例 消息粒度负载均衡策略不需要额外设置，对于PushConsumer和SimpleConsumer消费者类型默认启用。SimpleConsumer ...
BatchExecuteStatement-批处理SQL语句
调用BatchExecuteStatement接口对一组数据执行批处理SQL语句。接口说明 本接口当前仅支持华东 1（杭州）、华北 2（北京）地域的 Serverless 实例使用。您可以使用具有不同参数集的 DML 语句对多条记录进行批量更新和插入操作。与单独的插入...
查看并处理任务
处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务进行审批。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，审批发起者将获取所申请的权限。驳回：任务申请失败，...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
查看并处理任务
处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务进行审批。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，审批发起者将获取所申请的权限。驳回：任务申请失败，...
OperationSuspEvents-批量处理异常事件
批量处理异常事件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
新旧版本使用指引
批处理 无 新版支持创建批处理，创建完成后，您可以指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。文档转换异步请求 无 DeleteOfficeConversionTask-删除异步文档格式转换任务 新版任务开始执行后，任务信息只...
方案实现
外表order_source用于流批处理的SQL执行。DROP TABLE IF EXISTS order_source;CREATE TABLE order_source USING tablestore OPTIONS(endpoint="http://vehicle-test.cn-hangzhou.vpc.tablestore.aliyuncs.com",access.key.id="",access.key...
流计算实现细节
图中MicroBatchExecutor为Spark的微批处理框架，Source为Structured Streaming抽象的接口类，SourceRDD为Spark的RDD抽象类，TablestoreClient为表格存储的客户端。实线表示详细操作，虚线表示请求成功返回。从整体上看，时序流程是...
简介
针对OSS内存储的图片文件（Object），您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。操作视频 观看以下视频了解如何快速处理图片：处理参数 OSS支持直接使用一个或多个参数处理图片，也支持...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
查看和处理安全告警
为了您的资产安全，建议您及时查看和处理云安全中心检测出的安全告警。本文介绍如何查看和处理安全告警。查看安全告警 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 ...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。关于图片处理支持的参数，请参见 处理参数。注意事项 本文以...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望...
处理挖矿程序最佳实践
在告警处理对话框，处理方式选中 病毒查杀，然后选中 结束该进程的运行 或 结束进程并隔离源文件，并单击 立即处理，防止该程序再次启动。如果您确认导致挖矿告警的文件为非业务文件，建议您选中结束进程并隔离文件，以避免病毒文件进一步...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
概述
应用场景 金融行业批处理 这种场景需要在规定时间内处理完指定的数据。传统的处理方式是根据数据库分片来处理，每台机器处理一个数据分片，这种方式的缺点就是当业务集群的机器数量大于分片数时，很多机器处于闲置状态，资源利用率低。集群...
Kyuubi概述
批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。...
实时数据消费概述
为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据（UPSERT或UPDATE）...
- 产品推荐
- 这些文档可能帮助您