简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
快速开始
6f9e-9f47-ad57-997ed8aeba6a","code":"","message":"","output":{"embeddings":[{"embedding":[0.09393704682588577,2.4155092239379883,-1.8923076391220093,.,.,.],"text_index":0 }]},"usage":{"total_tokens":23 } } 批处理接口调用 ...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
消费者负载均衡
而对于流式处理、聚合计算场景，需要明确地对消息进行聚合、批处理时，更适合使用队列粒度的负载均衡策略。使用示例 消息粒度负载均衡策略不需要额外设置，对于PushConsumer和SimpleConsumer消费者类型默认启用。SimpleConsumer ...
BatchExecuteStatement-批处理SQL语句
调用BatchExecuteStatement接口对一组数据执行批处理SQL语句。接口说明 本接口当前仅支持华东 1（杭州）、华北 2（北京）地域的 Serverless 实例使用。您可以使用具有不同参数集的 DML 语句对多条记录进行批量更新和插入操作。与单独的插入...
查看并处理任务
处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务进行审批。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，审批发起者将获取所申请的权限。驳回：任务申请失败，...
产品简介
阿里云自然语言处理包含以下子服务：NLP基础服务，为用户提供包括分词、词性标注、命名实体、情感分析、中心词提取等自然语言处理基础服务，可用于智能问答、对话机器人、舆情分析、内容推荐、电商评价分析等场景中。温馨提示：NLP基础服务...
OperationSuspEvents-批量处理异常事件
批量处理异常事件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
新旧版本使用指引
批处理 无 新版支持创建批处理，创建完成后，您可以指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。文档转换异步请求 无 DeleteOfficeConversionTask-删除异步文档格式转换任务 新版任务开始执行后，任务信息只...
方案实现
外表order_source用于流批处理的SQL执行。DROP TABLE IF EXISTS order_source;CREATE TABLE order_source USING tablestore OPTIONS(endpoint="http://vehicle-test.cn-hangzhou.vpc.tablestore.aliyuncs.com",access.key.id="",access.key...
流计算实现细节
图中MicroBatchExecutor为Spark的微批处理框架，Source为Structured Streaming抽象的接口类，SourceRDD为Spark的RDD抽象类，TablestoreClient为表格存储的客户端。实线表示详细操作，虚线表示请求成功返回。从整体上看，时序流程是...
简介
针对OSS内存储的图片文件（Object），您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。操作视频 观看以下视频了解如何快速处理图片：处理参数 OSS支持直接使用一个或多个参数处理图片，也支持...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
产品计费
累计500次 医疗行业能力 医疗文本分析 手术归一 累计500次 药品归一 累计500次 诊断归一 累计500次 病历查重 累计500次 医疗文本相似度 累计500次 医学实体识别 累计500次 计费规则 版本 调用规格 QPS 价格（元）自然语言处理-基础版 免费...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。关于图片处理支持的参数，请参见 处理参数。注意事项 本文以...
Python内置资源包
numpy 无 算法基础处理。pandas 无 算法基础处理。psycopg2>=2.7.4 连接操作PostgreSQL。pyhdfs>=0.2.1 Hadoop计算引擎下，使用PostgreSQL。pyhs2>=0.6.0 连接并操作HDFS。pyodps>=0.7.16 ODPS操作，适用ODPS。pyspark>=2.3.1 Hadoop计算...
Python内置资源包
numpy 无 算法基础处理。pandas 无 算法基础处理。psycopg2>=2.7.4 连接操作PostgreSQL。pyhdfs>=0.2.1 Hadoop计算引擎下，使用PostgreSQL。pyhs2>=0.6.0 连接并操作HDFS。pyodps>=0.7.16 ODPS操作，适用ODPS。pyspark>=2.3.1 Hadoop计算...
什么是视频点播
阿里云视频点播（ApsaraVideo VOD）是集音视频采集、编辑、上传、自动化转码处理、媒体资源管理、高效云...用户可以按需对视频进行基础处理、特效处理和加密处理等操作。用户可将处理后的视频分发到各种平台，方便客户更好的体验视频服务。
Ambient Mesh模式概述
与Sidecar模式的差异点 4层与7层处理的解耦，引入基于Rust的ztunnel作为基础的4层处理模块，适合做高性能、低利用率的网络代理能力。Waypoint代理面向目标服务进行定义，仅需包含非常有限的动态集群、端点和路由相关的详细信息，而无需将...
概述
应用场景 金融行业批处理 这种场景需要在规定时间内处理完指定的数据。传统的处理方式是根据数据库分片来处理，每台机器处理一个数据分片，这种方式的缺点就是当业务集群的机器数量大于分片数时，很多机器处于闲置状态，资源利用率低。集群...
实时数据消费概述
为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据（UPSERT或UPDATE）...
Kyuubi概述
批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
任务类型
（Chunk：一批待处理数据分片集合）执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，直到数据都处理完成。拓扑任务 任务拓扑 是一种特殊的任务，是由许多通过事件触发的任务的集合。任务拓扑本身可以通过 CRON ...
查看并处理任务
使用限制 已开通智能研发版和基础研发版方可使用批量审批任务功能。权限说明 仅支持查看审批人是当前账号下的待处理任务。任务中心入口 在Dataphin页面，按照下图操作指引，进入 任务中心。处理任务 待处理任务列表为您展示当前租户下所...
包年包月
扩展费用：50元/个/月 公网流量处理能力 基础价格默认包含10 Mbps，可扩容范围为10~5,000 Mbps。基础价格默认包含50 Mbps，可扩容范围为50~10,000 Mbps。基础价格默认包含200 Mbps，可扩容范围为200~15,000 Mbps。公网方向可防护的总流量...
申请能力接入和跟进任务
在 能力市场 页面的 基础能力 页签，您可以申请接入目标基础能力，也可以查看目标基础能力接入文档。说明 您可以在 输入基础能力名称/Path 文本框中输入基础能力名称或Path路径，单击 图标进行模糊查询。申请接入目标基础能力。单击目标...
功能特性
集群任务可以分成两个阶段：拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk（一批待处理数据分片集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理...
订阅和使用能力
在 能力市场 页面的 基础能力 页签，您可以申请接入目标基础能力，也可以查看目标基础能力接入文档。说明 您可以在 输入基础能力名称/Path 文本框中输入基础能力名称或Path路径，单击 图标进行模糊查询。申请接入目标基础能力。单击目标...
功能更新动态（2022年之前）
本文为您及时同步2022年...基础研发版 全域基础用户仅限购买基础研发版，基础研发版的数据处理单元规格仅支持200。购买指引 升级 支持通过升级的方式，将智能研发版的低规格数据处理单元升级为高规格数据处理单元，同时也可以将基础研发版升级...
批量消费
如需提高消息的处理效率，或降低下游资源的API调用频率，您可使用批量消费功能。本文介绍批量消费的定义、优势与场景、使用限制和示例代码等信息。什么是批量消费 定义 批量消费是 云消息队列 RocketMQ 版 通过Push消费者提供的、将消息分...
图片处理
基础操作 以下代码展示了图片处理的基础操作：const OSS=require('ali-oss');const client=new OSS({/yourregion填写Bucket所在地域。以华东1（杭州）为例，Region填写为oss-cn-hangzhou。region:'yourregion',/从环境变量中获取访问凭证。...
错误处理
常见错误处理示例 基础错误重试 退避错误重试 复杂重试策略 基础错误重试 本示例中如果“my-error-handle-example”集成调用产生错误，且命中 MyCustomException1，则依照策略最大重试3次，每次重试次数3次耗尽后，当前错误会命中 ...
ODPS-0123144
默认情况下UDF处理数据的时间是有限制，在处理一批（通常情况下为1024条）记录时，必须在1800秒内处理完。这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是...
缺失值填充批预测
算法简介 数据缺失值填充处理，批式预测组件。运行时需要指定缺失值模型，由缺失值填充训练组件产生。缺失值填充的4种策略，即最大值、最小值、均值、指定数值，在生成缺失值模型时指定。可视化配置参数【输入桩配置】输入桩（从左到右）...
任务拆分和执行
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
开发指南概述
媒资管理 媒体处理 视频点播提供音视频转码、视频截图、视频动图、视频水印的基础媒体处理能力，还提供了智能审核、云剪辑、AI处理 等强大功能。媒体处理 媒体审核 云剪辑 视频AI 音视频播放 视频点播支持通过控制台预览、集成阿里云播放器...
批处理接口API详情
通用文本向量批处理API接口 通用文本向量的典型应用场景有两种形态，一个是日常的查询，一个是建库/更新库操作。在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力...
批处理接口API详情
通用文本向量批处理API接口 通用文本向量的典型应用场景有两种形态，一个是日常的查询，一个是建库/更新库操作。在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力...
- 产品推荐
- 这些文档可能帮助您