常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
任务类型
（Chunk：一批待处理数据分片集合）执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，直到数据都处理完成。拓扑任务 任务拓扑 是一种特殊的任务，是由许多通过事件触发的任务的集合。任务拓扑本身可以通过 CRON ...
基础信息
本文介绍使用 函数计算 编写代码相关的基础概念信息，包括请求处理程序、函数实例生命周期回调方法、日志记录和错误处理等。请求处理程序 在创建函数时，您需要指定请求处理程序。函数计算 的运行时会加载并调用您的请求处理程序处理请求。...
功能特性
集群任务可以分成两个阶段：拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk（一批待处理数据分片集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理...
批量消费
如需提高消息的处理效率，或降低下游资源的API调用频率，您可使用批量消费功能。本文介绍批量消费的定义、优势与场景、使用限制和示例代码等信息。什么是批量消费 定义 批量消费是 云消息队列 RocketMQ 版 通过Push消费者提供的、将消息分...
ODPS-0123144
默认情况下UDF处理数据的时间是有限制，在处理一批（通常情况下为1024条）记录时，必须在1800秒内处理完。这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是...
缺失值填充批预测
算法简介 数据缺失值填充处理，批式预测组件。运行时需要指定缺失值模型，由缺失值填充训练组件产生。缺失值填充的4种策略，即最大值、最小值、均值、指定数值，在生成缺失值模型时指定。可视化配置参数【输入桩配置】输入桩（从左到右）...
错误处理
调用函数的客户端或服务可以通过编程方式处理错误或将其传递到终端用户。以下列表描述了您可以从函数中接收的状态码范围。2xx 2xx系列状态代码表示函数计算已接收到请求。如果响应中包含 X-Fc-Error-Type 消息头，则表明函数计算捕获到了...
任务拆分和执行
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
MaxCompute UDF（Java）常见问题
默认情况下UDF处理数据的时间是有限制，在处理一批（通常情况下为1024条）记录时，必须在1800秒内处理完。这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是...
事务中心
事务中心是对视角下日常事务查询与处理的一个模块。该模块包含“事务处理”、“评价处理”两大板块的功能项，并对其进行记录和处理。该模块主要有以下功能：1、负责系统中所有事务的类型创建与管理；2、对评价信息进行记录与管理；1 事务...
API概览
本产品（RDS Data API/2022-03-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK...BatchExecuteStatement 批处理SQL语句 调用BatchExecuteStatement接口对一组数据执行批处理SQL语句。
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
连接方式概述
客户端 在连接 OceanBase 数据库的 Oracle 租户时，支持的客户端如下：OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行...
连接方式概述
OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行下载安装。OBClient 在运行时需要指定 OceanBase 数据库租户的连接信息...
灵骏常见问题
响应方式 需要将全部任务整合后，再进行批处理。实时响应，对单个任务的响应速度较快。适用场景 适用于计算密集、相似度高、多线程并行的高吞吐量运算场景。适用于对响应速度有要求，逻辑复杂的串行运算场景。最适合GPU的计算类型是可以...
Java任务
编程模型 Java任务支持两种编程模型：JavaProcessor和MapJobProcessor。JavaProcessor 可选：public void preProcess(JobContext context)throws Exception 必需：public ProcessResult process(JobContext context)throws Exception 可选...
Java任务
编程模型 Java任务支持两种编程模型：JavaProcessor和MapJobProcessor。JavaProcessor 可选：public void preProcess(JobContext context)throws Exception 必需：public ProcessResult process(JobContext context)throws Exception 可选...
Java任务
编程模型 Java任务支持两种编程模型：JavaProcessor和MapJobProcessor。JavaProcessor 可选：public void preProcess(JobContext context)throws Exception 必需：public ProcessResult process(JobContext context)throws Exception 可选...
产品简介
AppFlow通过提供易于使用的界面和强大的后端逻辑，允许用户无需深入编程即可设计、部署和监控各种自动化任务和数据流。本平台适用于希望简化应用间数据传输、提高跨系统工作流程协调性的企业，无论是数据迁移、批量数据处理还是复杂的业务...
权限申请
设置测试库的可编程对象权限申请免批。敏感字段申请校验 禁止敏感字段申请。设置机密字段申请审批流程。行权限申请校验 禁止行权限申请。禁止申请生产库的行权限。设置行权限申请审批流程。新增规则操作步骤 登录 数据管理DMS 5.0。在顶部...
批量或异步插入数据
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。...手动批处理的优点是，如果相同的插入语句多次发送到云数据库ClickHouse企业版（例如，由于客户端软件中的自动重试导致了一些暂时的网络连接问题），它支持表数据的默认自动去重。
集群任务限流
Process 阶段 Processor 接收到数据后，通过多线程的方式对这批数据进行处理。处理后通过队列推送至 Writer。Write 阶段 Writer 接收到数据后，通过多线程的方式对数据进行写操作。数据写操作完成之后，Writer 根据是否有新数据标志进行...
MapReduce模型
相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入大数据平台，且无额外存储及计算成本，即可实现秒级别海量数据处理，具有成本低、速度快、编程简单等特性。注意事项 单个子任务的大小不能超过64 KB。...
MapReduce模型
相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入大数据平台，且无额外存储及计算成本，即可实现秒级别海量数据处理，具有成本低、速度快、编程简单等特性。注意事项 单个子任务的大小不能超过64 KB。...
队列服务订阅推送
Commit为完成提交，表示该消费者已经收到了这批数据并且处理完毕，可以推送下一批数据。Negative为否定提交，表示消费者已经收到了数据但是因为某些原因无法处理，队列服务根据错误Code决定是否推送下一批数据。可以在Negative的同时以文本...
工作流常见问题
您可以在 控制台-媒体库 页面管理视频，通过每个视频的 管理 链接进入视频详情页面，你可以看到每个输出的OSS地址及CDN加速地址（该OSS Bucket有配置CDN的情况下），另外，您还可以通过SDK，以编程方式获取。更多信息请参见 媒体详细信息。...
自定义函数开发指南
根据source中定义的数据源，通过 Log Service Java SDK 获取数据，并对每一批数据调用processData接口进行处理。在模板中，您还需要实现以下功能：函数Event中parameter字段的解析，通过 UserDefinedFunctionParameter.java 实现。函数内...
产品优势
Serverless Spark 湖仓版（3.0）支持标准接口的多语言可编程计算引擎—Spark，提供完整的Spark功能。Spark与 AnalyticDB MySQL版 的计算资源、数据存储深度集成。您可以使用Serverless Spark通过按需弹性计算资源进行低成本离线处理，将...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
SDK参考
如果提供了AccessKey ID和AccessKey Secret参数信息，它能够在内部将请求消息进行签名处理，然后向CSB服务端发送请求信息进行验证和调用。重要 该版本的SDK要求的运行环境为JDK 1.7或8以上版本。该版本的SDK支持的CSB版本为1.1.5.x。不再...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
API概览
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入...
以太网设备接入物联网平台
云端数据处理：设备上报数据到物联网平台之后，开发者可以将数据转发到自己的业务服务器。需要发送数据给设备时，开发者需要调用物联网平台提供的接口将数据发送给设备。说明 开发者开发时需要将 设备身份认证信息 ——创建产品时的产品...
Wi-Fi设备接入物联网平台
云端数据处理：设备上报数据到物联网平台之后，开发者可以将数据转发到自己的业务服务器，或者在物联网平台上将该数据转发到另外的设备。需要发送数据给设备时，开发者需要调用物联网平台提供的接口将数据发送给设备。说明 开发者开发时...
网关接入物联网平台
子设备 子设备云端数据处理 子设备通过网关上报数据到物联网平台后，开发者需要在云端对子设备上报的数据进行处理。云端需要发送数据给子设备时，开发者调用物联网平台提供的接口将数据发送给子设备。网关开发 不论是网关自身的功能、还是...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
滚动升级
滚动升级是指通过任务形式批量更新ECS...使用阿里云Python SDK调用 系统运维管理 OOS（CloudOps Orchestration Service）的API执行滚动升级任务，您无需进行复杂编程即可轻松完成执行任务，具体操作，请参见 使用Python SDK执行滚动升级任务。
使用控制台分批发布应用
分批方式 每批发布间的处理方式，包含 自动 和 手动。自动：按照 分批等待时间 自动发布剩余批次的发布。手动：需要手动触发下一个批次的发布。分批等待时间 每批次间的发布时间间隔，单位为分钟。根据实际需求，在列表中选择。Java环境 新...
- 产品推荐
- 这些文档可能帮助您