添加媒体Bucket
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输出媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和处理完成的文件回写动作。本文为您介绍如何通过媒体处理控制台添加媒体Bucket。前提条件 ...
基础信息
对于标准运行时，请求处理程序只有一种格式，您可以使用请求处理程序处理各种事件源的事件请求，例如OSS触发器、SLS触发器、RocketMQ触发器和EventBridge触发器等。也可以创建HTTP触发器，使用HTTP触发器提供的URI直接触发函数。Custom ...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
基础信息
函数计算 的运行时会加载并调用您的请求处理程序处理请求。请求处理程序包含以下两种类型：事件请求处理程序 用于处理除HTTP触发器以外的各种事件源触发的事件请求，例如OSS触发器、SLS触发器和RocketMQ触发器等。HTTP请求处理程序 用于...
离线异步任务场景
并行处理 离线GPU任务需要处理大量数据，对GPU资源供给要求高，并行运行加快处理速度。数据源集成 离线GPU任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如对象存储OSS）和多种消息产品（例如消息队列）进行频繁交互。更多...
加工原理
调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去消费1个或者多个源Logstore的Shard，调度器会根据运行实例对内存与CPU的消耗情况决定并行的运行实例数，最多启动与源Logstore的...
使用示例
RRPC的消息触发回调函数，设备执行对应处理。本文示例代码中，回调函数为 demo_mqtt_default_recv_handler。定义RRPC消息的回调函数，编写处理逻辑。重要 接收同步服务消息后，请在8秒内做出应答。否则，即使设备端已收到消息，也视其失败...
通过后处理脚本实现自动挂载ossfs
设置后处理脚本后，E-HPC集群上后续扩容的节点均会自动执行指定的后处理脚本，可以满足计算节点预部署的需求。通过后处理脚本，您可以对计算节点做定制化操作，例如扩容的计算节点自动挂载ossfs、自动部署软件环境等。本文以自动挂载ossfs...
任务类型
（Chunk：一批待处理数据分片集合）执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，直到数据都处理完成。拓扑任务 任务拓扑 是一种特殊的任务，是由许多通过事件触发的任务的集合。任务拓扑本身可以通过 CRON ...
编排逻辑流
在错误链路中添加 显示消息 或其他节点，针对开启了异常处理的节点展示错误原因或执行其他处理逻辑。在错误链路中获取两个预制变量：lastError 和 lastException。在显示消息等后续节点中，选择并处理对应节点的错误。常见错误类型如下：...
管理函数
60 请求处理程序 设置请求处理程序，函数计算 的运行时会加载并调用您的请求处理程序处理请求。选择 使用自定义运行时创建 和 使用容器镜像创建 函数时，无需设置此配置项。说明 代码上传方式 选择 使用示例代码 时，不需要修改 请求处理...
流程控制
return true为满足该处理方法的条件，return false为不满足该处理方法的条件，满足后即抛出对应事件，且不再执行后续处理方法。websocket节点 websocket 节点为屏间通信节点。每个消息由消息名称和数据组成，消息名称在配置项中自定义，...
软件定时器
所有正在运行的定时器会被挂接到g_timer_head链表，定时器任务循环的从g_timer_head链表中取出时间最近一次的定时器，通过当前tick计数和该定时器的超时tick数来判断定时时间是否到，如果该定时器触发时间已到则立即执行其处理函数，否则...
快速创建函数
60 请求处理程序 设置请求处理程序，函数计算 的运行时会加载并调用您的请求处理程序处理请求。选择 使用自定义运行时创建 和 使用容器镜像创建 函数时，无需设置此配置项。说明 代码上传方式 选择 使用示例代码 时，不需要修改 请求处理...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
计算成本优化
第一批作业运行需占用1500CU时，资源预留了1000CU，全部运行完成第一批作业需运行1.5h，导致第一批作业在02:30才全部运行完成，作业延期30min。第二批作业运行需占用750CU时，资源预留了1000CU，全部运行完成第二批作业需运行0.75h，即在05...
ODPS-0123144
这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是为了防止MaxCompute UDF中出现死循环，导致长时间占用CPU资源的情况。解决方案 如果用的PYODPS在MaxCompute ...
功能特性
集群任务可以分成两个阶段：拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk（一批待处理数据分片集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
风险事件
在 预案推荐 页签下单击执行预案，目标风险状态变为 处理中。处置完成后，在风险事件详情页面单击 完成应急，即可完成风险处理闭环，风险事件状态变为 已关闭。查看风险事件详情 风险事件详情页主要展示风险事件的基本信息、风险信息、执行...
工作流使用案例
立即运行一批工作流，设置工作流业务时间的开始时间和调度周期，运行时系统会将指定调度规则的触发时间作为本工作流的业务时间，时间相关的变量将使用该时间进行计算。一次最多支持100个触发时间点。单机 确定。查看工作流运行记录 运行...
产品简介
执行动作（Action）：执行动作是工作流中具体需要执行的操作，例如调用外部系统API来实现某个业务操作。连接流（Flow）：通过界面化快速编排的方式，组合多个连接器的触发事件和执行动作，从而连接多个应用系统，实现业务流程自动化。凭据...
工作流编辑
设置时间调度运行 立即运行一批工作流，将指定调度规则的触发时间作为本工作流的业务时间，时间相关的变量将使用该时间进行计算。一次最多支持100个触发点。您需要设置的信息如下：开始时间：工作流调度的开始时间。结束时间：可选，工作流...
批量投递
本文介绍如何使用模板，批量投递运行任务和通过投递记录来进行管理。步骤一：查看应用模板 用户查看工作空间下的应用配置，选择和启动应用模板。如果没有可用的，请参考创建 应用模板。步骤二：启动投递任务 配置应用模板的投递参数，其与 ...
任务拆分和执行
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
防勒索日常操作指引
为了应对不断演变的安全威胁和不确定的攻击行为，您需要持续关注勒索防护备份策略的执行状态，及时处理系统中存在的安全告警和漏洞，加固系统安全防线。本文介绍防御勒索病毒的实用操作指南，帮助您有效防范勒索病毒侵害，降低潜在的勒索...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
工作流活动介绍
说明 媒体处理在执行工作流进行文件处理时，针对不同的发布类型，会使用STS临时用户对输出文件进行调整。发布状态会影响输出文件的访问权限。不发布：视频、音频、截图文件的访问权限为私有。已发布：视频、音频、截图文件的访问权限继承...
Kubernetes分批发布
分批发布每批暂停：按批次对应用进行升级，在每批发布执行完成后都需要用户确认是否继续下一批次的任务 执行分批发布 在触发部署阶段后，用户可以通过流水线的部署单按钮进行部署单：进入到发布单后，用户可以查看当前应用的发布状态：在...
常见问题
如果长时间没有进行Optimize操作，Delta内可能会累积相当数量的小文件，此时运行Optimize可能执行时间会比较长。因此建议设置定时任务来定期触发Optimize动作。为什么Optimize失败了？应该如何处理？Optimize会有删除历史数据和写新数据的...
一次性任务（Jobs）
一次性任务（Jobs）负责批量处理短暂的一次性任务，即仅执行一次的任务，保证批处理任务的一个或多个 Pod 成功结束。本文介绍如何通过控制台创建 Jobs 及其他常用操作。说明 Jobs 是 kubernetes 原生概念。更多详情请参见 Kubernetes 官方...
租户自定义监控报表
sql_distributed_count 每秒处理分布式执行计划数。sql_local_count 每秒处理本地执行数。sql_remote_count 每秒处理远程执行计划数。system_event_internal_total_waits 每秒内部等待事件次数。system_event_io_total_waits 每秒 IO 等待...
小文件优化及作业诊断常见问题
作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心无法查看失败的原因，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运...
附录：DAG图功能介绍
上游分析 周期实例通常存在上下游依赖关系，如果目标节点长时间未运行，则您可以对其进行上游节点分析，在DAG图中查看阻塞当前节点运行的上游节点，快速定位并及时处理相关运行报错，提升节点的执行效率。说明 仅实例（包括自动调度的周期...
智能接入网关vCPE FAQ
在宿主机部署完SAG vCPE后，运行docker ps命令查看已有容器，控制台显示离线状态，管控隧道状态为异常，怎么处理？部署SAG vCPE镜像时报错，怎么处理？当部署SAG vCPE镜像执行脚本出现访问被拒时，怎么处理？部署SAG vCPE镜像完成后，序列...
概述
盒子既可以独立工作，高效支撑本地业务的实时智能处理与执行；同时也可与云端联动，实现边缘数据可即时上云，云上方案可按需下发的，大脑全局优化与局部神经快速响应的完美协作。如下图所示，当前版本边缘管理包括“边缘概览”“边缘节点”...
批处理
暂停批处理将立即停止生成新的数据处理任务，但已经提交生成的数据处理任务将会继续正常运行。输出路径应避免以输入路径为前缀，否则将导致触发器循环触发和源文件被覆盖等非预期行为。输出路径不能以/结尾，请填写包含扩展名的完整输出...
查看并管理明细及汇总表实例
Dataphin支持选择空跑运行和正常运行，详细说明如下：空跑运行：空跑的实例状态显示成功（正常调度），运行日志为空，无执行时长，不会实际跑数据。正常运行：正常调度。下游配置 参数 描述 下游强制重跑范围 选择下游强制重跑范围，包括...
查看并管理明细及汇总表实例
Dataphin支持选择空跑运行和正常运行，详细说明如下：空跑运行：空跑的实例状态显示成功（正常调度），运行日志为空，无执行时长，不会实际跑数据。正常运行：正常调度。下游配置 参数 描述 下游强制重跑范围 选择下游强制重跑范围，包括...
- 产品推荐
- 这些文档可能帮助您