基于Ubuntu 16.04搭建环境
确认是否启动流式计算，默认开启流式计算。确认是否卸载之前已安装的版本，默认卸载。拉取Docker镜像完成并启动可能需要等待5~10分钟，启动完成后通过 docker ps 命令查看相关Docker容器是否已启动，若系统显示如下图所示信息，表示启动...
JobStartParameters
名称 类型 描述 示例值 object 启动作业参数 deploymentId string 作业 ID 737d0921-c5ac-47fc-9ba9-07a1e0b4*restoreStrategy DeploymentRestoreStrategy 作业启动位点设置 resourceQueueName string 作业运行的资源队列 default-queue
StartJobRequestBody
名称 类型 描述 示例值 object 本数据结构代表作业启动的相关信息。deploymentId string 已部署作业 ID。5a19a71b-1c42-4f34-94fd-86cf6078*resourceSettingSpec ...restoreStrategy DeploymentRestoreStrategy 作业实例启动位点设置。
DeploymentRestoreStrategy
kind string 启动位点类型。NONE：无状态启动。LATEST_SAVEPOINT：最新的作业快照启动。FROM_SAVEPOINT：从指定快照启动。LATEST_STATE：最新状态启动 LATEST_STATE allowNonRestoredState boolean 允许忽略部分算子状态。仅当 Python 类型...
什么是边缘流数据分析
流数据分析是一种使用流的...提供和阿里云流式计算完全相同的SQL语法。您开发一次SQL，既可以在云上执行、也可以在边缘执行。提供了内建的字符串处理和时间、统计等各类计算函数。支持对消息乱序的处理。提供了流数据分析开发的图形化控制台。
应用场景
背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS在线服务日志，IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集...
产品概述
流计算StreamCompute StreamCompute 是阿里云提供的流计算引擎，提供使用类SQL的语言来进行流式计算。数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算文档 流处理应用 用户可以...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
数据开发
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过托拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
实时计算Blink产品公告（已停止新购）
如何升级到 Blink-2.x 使用 Blink-1.x 版本的Job升级到 Blink-2.x，需要进行数据回溯升级，数据回溯是指用户根据业务需要，在启动Job的时候，指定启动位点，具体操作如下：停止待升级Job（清除State）。开发界面单击右下角的 Flink版本 ...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
订阅者最佳实践
这两个参数组合的结果就是，每次poll数据前会先检查上次提交位点的时间，如果距离当前时间已经超过参数 auto.commit.interval.ms 规定的时长，则客户端会启动位点提交动作。因此，如果将 enable.auto.commit 设置为true，则需要在每次poll...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
流管理
前提条件 添加或删除视频流前，需已创建并启动计算任务。参考 任务管理。接流工作组中存在接流状态为在线的视频点位。添加视频流 操作步骤 登录 城市视觉智能引擎控制台，进入实例详情页面,单击页面左侧菜单栏的计算服务下的流管理。在流...
操作手册
5.OSS数据上传 提交渲染作业前，一定要将渲染用到的数据上传 OSS，在计算节点启动后再上传的数据将不能在计算节点中访问到。自定义镜像 由于 OSS 页面控制台上传数据有大小限制，所以上传数据建议使用 OSS 的 osscmd下线说明（类Linux系统...
基本概念
视觉计算服务涉及到的一些基本概念。ACU ACU代表1份AI计算能力，1ACU相当于1路1080P 4Mbps视频流的人脸识别...图片流计算 图片流计算是设备上传图片数据进行AI视觉计算。存储 存储是指设备产品的实时视频流生成视频文件片段，并存储到OSS中。
概述
DataHub用于实时上传数据，主要适用于流式计算场景。数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
CreateAIInstance
ProjectId String 是 1 所属项目ID AlgorithmId String 是 1 算子ID ComputeType String 是 StreamCompute 计算类型，取值范围：StreamCompute：流式计算 DataSource String 是 Camera 数据来源，取值范围：Camera：摄像头。需调用 ...
概述
MaxCompute Spark暂不支持如下场景：交互式和流计算类需求，例如Spark-Shell、Spark-SQL-Shell、PySpark-Shell、Spark Streaming等。不支持访问MaxCompute除OSS、Hologres以及HBase外部表之外的外部表、内建函数和自定义函数（MaxCompute ...
PERCENTILE_APPROX
当您需要估计大型数据集中的百分位数，尤其是当精确计算百分位数成本过高或不可行时，MaxCompute支持使用PERCENTILE_APPROX函数计算近似百分位数，先对指定列升序排列，然后取第 p 位百分数对应的值。此函数为MaxCompute 2.0扩展函数，本文...
边缘计算旧版控制台迁移相关问题
新版控制台该功能已下线，您可自行选择流计算引擎，通过容器应用部署到边缘侧。网关互联 支持边缘MQTT本地接入，配置用户名密码。支持边缘MQTT接入，配置用户名密码。更多信息，请参见 主机管理。无。远程运维 提供SSH、更多远程服务（Web...
简介
E)创建项目 在渲管的项目管理页面创建项目，指定 OSS 的数据映射规则（也称 OSS 挂载，在计算节点启动的时候，OSS 上的数据会被挂载到节点的本地路径），选择计算节点镜像 ID，OSS 的输出路径（用于保存渲染结果），计算节点中的临时输出...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
实例级别事件
函数计算 提供实例级别的事件，通过实例级别事件您可以了解函数实例完整的生命周期，包括实例构建、销毁的流程以及其中各步骤发生的时间点。本文介绍函数实例的生命周期以及实例级别事件的定义、转移流程、类型和查询方式。函数实例的生命...
实例级别事件
函数计算 提供实例级别的事件，通过实例级别事件您可以了解函数实例完整的生命周期，包括实例构建、销毁的流程以及其中各步骤发生的时间点。本文介绍函数实例的生命周期以及实例级别事件的定义、转移流程、类型和查询方式。函数实例的生命...
设置增量同步位点
本文为您介绍创建数据迁移或数据同步项目时，增量同步位点的使用限制、适用场景和操作步骤。使用限制 您在创建数据迁移或数据同步项目时，迁移/同步类型选择了 增量同步，并且未选择 全量迁移/全量同步，才会支持设置增量同步位点。设置...
2019年功能发布记录
弹性管理（含预留模式）函数计算冷启动优化最佳实践 同步调用 2019年07月 功能名称 变更类型 功能描述 相关文档 CDN回源至函数计算 新增 函数计算联合CDN发布CDN回源至函数计算的功能。您在函数计算搭建的应用可一键部署到CDN，对...
国标协议接入流程
若未配置自动启动拉流，需要通过主动触发的方式来启动拉流，可使用以下方式：在 空间监控>设备监控 中，勾选相应的设备，然后点击 启动拉流。在 空间监控>设备监控 中，点击相应的设备右侧的 监控预览，进入监控预览页面后，点击下方的 ...
缓冲区管理
说明 引入Copy Buffer之后，一致性位点的计算方法则有所改变。FlushList中的Oldest LSN不再是最小的Oldest LSN，Copy Buffer Pool中可能存在更小的Oldest LSN。因此，除考虑FlushList中的Oldest LSN之外，还需要遍历Copy Buffer Pool，找到...
基本概念
本文介绍 函数计算 的专有名词的定义，方便您更好地理解相关概念并使用 函数计算。基本概念总览 分类 名称 通用概念 服务、FC函数、请求处理程序、版本、别名、标签、层、触发器、运行时、自定义域名 计费相关 按量付费、资源包 实例相关 ...
产品计费FAQ
预留模式下，函数执行时长的计量是从 函数计算 系统启动预留函数实例开始，到您主动释放为止。因此，如您无需再使用，请及时删除预留模式的实例。具体操作，请参见 弹性管理（含预留模式）。另外，您还需要排查一下账号下面是否存在其他云...
函数计算冷启动优化最佳实践
本文介绍如何通过设置 函数计算 的预留模式实例优化按量模式实例的冷启动和函数性能。什么是冷启动 函数计算 提供了按量模式和预留模式两种实例使用模式。按量模式是指函数实例的分配和释放完全由 函数计算 系统负责，您只需要根据实例执行...
产品计费FAQ
预留模式下，函数执行时长的计量是从 函数计算 系统启动预留函数实例开始，到您主动释放为止。因此，如您无需再使用，请及时删除预留模式的实例。具体操作，请参见 弹性管理（含预留模式）。另外，您还需要排查一下账号下面是否存在其他云...
函数计算冷启动优化最佳实践
本文介绍如何通过设置 函数计算 的预留模式实例优化按量模式实例的冷启动和函数性能。什么是冷启动 函数计算 提供了按量模式和预留模式两种实例使用模式。按量模式是指函数实例的分配和释放完全由 函数计算 系统负责，您只需要根据实例执行...
聚合函数
BITWISE_AND_AGG 计算输入Value的bit AND聚合值。BITWISE_OR_AGG 计算输入Value的bit OR聚合值。COLLECT_LIST 将指定的列聚合为一个数组。COLLECT_SET 将指定的列聚合为一个无重复元素的数组。COUNT 计算记录数。COUNT_IF 计算指定表达式为...
计费概述
预留模式：函数实例由您自行分配、释放和管理，函数执行时长的计量从函数计算系统启动预留函数实例开始，到您主动释放为止。重要 预留模式下实例未执行任何请求，只要没有释放实例，您都需要为实例付费。所以如果您的实例未执行任何请求，...
计费概述
预留模式：函数实例由您自行分配、释放和管理，函数执行时长的计量从函数计算系统启动预留函数实例开始，到您主动释放为止。重要 预留模式下实例未执行任何请求，只要没有释放实例，您都需要为实例付费。所以如果您的实例未执行任何请求，...
常见问题
A：目前 BatchCompute 启动的计算节点只有内网 IP，无法连接公网，但同一个作业里的计算节点可以互相连通。Q：渲染软件需要连接lisence server怎么办？A：由于 batchcompute 启动的渲染节点是无公网 IP 的虚拟机，所以对于需要连接lisence ...
- 产品推荐
- 这些文档可能帮助您