配置Fusioninsight Flink实时模式资源
Fusioninsight Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式...
配置Fusioninsight Flink离线模式资源
Fusioninsight Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
配置开源Flink实时模式资源
开源Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行读度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作...
配置开源Flink离线模式资源
开源Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 ...
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input...提高管道批处理和管道工作线程数。相关文档 Logstash官方性能调试文档
MNS队列触发器
事件流模式：根据您的攒批配置，将一个或多个消息事件以批的形式推送到函数中进行处理，适合端到端的流式数据处理场景。注意事项 作为触发源的 消息服务MNS 队列必须和 函数计算 的函数所在的地域相同。创建的自定义总线以及事件规则的数量...
MQTT触发器
当 消息队列 MQTT 版 中有消息入队时，将会触发函数计算执行，触发时会根据您的攒批配置将一个或多个消息事件以批的形式推送到函数中进行处理。前提条件 事件总线EventBridge 开通事件总线EventBridge并授权 函数计算 创建函数 消息队列 ...
基本概念
您可以在 函数计算控制台 配置 请求处理程序。具体操作，请参见 创建函数。版本 版本相当于服务的快照，包括服务的配置、服务内的函数代码及函数配置，不包括触发器。版本类似于 Git 里的一次 commit，该 commit 包含了一个或者多个代码...
Kafka触发器
当源 消息队列 Kafka 版 中有消息入队时，将会触发函数计算执行，触发时会根据您的攒批配置将一个或多个消息事件以批的形式推送到函数中进行处理。注意事项 作为触发源的 消息队列 Kafka 版 实例必须和 函数计算 的函数在相同的地域。创建...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
MNS队列触发器
执行时会根据您的攒批配置，将一个或多个消息事件以批的形式推送到函数中进行处理，适合端到端的流式数据处理场景。注意事项 作为触发源的 消息服务MNS 队列必须和 函数计算 的函数所在的地域相同。创建的事件流数量超过上限后，将无法再...
滚动升级
配置滚动升级的监控告警 您可以根据不同伸缩组的滚动升级需求，配置独立的滚动升级任务的监控告警，通过查看报警详情及时处理滚动升级问题。登录 云监控控制台。在左侧导航栏，选择 事件中心>系统事件。在 系统事件 页面，设置筛选条件后...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
文本摘要训练
如果使用多机多卡，则表示每个GPU上的批处理大小。文本最大长度 表示系统可处理的序列整体最大长度。INT类型，范围为（1，512），默认值为512。训练轮数 训练总Epoch的数量。INT类型，默认值为3。学习率 模型构建过程中的学习率。FLOAT类型...
区域热力层（v3.x版本）
配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。通用：设置区域热力层的通用配置参数项。参数 说明 不透明度 ...
Oracle同步至Tablestore
每完成一个数据处理节点配置，可以单击右上角的 数据输出预览 按钮，在弹出对话框中，单击 重新获取上游输出，模拟得到Oracle采样数据经过当前数据处理节点处理后的结果。在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工...
路由到对象存储OSS
脏数据处理问题：如果在任务的自定义分区或文件内容中配置了JsonPath，但数据未命中JsonPath规则，Connector会将这类数据按攒批策略投递到Bucket下的invalidRuleData/路径。如发现Bucket下有此目录，请检查JsonPath规则的正确性，且避免...
创建OSS Sink Connector（新版）
脏数据处理问题：如果在任务的自定义分区或文件内容中配置了JsonPath，但数据未命中JsonPath规则，Connector会将这类数据按攒批策略投递到Bucket下的invalidRuleData/路径。如发现Bucket下有此目录，请检查JsonPath规则的正确性，且避免...
异构数据源访问
高效数据处理：可利用 AnalyticDB PostgreSQL版 数据库的并行处理能力，实现高效的数据读写操作。简化数据集成：可通过编写SQL语句来访问外部数据源，不必担心不同数据源的连接细节。版本限制 AnalyticDB PostgreSQL 6.0版 实例需为v6.6.0....
创建任务工作负载Job
背景信息 Job负责批量处理短暂的一次性任务（short-lived one-off tasks），即仅执行一次的任务，它保证批处理任务的一个或多个Pod成功执行。Kubernetes支持以下几种Job：非并行Job：通常创建一个Pod直至其成功结束。固定结束次数的Job：...
分批发布应用
在实时跟踪应用升级时，如果首批应用实例升级突发异常停止响应，为了保证业务不受影响，请在 变更详情 页面中单击 立即回滚，将已升级的实例回退至升级前版本，并将配置还原为升级前原有配置。在应用变更过程中，如果出现部署包不可用、...
灰度发布应用
在实时跟踪应用升级时，如果首批应用实例升级突发异常停止响应，为了保证业务不受影响，请在 变更详情 页面中单击 立即回滚，将已升级的实例回退至升级前版本，并将配置还原为升级前原有配置。在应用变更过程中，如果出现部署包不可用、...
利用配置中心规范构建 PaaS 服务配置
配置路径的概念类似于文件路径或者网络域名，它让不同配置集合之间具有层级关系。具体配置的 Key-Value 形式：在配置中心中设置具体配置内容。2.配置中心配置结构能力产品比较 为了更直观地说明，我们对比了几个配置中心产品：阿里云 ACM：...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）；其中事件请求由各种事件源触发生成，HTTP...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）；其中事件请求由各种事件源触发生成，HTTP...
使用控制台金丝雀发布应用（K8s）
配置微服务治理 配置调度规则 配置启动命令 配置环境变量 配置持久化存储 配置本地存储 配置应用生命周期的钩子和探针 配置Tomcat 配置Java启动参数 配置挂载 配置标签 配置注解 配置DNS 配置Sidecar和Init Container 金丝雀发布启动后，...
使用控制台金丝雀发布应用（K8s）
配置微服务治理 配置调度规则 配置启动命令 配置环境变量 配置持久化存储 配置本地存储 配置应用生命周期的钩子和探针 配置Tomcat 配置Java启动参数 配置挂载 配置标签 配置注解 配置DNS 配置Sidecar和Init Container 金丝雀发布启动后，...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）；其中事件请求由各种事件源触发生成，HTTP...
使用控制台金丝雀发布应用（K8s）
配置微服务治理 配置调度规则 配置启动命令 配置环境变量 配置持久化存储 配置本地存储 配置应用生命周期的钩子和探针 配置Tomcat 配置Java启动参数 配置挂载 配置标签 配置注解 配置DNS 配置Sidecar和Init Container 金丝雀发布启动后，...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）。其中事件请求由各种事件源触发生成，HTTP...
功能特性
集群任务可以分成两个阶段：拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk（一批待处理数据分片集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理...
集群任务限流
Process 阶段 Processor 接收到数据后，通过多线程的方式对这批数据进行处理。处理后通过队列推送至 Writer。Write 阶段 Writer 接收到数据后，通过多线程的方式对数据进行写操作。数据写操作完成之后，Writer 根据是否有新数据标志进行...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序的具体配置示例，请分别参见 事件请求处理程序（Event Handler）和 HTTP请求处理程序（HTTP Handler）。
配置学区地图单选框交互
执行结果 所有连线和 串行数据处理 节点都配置完成后，最终效果如下图所示。以上配置实现了双重触发判断，即首先判断 Tab列表 中选择的是 小学 还是 中学，在此基础上再判断 单选框 中选择的是 民办、公办 还是 全选，最终组合筛选出对应的...
配置学区地图单选框交互
执行结果 所有连线和 串行数据处理 节点都配置完成后，最终效果如下图所示。以上配置实现了双重触发判断，即首先判断 Tab列表 中选择的是 小学 还是 中学，在此基础上再判断 单选框 中选择的是 民办、公办 还是 全选，最终组合筛选出对应的...
- 产品推荐
- 这些文档可能帮助您