什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
包年包月
数据流服务Confluent版本不同所产生的费用也会存在差异。计算资源：用于Broker读取数据或ksqlDB创建作业，按CU计量。计费=计算资源大小×对应数据流服务Confluent版本单价×月数。说明 1CU代表1Core 4G计算资源。存储：用于管控服务组件...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
持续查询
每当源头的流表有数据插入，就会触发Operator进行计算，并将计算结果写入至Sink表中。使用示例 CREATE CQ cq_name INSERT INTO sink_table SELECT user,TUMBLE_START(order_time,INTERVAL '1' DAY)AS wStart,SUM(amount)FROM source_stream...
概述
EdgeBus：边缘端消息总线（边缘端跨进程通信机制），EdgeBus的数据作为输入源，会根据消息路由（管理边缘端消息流向）的配置将数据输入到流作业中，目前支持设备数据流向流作业。结果表 目的数据存储，用于存储流数据分析的计算结果。每个...
概述
为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全托管提供状态兼容性检查和状态数据迁移功能，可以最大...
常见问题
此时需要通过SQL函数将TIMESTAMP类型的数据转换成DATETIME类型，在转换的过程中会出现各种预料不到的错误。解决方法：目标表中最好不要使用TIMESTAMP或DATETIME类型的字段，使用VARCHAR类型代替。参考文档：【流数据与大屏DataV】如何使用...
分配流数据分析到边缘实例
说明 当任务在 数据分析 控制台撤回时，会通知到边缘计算，并在边缘计算中 实例详情 页面 流数据分析 页签下，该任务的状态会显示为 已撤回。如果不重新部署边缘实例，将不会影响流数据任务继续处理设备数据。如果重新部署了边缘实例，那么...
概述
流数据分析提供了连接边缘端消息总线的能力，您可以通过配置消息路由将设备数据传入到流数据分析中，利用流数据分析方便地对设备数据进行实时计算，并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...
会话管理
常见问题 Q：为什么会出现%的 访问来源？A：该情况可能在您使用存储过程时出现。按如下示例可以复现这种情况：说明 示例中数据库实例为RDS MySQL，测试账号为test_user，测试数据库为testdb。在RDS控制台创建普通权限账号及其授权的数据库...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
集成函数计算异步调用
在 Serverless 工作流 的任务步骤中，异步调用函数计算可以更灵活地适应一些任务场景，例如长时任务、人工审核等，帮助您避免限流等错误，同时可以简化流程中的错误处理和重试逻辑。本文介绍 Serverless 工作流 集成函数异步调用的背景信息...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
高温报警
本文以高温报警（传感器温度>80度时，输出报警信息到本地文件中）的场景为例，详细说明如何使用SQL进行流数据分析作业的编写以及流数据分析作业如何运作。流程图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
轨迹生成
bin/kafka-console-producer.sh-bootstrap-server地址>-topic tdrive步骤三：提交流引擎计算任务 使用Flink SQL提交Lindorm流引擎计算任务，读取Kafka Topic中的数据进行计算。连接Lindorm流引擎。如何连接，请参见 使用流引擎。提交计算...
流管理
由接流服务接入的视频点位输出视频流数据给计算服务分析，流管理支持添加或移除计算工作组（任务）处理的视频流。前提条件 添加或删除视频流前，需已创建并启动计算任务。参考 任务管理。接流工作组中存在接流状态为在线的视频点位。添加...
异地双活切流
此过程中，业务系统中依赖的MSHA-SDK会开启数据库禁写控制，以此进行单元保护，避免更新规则推送到业务系统的时间不一致、机器时钟不一致，导致各机器规则生效时间不一致出现的数据脏写问题。各层切流。同时进行接入层和数据层切流。接入层...
如何对JSON类型进行高效分析
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
应用场景
技术领域 从技术领域的角度，实时计算Flink版主要用于以下场景：实时ETL和数据流 实时ETL和数据流的目的是实时地把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引、实时数仓中的ETL过程等。...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
2022年
2022-08-27 全部地域 物化视图操作 物化视图支持生成空分区 当刷新分区物化视图时，如果物化视图计算后对应的分区没有数据时，物化视图会生成一个没有数据的空分区，保持分区的连续性。2022-08-27 全部地域 物化视图操作 Use Quota（作业...
资源规划及规格选型
数据中台一般会划分如下6个MaxCompute项目：ods_dev：贴源层开发测试项目 ods_prod：贴源层生产项目 cdm_dev：公共层开发测试项目 cdm_prod：公共层生产项目 ads_dev：应用层开发测试项目 ads_prod：应用层生产项目 该情况下，您需要计算...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
慢日志分析
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
核心自治技术案例解析
决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断，以基于根因的全局自治，例如可通过SQL限流来解决当前计算资源不足的问题则会采取限流处理。若确实为突增的业务流量，则会继续进行弹性服务流程。算法模型是整个DAS...
离线数据加工卡点校验
您在使用DataWorks数据开发功能时，如果代码中有语法错误，会出现如下红色波浪线提示。关于SQL代码、表命名、生命周期及注释的其他规范，请参见 表设计规范 及 MaxCompute数据开发规范。任务发布上线卡点校验 为保障线上数据的准确性，每次...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
- 产品推荐
- 这些文档可能帮助您