如何对JSON类型进行高效分析
本文将以半结构化数据JSON为例，首先简述传统数据库与数据仓库的解决方案，然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点，最后给出 PolarDB IMCI列式JSON实时分析与扩展流计算解决方案。方案 业务系统采用...
流管理
由接流服务接入的视频点位输出视频流数据给计算服务分析，流管理支持添加或移除计算工作组（任务）处理的视频流。前提条件 添加或删除视频流前，需已创建并启动计算任务。参考 任务管理。接流工作组中存在接流状态为在线的视频点位。添加...
常见问题
可能原因：您的RDS数据库与流计算项目不在同一区域。解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单配置。源表数据无法同步到目标表中。可能原因：源表的数据类型与目标表不一致，在进行类型转换时...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
基础概念
功能概览 使用过程中请注意：iGraph Gremlin语法与开源使用差异 其他相关服务 MaxCompute：大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，...
人流量展示
本文以人流量实时显示为例，详细说明如何使用流数据分析进行人流量的统计，并将计算结果输出到函数计算中，在函数计算中更新显示屏内容。示意图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建。一、添加设备 ...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
什么是边缘应用
消息触发：通过消息路由流转到函数计算的多种来源（例如设备、函数计算、流数据分析等消息源）的消息，触发函数计算。函数调用者：边缘网关提供调用本地函数计算的API，从外部程序中直接调用本地函数计算或在函数计算代码中调用其它的函数...
2022-03-04版本
缺陷修复 优化Catalog服务，解决数据库或表数量较大时刷新不出来的问题。修复Session集群没有显示Flink版本的问题。修复Metric页面WaterMarkLag曲线显示问题。优化Metric页面曲线翻页展示效果。修复Flink CDC currentFetchEventTimeLag指标...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
产品简介
计算巢AppFlow是计算巢平台上的一种高效的应用集成和自动化工具，旨在提升企业的工作流程自动化和数据流管理效率。AppFlow通过提供易于使用的界面和强大的后端逻辑，允许用户无需深入编程即可设计、部署和监控各种自动化任务和数据流。本...
配置HTTP触发器并使用HTTP触发
函数计算 支持HTTP触发器...是 系统错误 500 函数计算 系统错误，可重试解决。否 系统流控 503 函数计算 系统流控。可用指数退避方式重试。否 如果问题还未能解决，请加入钉钉用户群（钉钉群号：11721331），联系函数计算工程师及时沟通处理。
ECS资源复用版
ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高资源利用...
流数据分析相关问题
任务为什么会停止运行 任务停止运行的具体原因需查看任务日志，以下列出常见的几种可能原因：SQL语法错误 解决方法：需要在 物联网平台控制台，数据分析>实时数据分析 页面下，具体任务的编辑器页面中校验SQL通过后，再发布任务。...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
配置HTTP触发器并使用HTTP触发
是 系统错误 FcCommonError 500 函数计算 系统错误，可重试解决。否 系统流控 FcCommonError 503 函数计算 系统流控。可用指数退避方式重试。否 如果问题还未能解决，请加入钉钉用户群（钉钉群号：11721331），联系函数计算工程师即时沟通...
Tablestore外部表
本文将进一步为您介绍如何将来自Tablestore（原OTS）的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接。背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储...
连接失败常见报错
解决方法：检查实例的连接地址，在连接串中填写正确的鉴权数据库。鉴权数据库用于存储数据库账号和密码。数据库账号必须在所属的数据库下进行鉴权，才能鉴权成功。xxx@dds-xxx.mongodb.rds.aliyuncs....
时空数据库版本发布记录
缺陷修复 GeomGrid SQL 修复 ST_AsGrid 在某些层级下网格计算错误的问题。Geometry SQL 修复矢量金字塔兼容3.7版本的元数据。修复 ST_Union 函数在未执行扩展升级时会崩溃的问题。Raster SQL 修复等值线/等值面生成函数 ST_Contour 中band...
时空数据库版本发布记录
缺陷修复 GeomGrid SQL 修复 ST_AsGrid 在某些层级下网格计算错误的问题。Geometry SQL 修复矢量金字塔兼容3.7版本的元数据。修复 ST_Union 函数在未执行扩展升级时会崩溃的问题。Raster SQL 修复等值线/等值面生成函数 ST_Contour 中band...
配置HTTP触发器并使用WebSocket触发
否 系统错误 FcCommonError 500 函数计算 系统错误，可重试解决。否 系统流控 FcCommonError 503 函数计算 系统流控。可用指数退避方式重试。否 WebSocket握手完成之后的错误，均为函数代码产生或引起的错误，您可以仔细检查您的代码，或者...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
流表
流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间，默认为7天。流表中的时间属性：表示在某一时间、某个地点、某人发生了某一事件。时间属性包含了摄取时间、事件时间...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
产品概述
动态伸缩 每个主题（Topic）的数据流吞吐能力可以动态扩展和减少，最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护，多用户资源隔离机制；提供多种鉴权和授权机制及白名单、主子账号功能。使用场景 数据总线...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
2023年
MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务，您需要将这些版本的计算资源转换为...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
数据开发
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键部署和上线能力，极大的提高了工程效率。节点模式 节点模式...
错误码
本文列举调用物联网边缘计算API出错时，返回的错误信息。入参数据格式错误、超出限定值、入参缺少必需参数等错误修改，请参见具体API文档的请求参数描述。403：权限类错误 错误信息 错误信息描述 解决方法 request forbidden.请求因参数...
通过实时计算订阅数据
由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中配置流计算的白名单。创建流计算开发作业，将DataHub中的数据实时同步到RDS的目标表中。进入 阿里云流计算开发平台，单击 开发>作业开发>新建作业，创建...
基本概念
视觉计算服务涉及到的一些基本概念。ACU ACU代表1份AI计算能力，1ACU相当于1路1080P 4Mbps视频流的人脸识别...图片流计算 图片流计算是设备上传图片数据进行AI视觉计算。存储 存储是指设备产品的实时视频流生成视频文件片段，并存储到OSS中。
高温报警
本文以高温报警（传感器温度>80度时，输出报警信息到本地文件中）的场景为例，详细说明如何使用SQL进行流数据分析作业的编写以及流数据分析作业如何运作。流程图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建...
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
- 产品推荐
- 这些文档可能帮助您