通过实时计算订阅数据
由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中配置流计算的白名单。创建流计算开发作业，将DataHub中的数据实时同步到RDS的目标表中。进入 阿里云流计算开发平台，单击 开发>作业开发>新建作业，创建...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
配置源库信息
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1，根据页面信息配置...
新建计算资源
通过新建云计算资源，为使用数据探索做数据支撑。本文主要介绍如何新建云计算资源。背景信息 数据探索当前支持的云计算资源有MaxCompute、Hive、RDS MySQL、*ADB MySQL 2.0、*Spark cluster、*Spark on yarn。说明 带星号（*）的云计算资源...
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
常见问题
解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单配置。源表数据无法同步到目标表中。可能原因：源表的数据类型与目标表不一致，在进行类型转换时出错。例如源表中的 create_time 字段为DATETIME类型...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
限流配置
当计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时，通过配置开发或生产环境任务的限流规则，保障系统的稳定性以及业务数据按序及时产出。本文为您介绍如何进行限流配置。背景信息 在未进行限流配置的情况下，任务...
流式数据湖仓Paimon
增量数据产生机制 通过changelog-producer参数设置相应的增量数据产生机制，Paimon可以为任意输入数据流产生完整的增量数据（所有的update_after数据都有对应的update_before数据）。以下列举了所有的增量数据产生机制，更加详细的介绍请...
限流配置
当计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时，通过配置开发或生产环境任务的限流规则，保障系统的稳定性以及业务数据按序及时产出。本文为您介绍如何进行限流配置。背景信息 在未进行限流配置的情况下，任务...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
功能更新动态（2022年之前）
2020年4月9日 华北2（北京）和华南1（深圳）数据引入 计算设置 支持离线计算引擎和实时计算引擎的配置。设置Dataphin实例的计算引擎 计算源 计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。计算源 数据源 支持...
配置转换组件
在计算器配置列表中，单击新增字段所在行 操作 列的 计算配置。在 取值配置 区域，设置以下参数。参数 说明 字段名 DTS会自动生成一个名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。选择ETL数据类型 选择需要的ETL数据...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
基本概念
视觉计算服务涉及到的一些基本概念。ACU ACU代表1份AI计算能力，1ACU相当于1路1080P 4Mbps视频流的人脸识别...图片流计算 图片流计算是设备上传图片数据进行AI视觉计算。存储 存储是指设备产品的实时视频流生成视频文件片段，并存储到OSS中。
高温报警
本文以高温报警（传感器温度>80度时，输出报警信息到本地文件中）的场景为例，详细说明如何使用SQL进行流数据分析作业的编写以及流数据分析作业如何运作。流程图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建...
数据归档
限流策略：配置行限流和数据大小限流。备注 可在 备注 文本框中输入不超过 200 个字符的描述信息，该项为选填项。单击 新建，完成新建数据归档。任务生成后可以在 工单>数据归档 列表中查看任务信息。查看数据归档任务 任务信息 在 任务...
弹性管理（含预留模式）
配置后，当此函数处于执行状态的函数实例总数超过限制后，函数计算 将返回流控错误。配置预留模式实例的伸缩限制 当突发的调用量较大时，大量的实例创建会受到流控限制导致请求失败，实例的冷启动也会增加请求延时。为避免这些问题，您可以...
数据流管理
基本概念 数据流及后备索引 数据流 由一个或多个自动生成的后备索引组成，每个数据流都需要一个匹配的索引模板，该模板包含用于配置数据流的后备索引的映射和设置。相同的索引模板可用于多个数据流，但不能删除数据流正在使用的索引模板。...
包年包月
计费公式 在包年包月模式下，您按需选择数据流服务Confluent版本、磁盘容量等配置项完成实例购买，计费从您成功下单开始。数据流服务Confluent版本不同所产生的费用也会存在差异。计算资源：用于Broker读取数据或ksqlDB创建作业，按CU计量...
断网续传
物联网平台配置消息路由 边缘端的消息可以有多个来源，例如设备、函数计算、流数据分析等。物联网边缘计算支持为每个消息来源配置独立的消息路由。若希望某个来源的消息被本地持久化、支持断网续传，则您需要为该消息配置消息路由，且必须...
DescribeTables-查询数据资产表的数据
查询数据安全中心连接授权的MaxCompute、RDS等数据资产的表数据。接口说明 在调用 DescribeTables 接口时，您可以设置搜索关键词、数据资产表的风险等级等参数来获取符合要求的数据资产的表信息。QPS 限制 本接口的单用户 QPS 限制为 10 次...
DescribeInstances-查询数据资产实例列表
获取连接授权的MaxCompute、RDS、OSS数据资产实例列表。接口说明 在调用 DescribeInstances 接口时，您可以设置搜索关键词、数据资产实例的风险等级等参数来获取符合要求的数据资产实例的列表信息。QPS 限制 本接口的单用户 QPS 限制为 10 ...
概述
EdgeBus：边缘端消息总线（边缘端跨进程通信机制），EdgeBus的数据作为输入源，会根据消息路由（管理边缘端消息流向）的配置将数据输入到流作业中，目前支持设备数据流向流作业。结果表 目的数据存储，用于存储流数据分析的计算结果。每个...
概述
流数据分析提供了连接边缘端消息总线的能力，您可以通过配置消息路由将设备数据传入到流数据分析中，利用流数据分析方便地对设备数据进行实时计算，并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...
教程概述
本案例的整体步骤如下：准备工作：完成阿里云RDS实例和流计算项目的创建。数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
数据源概述
数据源功能概述 配置数据源时，您需要了解如下内容：能力 说明 数据源支持情况与配置 在配置数据集成同步任务前，您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前支持几十种数据源，目前支持的数据源及其配置...
离线集成概述
在页面下方配置数据流信息。单击 数据流信息 页签，在 基础属性 区域修改 数据流名称、描述、责任人、相关人员。如果您需要调度数据流，在 调度配置 区域，打开 开启调度 开关，配置调度。参数 说明 调度类型 选择调度类型：周期调度：周期...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
什么是消息路由
流数据分析到函数计算应用 IoT Hub至函数计算应用。关于消息路由QoS（消息投递质量），目前Link IoT Edge 八种 消息路由路径全部支持QoS=0；目的端为IoT Hub的消息路由路径还支持QoS=1。说明 QoS=0表示消息仅发送一次，不管是否被目的端...
新建PAI_DESIGNER任务
PAI Designer工作流中的读数据表及写数据表中若有跨项目的表的数据访问，不能支持访问的数据表的生产开发环境的自动切换，需指定访问的数据环境。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建PAI_DESIGNER...
新建PAI_DESIGNER任务
在配置PAI空间时，使用MaxCompute离线计算引擎的AK需要将调度的工作流发布为工作空间可见，Dataphin获取的是AK下公开及私有的工作流。PAI任务使用的MaxCompute计算量不计入资产全景中的项目的计算量中。PAI的参数输入需要在PAI Designer...
名词解释
本文将向您介绍城市视觉智能引擎产品中涉及的几个名词解释，以便于您更好地理解城市视觉智能引擎产品。实例（Instance）实例整合了数据接入、视频分析、...视频流（Stream）视频点位输出到计算工作组的视频数据，一个视频点位对应一个视频流。
- 产品推荐
- 这些文档可能帮助您