数据流运维

您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据集成>离线集成。单击数据流名称,进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...

发布数据流

完成数据流的配置或变更后,您需要通过发布操作将最新的数据流发布,有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据集成>离线集成。单击数据流名称,进入数据流详情页面。可选:...

CREATE STREAM

创建一张数据流表,表示一个无界的事件集合。数据流表仅支持新增数据,不支持更新数据和删除数据。数据流表中的最小单元为Record,Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上,具体的存储格式可以在With...

数据流管理

本文介绍如何创建数据流、查看或删除数据流、滚动更新数据流等。背景信息 数据流管理功能适用于日志、事件、指标和其他连续生成数据的场景。如果您将索引和请求直接提交到数据流数据流会自动将请求路由到存储数据流数据的后备索引上。您...

创建数据流

在数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...

离线集成概述

数据管理DMS离线集成是一种低代码的数据开发工具,您可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...

包年包月

计费公式 在包年包月模式下,您按需选择数据流服务Confluent版本、磁盘容量等配置项完成实例购买,计费从您成功下单开始。数据流服务Confluent版本不同所产生的费用也会存在差异。计算资源:用于Broker读取数据或ksqlDB创建作业,按CU计量...

计费说明

本文介绍流数据处理Confluent的版本、计费项目和产品定价,帮助您快速了解计费详情,按需选择产品计费方式。版本介绍 流数据处理Confluent对外提供三个版本,不同版本提供的功能不同,价格也不相同,版本的功能如下:标准版 Standard 专业...

DROP STREAM

删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;

网络访问与安全设置

注意 公网流量计费流数据服务Confluent集群公网访问使用阿里云CLB功能,由此产生的网络费用按照 CLB计费规则 进行收费。网络访问设置 您在创建流数据服务Confluent集群时,选择决定是否开启公网访问方式。集群的网络访问类型在集群创建...

概述

背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了更高抽象层的API以便您编写分布式任务。Flink(VVR)完全兼容开源Flink,相关内容请...

将时空数据写入宽表引擎

value_format 是 指定数据源写入Lindorm流引擎的数据格式,取值如下:CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务,将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...

通过引擎实现地理围栏监控

将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中,将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内,并将异常车辆数据输出到output_stream数据流表,同时也可以订阅异常数据进行报警。场景实现的原理...

事件概述

指标监控 事件流提供多个指标,您可以使用这些指标监控数据流的运行状况,并设置接近阈值的警报,出现异常时及时响应,确保数据流正常运行。节约成本 无最低消费,按照传输至事件流的数据量进行计费,并为您提供数据量看板,使费用计算更加...

用户管理

作为集群安全的一部分,数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页,点击集群管理>进入...

云数据库 Memcache 版支持的数据结构

数据库 Memcache 版目前仅支持 Key-Value 的数据结构,暂不支持 List 等数据结构

功能特性

基于此,DataHub新上线的订阅服务提供了服务端保存用户消费点位的功能,用户只需要通过简单的几步配置,然后在自己的应用逻辑里添 创建订阅 删除订阅 查看订阅 数据流消息管理 数据流消息管理 对Project、Topic、shard、group的管理与操作...

ACL授权

ACL授权主要有两种方式:使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一授权方式。使用Confluent CLI实现ACL授权。操作指引请参见 使用Confluent CLI进行ACL管理。管控侧ACL授权步骤 首先登录 流数据服务Confluent管控页,...

SELECT

流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句,请注意切换到对应版本。

数据质量:全流程的质量监控

数据质量以数据集(DataSet)为监控对象,支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供历史校验结果的管理,...

Binlog日志服务

库级别 按照数据库的名字计算Hash值并进行分发,即对应同一个库的binlog数据,会始终按序路由给同一个binlog数据流,适用于单个 PolarDB-X 实例上数据库比较多的场景,如果事务不涉及跨库操作,该策略下不仅可以具备多流能力,还可以保证...

计费逻辑说明

资源费用明细:数据质量 数据质量根据任务实例(周期调度实例、补数据实例等)触发的数据质量规则实例个数 和产生的报警短信和报警电话 进行计费费用详情如下表。计费项 计费方式 计费项说明 其他说明 数据质量规则实例个数 按量付费 ...

函数概览

函数 说明 窗口函数 将数据流分割为指定大小的集合,并支持基于集合进行计算。聚合函数 返回一组数值的统计或计算结果。条件函数 返回指定条件下的数据处理、判断等结果。比较函数 比较两个或多个对象的值,并返回比较结果。算术函数 返回...

心选市场售卖

本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”,跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...

新建Flink Vvr Stream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Flink Vvr Stream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Spark Stream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Flink DataStream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Spark Stream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Flink Vvp Stream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

配置源库信息

单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 DAG。单击 确认。在页面左侧,将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1,根据页面信息配置...

新建Flink DataStream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Flink Vvp Stream类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Spark SQL类型公共节点并运行

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建Spark Batch类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

概述

架构 Flume Agent是一个Flume的实例,本质是一个JVM进程,控制Event数据流从生产者传输到消费者。一个Flume Agent由Source、Channel、Sink组成。其中,Source和Channel可以是一对多的关系,Channel和Sink也可以是一对多的关系。基本概念 ...

INSERT INTO

数据流表支持写入新的数据行,本文介绍通过DML语句将值插入流表中。语法 INSERT INTO[catalog_name.][db_name.]stream_name VALUES values_row[,values_row.]values_row:(val1[,val2,.])参数说明 参数 是否必选 说明 catalog_name 否 目标...

新建Elastic Job类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

Tair扩展数据结构

本文汇总了部分 Tair 扩展数据结构的性能测试报告。TairRoaring性能白皮书 TairSearch性能白皮书 TairVector性能白皮书 TairDoc性能白皮书

新建RDS MySQL类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 DBS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用