网络流表-网络流表文档介绍内容-阿里云

DROP STREAM

删除指定流表。语法 DROP STREAM[IF EXISTS][catalog_name.][database_name.]stream_name 参数说明参数是否必选说明 catalog_name 否流表的Catalog。database_name 否流表所属的数据库。stream_name 是流表的名称，用于唯一指定一个...

Kafka兼容说明

流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤获取流引擎连接地址。具体操作，请参见查看...

CREATE STREAM

创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...

流表

本文介绍流表的使用方法及示例。概述流表：流表用于存储随时间发生的事件，仅支持插入数据，不支持更新和删除数据。流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间...

DROP STREAM

删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数参数是否必选说明 table_name 是数据流表的名称。示例 DROP STREAM users_original;

持续查询

背景信息持续查询（Continuous Query）是基于流表的实时计算，它的基本处理模型如下图所示。Source表示数据源头的流表，Operator表示计算逻辑，Sink表示存储计算结果的结果表。每当源头的流表有数据插入，就会触发Operator进行计算，并将...

INSERT INTO

数据流表支持写入新的数据行，本文介绍通过DML语句将值插入流表中。语法 INSERT INTO[catalog_name.][db_name.]stream_name VALUES values_row[,values_row.]values_row:(val1[,val2,.])参数说明参数是否必选说明 catalog_name 否目标...

CREATE CQ

持续查询是在流表之上的实时计算。每当流表中有数据插入，如果符合预设的查询条件，则可以将该数据存储下来，作为实时计算的数据来源。本文介绍如何通过DML语句创建持续查询。语法 CREATE CQ cq_name INSERT INTO[catalog_name.][db_name.]...

CREATE STREAM

创建一张流表，可以不断记录随时间而发生的事件。数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|...

SHOW STREAMS

DESCRIBE

使用ETL分析实时订单

将鼠标指针移动至已完成配置的流表和维表上，单击圆点拉出连接线，分别将流表和维表与表 Join-1 连接起来。单击画布区域的表 Join-1，根据页面信息配置转换组件。在节点配置页签，设置以下参数，配置节点信息。区域参数说明转换名称...

DESCRIBE

查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明参数是否必选说明 table_name 是数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下：+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...

配置源库信息

流表维表转换格式当节点类型选择为流表时，需要选择转换格式。Upsert流 Append-Only流库表选择选择需要转换的库表。说明当您完成库表的选择时，系统自动进入输出字段页面。根据实际需要，在输出字段页签的列名称列，勾选...

SHOW STREAMS

SHOW CATALOGS

您可以在此目录中创建数据库、流表和持续查询等。lindorm_table，映射宽表引擎的目录。宽表中的元数据会自动映射到流引擎中，您可以在此目录中执行只读操作。示例展示流引擎中所有的Catalog。SHOW CATALOGS;返回结果如下：+-+|Result|+-+|...

时空内存索引

时空内存索引能够在进行流表JOIN操作时显著提升针对时空数据的查询效率。在使用Lindorm流引擎处理计算任务时，您可以在连接器（Connector）中设置相关参数的值，选择是否构建时空内存索引。本文介绍时空内存索引的使用限制及使用方法。使用...

通过Flink SQL模式配置ETL任务

配置源表信息时，如源表为流表，则需选择流表；如源表为维表，则需选择维表。配置目标表信息时，则需选择输出。数据库类型选择源库或目标库的数据库类型。实例输入实例名称或实例ID，搜索并选择源和目标实例。重要您需要先在DMS中...

配置流程

例如将两张流表做JOIN操作后形成一张大表，写入目标库；或者给源表新增一个字段，并为该字段配置函数进行赋值，源表该字段经过赋值转换后写入目标库。前提条件当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、...

代码模板

Join模板 Regular Join 如果您需要关联查询其他流表的数据进行计算，则可以使用Regular Join语法。Interval Join 如果您需要关联某张表在指定时间范围内的数据，则可以使用Interval Join语法。时态表Join 如果您需要流表中的每条数据都关联...

快速入门

步骤四：在流引擎中创建流表在流引擎中创建流表，用于存储流数据。步骤五：创建实时入库链路创建实时入库链路，用于数据写入。步骤六：向流表中写入数据向流表实时写入流数据。步骤七：查询数据宽表引擎（推荐）流引擎连接宽表引擎，...

通过SQL写入数据

步骤四：在流引擎中创建流表在流引擎中创建流表，用于存储流数据。步骤五：创建实时入库链路创建实时入库链路，用于数据写入。步骤六：向流表中写入数据向流表实时写入流数据。步骤七：查询数据宽表引擎（推荐）流引擎连接宽表引擎，...

使用前须知

每条流日志记录会捕获特定捕获窗口中的特定五元组网络流。在捕获窗口内，流日志服务会先聚合数据，然后再发布流日志记录。资产详情自定义的日志服务Project、Logstore 重要请勿删除智能接入网关流日志相关的日志服务Project和Logstore，...

通过流引擎实现交易数据实时统计

创建数据流表。通过Lindorm-cli连接Lindorm流引擎，具体操作请参见通过Lindorm-cli连接并使用Lindorm流引擎（旧接口不推荐）。CREATE STREAM IF NOT EXISTS orders(`biz` STRING,`order_id` STRING,`price` DOUBLE,`detail` STRING,`...

支持的连接器

数据规模通常较小，可以是静态表也可以是低吞吐的流表，数据量级可能在GB到TB级别。提供对业务数据的额外补充信息，如用户姓名、产品详情、区域信息等。通过与源表进行Join连接，可以丰富源表的信息，形成更加详细的宽表。结果表（Result ...

配置转换组件

基于事件时间Watermark 基于处理时间ProcTime 说明时态Join要求流表均需定义时间属性，右表要有主键；如果右表是维表，要求其主键在equal条件中。选择Join操作选择Join操作方式。Inner Join：数据为两张表的交集。Left Join：左表中的...

API说明

AlivcLivePushNetworkListener 推流网络监听器。AlivcLivePushInfoListener 推流通知监听器。AlivcLiveBaseListener 推流基础回调通知。AlivcLivePushBGMListener 推流播放通知监听器。AlivcLivePlayer 拉流抽象接口。AlivcLivePlayConfig ...

直播推流接口说明

AlivcLivePushNetworkListener 推流网络监听器。AlivcLivePushInfoListener 推流通知监听器。AlivcLiveBaseListener 推流基础回调通知。AlivcLivePushBGMListener 推流播放通知监听器。AlivcLivePlayer 拉流抽象接口。AlivcLivePlayConfig ...

表流读写

Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件保持多个流（或并发批处理作业）执行“仅一次”处理使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源当您将Delta表加载为...

API说明

API 描述 AlivcLiveBase 推流基础接口 AlivcLiveBaseObserver 基础接口回调 AlivcLivePusher 推流引擎类 AlivcLivePushConfig 推流初始配置 AlivcLivePusherErrorDelegate 推流错误相关回调 AlivcLivePusherNetworkDelegate 推流网络相关回...

常见问题（FAQ）

是的，您可以使用结构化流直接将数据写入Delta表并从Delta表中读取。Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？Delta不支持DStream API。我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码...

进阶功能

关注推流状态通过监听connectStatusChange事件，请随时关注推流网络状态，给出相应提示，必要时做重试处理。pushClient.on('connectStatusChange',(event)=>{ switch(event.status){ case 1:/连接中 break;case 2:/已连接 break;case 3:/...

进阶用法

关注推流状态通过监听connectStatusChange事件，请随时关注推流网络状态，给出相应提示，必要时做重试处理。pushClient.on('connectStatusChange',(event)=>{ switch(event.status){ case 1:/连接中 break;case 2:/已连接 break;case 3:/...

接口说明

setNetworkDelegate 设置推流网络监听回调。setBGMDelegate 设置背景音乐监听回调。startPreview 开始预览，同步接口。startPreviewAsync 开始预览，异步接口。startPushWithURL 开始推流，同步接口。startPushWithURLAsync 开始推流，异步...

API说明

setNetworkDelegate 设置推流网络监听回调。setBGMDelegate 设置背景音乐监听回调。startPreview 开始预览，同步接口。startPreviewAsync 开始预览，异步接口。startPushWithURL 开始推流，同步接口。startPushWithURLAsync 开始推流，异步...

查询推流域名推流网络带宽监控数据

调用DescribeLiveDomainPushBpsData获取推流域名的推流网络带宽监控数据。使用说明获取的带宽数据单位为bit/s。支持批量域名查询，多个域名用英文逗号（,）分隔。不指定StartTime和EndTime时，默认读取过去24小时的数据，同时支持按指定的...

SDK升级说明

setNetworkDelegate AlivcLivePusherNetworkDelegate 设置推流网络状态相关回调。setLogDirPath 无：自定义Log写入设置SDK日志文件保存路径。如需调用，请在调用所有API之前先调用此接口，避免日志出现丢失，同时保证指定的目录已存在且可...

SDK升级说明

setNetworkCallback setLivePushNetworkListener 设置推流网络状态相关回调。setLogDirPath setLogDirPath 设置SDK日志文件保存路径。如需调用，请在调用所有API之前先调用此接口，避免日志出现丢失，同时保证指定的目录已存在且可写入。...

API概览

DescribeLiveDomainPushBpsData 调用DescribeLiveDomainPushBpsData获取推流域名的推流网络带宽监控数据。DescribeLiveDomainPushTrafficData 调用DescribeLiveDomainPushTrafficData获取推流域名的推流流量监控数据。...

将时空数据写入宽表引擎

value_format 是指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是指定数据流表的主键列。创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...

网络 流表

新品推荐

网络流表