产品简介

什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台,使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建,通过企业级功能扩展了 Kafka 的优势,同时消除了 ...

常见问题

支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...

CREATE STREAM

创建一张数据流表,表示一个无界的事件集合。数据流表仅支持新增数据,不支持更新数据和删除数据。数据流表中的最小单元为Record,Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上,具体的存储格式可以在With...

DROP STREAM

删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;

DESCRIBE

查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明 参数 是否必选 说明 table_name 是 数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下:+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...

概述

架构 Flume Agent是一个Flume的实例,本质是一个JVM进程,控制Event数据流从生产者传输到消费者。一个Flume Agent由Source、Channel、Sink组成。其中,Source和Channel可以是一对多的关系,Channel和Sink也可以是一对多的关系。基本概念 ...

数据迁移与同步FAQ

DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:将Redis数据库中的数据(即键值对)迁移至另一个Redis数据库中。通常迁移完成后即可...

Control Center基本使用

Control Center是流数据服务Confluent的核心管理服务,提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。详细的Control Center用户指南请参见 Control Center官方文档。登录Control Center 创建阿里云Confluent集群,...

云产品集成

您可以使用 DMS 录入云数据库 OceanBase 的数据,通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。什么数据管理DMS 支持的数据库...

缓存数据持久化

当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时,阿里云为您提供了缓存数据持久化的高效方案,该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作,确保数据的高速访问和持久化存储,具备高吞吐、低...

将时空数据写入宽表引擎

value_format 是 指定数据源写入Lindorm流引擎的数据格式,取值如下:CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务,将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...

通过引擎实现地理围栏监控

将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中,将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内,并将异常车辆数据输出到output_stream数据流表,同时也可以订阅异常数据进行报警。场景实现的原理...

什么是边缘流数据分析

流数据分析是一种使用的方法快速实时处理数据的计算方式。边缘计算中的流数据分析,继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务,并将该任务下发到边缘端,通过边缘设备实时运行。运行结果可以存储在边缘端...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

查看任务详情

任务流是数据同步、数据开发、智能标签、质量评估等业务产生的任务集,运维监控支持查看任务流及其详情,包括任务详情、实例列表、部署日志、下线日志、运行日志。本文介绍如何查看任务流详情。背景信息 任务流来源、任务类型及实例的...

查看任务详情

任务流是数据同步、数据开发、智能标签、质量评估等业务产生的任务集,运维监控支持查看任务流及其详情,包括任务详情、实例列表、部署日志、下线日志、运行日志。本文介绍如何查看任务流详情。背景信息 任务流来源、任务类型及实例的...

自动SQL限

SQL限流是限制数据库上执行SQL的并发度,通过限制问题SQL的并发度后,保障数据库正常响应业务请求,保障大部分的业务正常运转,即通过小部分业务受损,保障大部分业务正常运行。背景信息 随着技术的发展,尤其是云数据库的普及,数据库系统...

集群资源规格评估建议

阿里云流数据服务Confluent组成架构 阿里云流数据服务Confluent是一个流数据平台,能够组织管理来自不同数据源的数据,是一个稳定高效的系统。如下图所示,它由六个组件构成,分别为Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB...

透明数据加密概述

RDS PostgreSQL支持透明数据加密(Transparent Data Encryption,简称TDE),对数据文件进行实时加密和解密,保护用户数据隐私,本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...

产品概述

产品介绍 DataV是一款数据可视化应用搭建产品,让数据可视、价值可见。DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色,搭配强大的低代码可视化搭建编排能力,可以高效、低成本地完成可视化大屏、PC数据看板、...

创建Aliyun HBase数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 服务类型 根据数据源HBase选择...

创建ClickHouse数据

通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse,引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...

数据流运维

您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据集成>离线集成。单击数据流名称,进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...

数据源权限管理

本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限?是否支持再次分享已被分享的数据源?数据源的创建者是否有权控制该数据源?什么是私有模式的数据源?哪些用户能够收回数据源的分享权限?如何检查数据源分享关系的...

发布数据流

完成数据流的配置或变更后,您需要通过发布操作将最新的数据流发布,有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据集成>离线集成。单击数据流名称,进入数据流详情页面。可选:...

数据流管理

本文介绍如何创建数据流、查看或删除数据流、滚动更新数据流等。背景信息 数据流管理功能适用于日志、事件、指标和其他连续生成数据的场景。如果您将索引和请求直接提交到数据流数据流会自动将请求路由到存储数据流数据的后备索引上。您...

概述

背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了更高抽象层的API以便您编写分布式任务。Flink(VVR)完全兼容开源Flink,相关内容请...

配置blk-iocost权重限速

说明 cgroup v1和cgroup v2是Linux内核中的两个不同版本的资源管理功能。在Alibaba Cloud Linux内核中,blk-iocost功能同时支持cgroup v1和v2接口,但通常在一个系统中只有一个版本是被激活和使用的。您可以通过 stat-fc%T/sys/fs/cgroup ...

创建数据流

在数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...

新建 PolarDB-X 2.0 数据

配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB-X 2.0 数据源。背景信息 云原生数据库 PolarDB 分布式版(简称 PolarDB-X)是由阿里巴巴自主研发的云原生分布式数据库,为您提供高吞吐、大...

支持的数据库引擎与功能

阿里云数据库 ECS上的自建数据库 线下数据库 其他云数据库 阿里云数据库 ECS上的自建数据库 线下数据库 其他云数据数据源类型 MongoDB Redis 支持的版本 4.2、4.0、3.6、3.4、3.2 4.0标准版(主从架构)说明 不支持Redis 5.0及以上版本...

A100使用指南

支持审计10个数据库实例 12,000元/月 144,000元/年 企业版 吞吐量峰值:30,000条SQL/秒 800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据...

新建AnalyticDB for MySQL 3.0数据

通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...

新建AnalyticDB for MySQL 3.0数据

通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...

创建AnalyticDB for MySQL 2.0数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...

CREATE CQ

连续查询(Continuous Query,简称CQ),对Lindorm流引擎中的实时数据进行计算(过滤、转换、增强、聚合),并将计算结果写入到另一个数据流表或者外表中,直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 DBS 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用