CREATE STREAM
数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|<metadata_column_definition>}[,.n][][,.n])[COMMENT table_comment]...
PolarDB MySQL版间的单向同步
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB MySQL版 集群间的单向数据同步。前提条件 已购买源和目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群。支持的数据库版本，请参见 同步方案概览。源 ...
通过Flink SQL模式配置ETL任务
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 FlinkSQL。单击 确认。在 数据加工 页面的 数据流信息 部分，添加源库和目标库。参数 说明 地区 选择数据源所在地域。类型 选择库表类型。...
分配流数据分析到边缘实例
本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件 请您确保已创建完成边缘实例，具体操作请参见 专业版环境搭建。操作步骤 登录 数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
配置流程
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。根据页面信息完成ETL任务配置。创建ETL任务。说明 下文以 输入/维表 MySQL、字段计算器 和 输出 MySQL 节点为例进行介绍。源...
调用OpenAPI配置Redis企业版实例间单向或双向数据同步
说明 配置单向数据同步时，您也可以将自建Redis数据库或阿里云Redis社区版实例作为源库或目标库，配置方法与本案例类似（需调整对应的请求参数，例如 MigrationReserved）。登录 OpenAPI门户。在输入参数中根据实际情况填写参数。说明 ...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
PolarDB MySQL版间的单向同步
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB MySQL版 集群间的单向数据同步。前提条件 已购买源和目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群。支持的数据库版本，请参见 同步方案概览。源 ...
通过开源Kafka客户端写入Lindorm流引擎数据
指定数据流表的物理数据存储在某个Topic上 String topic="log_topic;props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
从Oracle迁移应用至阿里云PolarDB全流程指南
它底层的数据流基础设施为阿里双11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行6年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。云数据库PolarDB：PolarDB是阿里巴巴自主研发的下一代关系型...
应用场景
提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。数据分析：实现了实时数据分析生成的数据可以直接用于Serving，从而实现了实时...
支持的连接器
作业首先从订单数据源表读取实时订单数据，将订单数据流与用户信息静态维表进行Join，然后按地区聚合统计订单总额，最后将统计结果写入结果表。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出...
Redis实例间的单向数据同步
本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 源和目标Redis实例...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向...
我是安全管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
Redis实例间的单向数据同步
本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 源和目标Redis实例...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
管理过滤器
因为数据流从一开始就错了，再通过过滤器处理就没有意义了。过滤器报错：在过滤器对数据执行过滤过程中，如果代码执行出错会在界面两个地方有报错提示。图 1.报错一 图 2.报错二 管理过滤器面板 在可视化应用左侧的 数据过滤器 面板中，您...
PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的单向数据同步。前提条件 源 PolarDB PostgreSQL版（兼容Oracle）集群需为最新版本，升级方式详情请见 版本管理。源 PolarDB ...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
管理过滤器
因为数据流从一开始就错了，再通过过滤器处理就没有意义了。过滤器报错：在过滤器对数据执行过滤过程中，如果代码执行出错会在界面提示。例如：待返回字段未定义。管理过滤器面板 在 过滤器 页签的过滤器面板中，您可以管理应用内所有组件...
管理过滤器
因为数据流从一开始就错了，再通过过滤器处理就没有意义了。过滤器报错：在过滤器对数据执行过滤过程中，如果代码执行出错会在界面提示。例如：待返回字段未定义。管理过滤器面板 在 过滤器 页签的过滤器面板中，您可以管理应用内所有组件...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
Global AWR用户指南
架构与数据流 AWR架构说明 采集层：UE作为代理进程部署于物理机，负责采集 PolarDB PostgreSQL版 数据库集群的性能数据及事件信息。存储层：UE完成采集后，您可以配置将采集到的数据回写到对应的数据库集群中。展示层：提供Grafana展示,可...
我是DBA
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
使用ETL分析实时订单
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。执行如下操作，配置流表和维表信息。配置流表信息 页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击...
Global AWR用户指南
架构与数据流 AWR架构说明 采集层：UE作为代理进程部署于物理机，负责采集 PolarDB PostgreSQL版（兼容Oracle）数据库集群的性能数据及事件信息。存储层：UE完成采集后，您可以配置将采集到的数据回写到对应的数据库集群中。展示层：提供...
Global AWR用户指南
架构与数据流 AWR架构说明 采集层：UE作为代理进程部署于物理机，负责采集 PolarDB PostgreSQL版（兼容Oracle）数据库集群的性能数据及事件信息。存储层：UE完成采集后，您可以配置将采集到的数据回写到对应的数据库集群中。展示层：提供...
我是管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品...数据流设计 ETL过程中，数据流向有如下限制：数据流向仅支持由低到高，即ODS->DWD->DWS->ADS。数据不能跨层引用、逆向引用。DWS层不同集市的数据不能相互引用，必须沉淀到DWD层。
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
产品优势
DBS通过使用阿里实时数据流技术，读取数据库日志并进行实时解析，然后备份至云端存储上，实现对数据库的增量备份。通常，DBS可以将增量备份的延迟控制在秒级别以内，根据实际网络环境不同，延迟时长也会不同。并行备份：全程无锁备份、多...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。流计算中注册 RDS数据存储 失败。可能原因：您的RDS数据库与流计算项目不...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
产品优势
本文介绍流数据服务Confluent的产品优势。流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码...
云数据库Redis实例间单向数据迁移
且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission Service，简称DTS）实现Redis实例（自建Redis和 云数据库 Redis 版）间的单向数据迁移。...
- 产品推荐
- 这些文档可能帮助您