持续查询
本文介绍如何在流引擎中持续查询数据。背景信息 持续查询（Continuous Query）是基于流表的实时计算，它的基本处理模型如下图所示。Source表示数据源头的流表，Operator表示计算逻辑，Sink表示存储计算结果的结果表。每当源头的流表有数据...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
集成云工作流
云工作流 支持将 云工作流 本身作为流程的节点集成到一个工作流中，即通过一个流程触发另一个或多个子流程。本文介绍 云工作流 集成 云工作流 的示例代码、参数说明、返回值说明和支持的集成模式以及错误定义。示例代码 以下为一个典型的 ...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
从通过专线、VPN网关或智能接入网关接入的自建Redis...
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以通过专线、VPN网关或智能接入网关接入的自建Redis同步至ECS上的自建Redis为例，介绍数据同步作业的配置流程...
配置数据层
配置异地应用双活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不...
从ECS上的自建Redis同步至Tair实例
DTS也支持 云原生内存数据库Tair 实例间的单向同步，配置方式与自建Redis迁移至Tair实例类似，您可以参考本文进行配置。自建Redis的版本为2.8、3.0、3.2、4.0、5.0、6.0。目标 云原生内存数据库Tair 实例的存储空间需大于源自建Redis数据库...
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。使用限制 离线同步支持读取视图表。支持的版本 支持版本最高至7.0（含）...
配置数据层
配置异地多活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不可用...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
跨云账号单向同步云数据库Redis实例
若目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，会导致目标库与源库数据不一致的情况，但不会影响任务的正常运行。为避免该情况发生，建议将目标库的数据逐出策略...
DESCRIBE
查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明 参数 是否必选 说明 table_name 是 数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下：+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...
跨云账号单向同步云数据库Redis实例
若目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，会导致目标库与源库数据不一致的情况，但不会影响任务的正常运行。为避免该情况发生，建议将目标库的数据逐出策略...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
云数据库MongoDB版（分片集群架构）同步至云数据库...
支持的单向同步架构 目前DTS仅支持两个 云数据库MongoDB版 实例（分片集群架构）之间的单向同步，暂不支持多个 云数据库MongoDB版 实例之间的单向同步。任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构...
新建连接模板
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1，在下方的 节点配置...
云数据库MongoDB版（分片集群架构）同步至云数据库...
支持的单向同步架构 目前DTS仅支持两个 云数据库MongoDB版 实例（分片集群架构）之间的单向同步，暂不支持多个 云数据库MongoDB版 实例之间的单向同步。任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构...
RDS MySQL同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 阿里云流式数据服务DataHub，帮助您快速实现使用流计算等大数据产品对数据实时分析。前提条件 已创建源实例 RDS MySQL。说明 源实例 RDS MySQL 的创建方式，...
PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步
本文介绍如何使用数据传输服务DTS（Data Transmission Service）实现 PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步。前提条件 已创建存储空间大于源 PolarDB PostgreSQL版（兼容Oracle）集群已占用存储空间的目标 PolarDB ...
支持的连接器
作业首先从订单数据源表读取实时订单数据，将订单数据流与用户信息静态维表进行Join，然后按地区聚合统计订单总额，最后将统计结果写入结果表。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出...
PolarDB PostgreSQL版间的迁移
同步拓扑 单向拓扑：只建立源库到目标库的单向同步链路，包括存量数据及增量同步链路。双向同步：建立源库到目标库的双向同步链路，同时进行源库到目标库的增量同步，以及目标库到源库的反向回流。说明 反向回流只支持数据同步，不支持DDL...
解决方案与客户案例
COPY类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据 单向 实时同步，保证每个单元都有全量数据。中心单元可进行读写，非中心单元只提供读服务。这种同步策略用于支持中心化服务和普通服务，中心化服务路由回中心执行，普通...
解决方案与客户案例
COPY类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据【单向】实时同步，保持每个单元都有全量数据，中心单元可进行读写，非中心单元只提供读服务。这种同步策略用于支持中心化服务和普通服务，中心化服务路由回中心执行，...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
概览
通过集群管理系统的概览页面可以查看云原生多模数据库Lindorm实例中所有表的详细信息。本文介绍如何通过集群管理系统管理表。前提条件 已登录目标集群的集群管理系统，具体操作，请参见 登录集群管理系统。查询表的详细信息 在 概览 页面，...
如何对JSON类型进行高效分析
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
DROP STREAM
删除指定流表。语法 DROP STREAM[IF EXISTS][catalog_name.]...database_name 否 流表所属的数据库。stream_name 是 流表的名称，用于唯一指定一个流表。示例 删除流表MySTREAM2。DROP STREAM MySTREAM2;返回结果如下：1 row affected
查看连接地址
本文介绍通过 云原生多模数据库 Lindorm 控制台查看流引擎类的连接地址。前提条件 已开通 云原生多模数据库 Lindorm 的流引擎，具体操作请参见 开通流引擎。专有网络和公网 网络类型 说明 专有网络 专有网络VPC（Virtual Private Cloud）是...
配置离线数据集成节点
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
- 产品推荐
- 这些文档可能帮助您