基本概念
MySQL Binlog：实时数据同步模式，通过同步并解析记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志，实现数据的秒级同步。SQLServer CDC：实时数据同步模式，开启CDC的源表...
Dataphin支持的数据源
说明 在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型 新建实时自定义源类型 数据源说明 ...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至 AnalyticDB for MySQL。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务 创建整库实时同步节点。配置...
日志服务数据同步至Hologres
Hologres致力于高性能、高可靠、低成本、可扩展的实时计算引擎研发，为用户提供海量数据的实时数据仓库解决方案和亚秒级交互式查询服务，广泛应用在实时数据中台建设、精细化分析、自助式分析、营销画像、人群圈选、实时风控等场景。...
流式数据通道概述
实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？默认使用批量数据通道，支持流式数据通道模式，需要联系Kafka值班同学后台打开。LogStash日志采集端：使用...
使用Flink写入时序引擎
Flink可以处理实时数据流，并将处理结果写入Lindorm时序引擎，以实现实时数据监控等场景。本文介绍如何将Flink上实时的数据处理结果写入到时序引擎。前提条件 已开通实时计算Flink版或者已有自建Flink。实时计算Flink版的开通，请参见 开通...
概述
通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套数据库系统，即可满足业务的OLTP及OLAP需求。如您有关于列存索引的使用问题，请进钉钉群咨询，群号：...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
数据传输服务（上传）场景与工具
实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个...
概述
数据传输旨在帮助您低风险、低成本、高效率地实现同构或异构数据库向 OceanBase 数据库进行实时数据迁移和数据同步。数据迁移：数据迁移属于一次性任务，迁移完成后即可释放项目资源。您可以通过数据迁移功能，实现同构或异构数据源之间的...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
数据同步功能可应用于异地多活、数据异地灾备、本地数据灾备、数据异地多活、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。通过数据同步功能，您可以将MySQL、PolarDB-X（原DRDS）以及PolarDB中的数据同步至 ...
云数据库Redis版产品选型必读
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主从切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。更多介绍，请...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-...
产品优势
DBS通过使用阿里实时数据流技术，读取数据库日志并进行实时解析，然后备份至云端存储上，实现对数据库的增量备份。通常，DBS可以将增量备份的延迟控制在秒级别以内，根据实际网络环境不同，延迟时长也会不同。并行备份：全程无锁备份、多...
入仓解决方案
主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。支持的数据库 请参见 迁移...
数据源管理概述
自定义数据源类型：在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型...
数据源管理概述
自定义数据源类型：在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型...
数据分析整体趋势
据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从数仓分析市场增长来看，据Global Market Insights分析，2019-2025全球年复合增长超过12%，中国则大于15%，...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
故障应急
故障管理体系是围绕故障全生命周期采取的一系列控制流程，包括故障基础数据管理（故障等级定义、应急场景监控覆盖、服务组&值班表管理、故障订阅管理），故障发现（7*24监控值班、智能基线告警），故障应急协同（故障通告及更新、故障应急...
如何管理故障
可对故障根因进行原因检查并结构化录入，检查点包括：故障原因、最近活动、注入方式、恢复方式等；关联故障期间的故障变更，新增故障改进措施等操作。故障状态 处理中：处理中仍未恢复的故障；已恢复：故障对处理中的故障做 恢复 操作后是...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、OceanBase、MySQL及Oracle数据源至DataHub。使用说明 DataHub不同数据类型对应操作的支持情况，不同数据类型的分片策略、数据格式及相关消息...
Dataphin支持的数据源
说明 在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型 新建实时自定义源类型 数据源说明 ...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
2019年
从Amazon RDS for PostgreSQL增量迁移至阿里云 支持从DRDS同步到AnalyticDB for MySQL（3.0）或AnalyticDB for PostgreSQL（4.3），帮助您快速构建实时数据仓库。同步方案概览 从MySQL同步至AnalyticDB for PostgreSQL（4.3）时，支持结构...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
监控报警概述
实时监控提供终端用户登录云电脑的实时数据（例如用户在线数量、在线时长的前十用户、平均登录时间和云电脑网络延迟分布情况）以及相关故障预警信息，以便快速准确定位，迅速处理故障，避免因资源、网络问题或者外部操作原因造成不必要的...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
支持的云服务
实时数仓Hologres Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
Oracle同步至Tablestore
在初次启动任务时，您需要指定该任务的启动位点，以下图为例选择 2023-08-16 11:00:00，表示从该时间点的实时数据开始同步。查看任务运行状态 创建完成同步任务后，您可以在同步任务页面，找到已创建的同步任务，单击 任务名称 或 执行概况...
创建Kafka数据源
背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在对接Dataphin进行数据开发或将Dataphin的数据导出至Kafka，您需要先完成Kafka数据源的创建。Kafka不同版本的功能...
创建Kafka数据源
背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在对接Dataphin进行数据开发或将Dataphin的数据导出至Kafka，您需要先完成Kafka数据源的创建。Kafka不同版本的功能...
如何对JSON类型进行高效分析
实时分析 针对半结构化数据分析，PolarDB IMCI实现列式JSON与列存虚拟列等技术，本小节将以GitHub实时事件数据（2023年7月份）来验证 PolarDB IMCI JSON实时数据分析能力。GitHub实时事件JSON数据可以从 GH Archive 获取，如wget，下载2023...
Kafka实时同步
本文为您介绍如何将Kafka数据实时同步至Hologres。背景信息 Kafka 是一款高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。Hologres与大数据生态无缝打通，您可以通过...
概览
支持 自建SQL Server同步至AnalyticDB PostgreSQL 数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。支持 自建PostgreSQL同步到云原生数据...
数据集成概述
详情请参见 实时数据同步。全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
- 产品推荐
- 这些文档可能帮助您