概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
Flink+Hologres实时数据大屏
本文以GitHub公开事件数据为例，为您介绍使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例），实现海量数据实时分析的通用架构与核心步骤。示例架构 搭建实时数仓时，Flink可对待处理数据进行实时清洗，...
RDS实时同步至Hologres
数据服务：Hologres是兼容PostgreSQL协议的实时数仓引擎，支持海量数据实时写入与更新、实时数据写入即可查。实时大屏：本实践以DataV为例，为您展示搭建实时大屏后查看并分析数据的效果。实践步骤 准备工作 本实践使用已存储在公共MySQL中...
功能特性
PSQL客户端 Flink、Spark等Connector Hologres提供多种数据写入Connector，与Flink、Spark等计算框架原生集成，通过内置Connector，支持大数据实时写入与更新。数据同步概述 BI分析工具 可与多种BI工具如Quick BI、Tableau、Datav等无缝...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
通过Flink读写AnalyticDB PostgreSQL数据
实时计算Flink版 是基于Apache Flink构建的⼀站式实时大数据分析平台，内置丰富上下游连接器，满足不同业务场景的需求，提供高效、灵活的实时计算服务。通过实时计算Flink版读取AnalyticDB PostgreSQL版数据，可以充分发挥云原生数据仓库的...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
构建数据仓库
适用行业：适用于电商、游戏、社交等互联网行业大规模数据实时查询场景。方案优势：阿里云实时数仓全套链路与离线数仓无缝打通。满足一套存储，两种计算（实时计算和离线计算）的高性价比组合。产品组合：DataHub+实时计算Flink+交互式分析...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta ...实时数仓 利用Databricks Delta Lake的ACID事务特性，可以构建云上大数据的实时数仓。icmsDocProps={'productMethod':'created','language':'zh-CN',};
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
MySQL分库分表实践
同时阿里云Flink也提供了丰富强大的数据实时入仓入湖能力，支持将多种数据源方便快捷的写入至Hologres。前提条件 开通Hologres，详情请参见 购买Hologres。开通RDS MySQL数据库，详情请参见 创建RDS MySQL实例。如果选择使用DataWorks同步...
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
MaxCompute数据源
单表实时同步任务配置指导 操作流程请参见 配置单表增量数据实时同步、DataStudio侧实时同步任务配置。整库级别同步任务配置指导 整库离线、整库（实时）全增量、整库（实时）分库分表等整库级别同步任务的配置操作，请参见 数据集成侧同步...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
2020年
新功能 MC-Hologres 是为大数据设计的实时交互式分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议，可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务...
SQL回放
当源端OLTP库的数据迁移到目标端OLAP库后，您可以使用 数据管理DMS 的SQL回放功能，查看源端SQL在目标端的兼容性及SQL性能对比的结果，帮助您提升OLAP库的测试效率。背景信息 OLTP是传统关系型数据库的主要应用，主要用于基本和日常的事务...
什么是ETL
应用场景 多地域或异构数据实时集中：将多地域或者异构数据实时存储至同一数据库中，便于企业中心化高效管理及决策支持。实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度...
流式ETL
应用场景 多地域或异构数据实时集中：将多地域或者异构数据实时存储至同一数据库中，便于企业中心化高效管理及决策支持。实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度...
实时同步任务运维
详情请参见：配置单表增量数据实时同步任务、配置整库增量数据实时同步任务。运行与管理实时同步任务 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板 启动、暂停、下线 对应同步任务，详情请参见 实时同步任务运行与...
基于混合负载的查询优化
企业数字化分析的多元化，涵盖了实时的BI决策，实时报表，数据ETL，数据清洗以及AI分析。传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的...
快速搭建实时数仓分析大屏
进入 实时计算开发平台，使用实时计算清洗并聚合源数据，通过实时数据API将数据实时写入Hologres。SQL语句示例如下。CREATE TEMPORARY table source_table(user_id BIGINT,user_name VARCHAR,item_id BIGINT,item_name VARCHAR,price ...
数据上云场景
RDS数据库数据实时同步时，可以选择DataWorks的数据集成，详情请参见 配置数据源（来源为MySQL）。日志采集 日志采集时，您可以选用Flume、Fluentd、Logstash等工具。具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志...
实践教程
针对各种业务需求，E-MapReduce提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩...即席查询 数仓场景：增量数据实时统计 数仓场景：分钟级准实时分析
集成与开发概览
产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多环境管理。应用场景 数据集成 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
数据同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
实时性能大盘
如果您的业务正在大促、或者正在进行重大变更，可以通过该功能实时确认数据库健康情况。操作步骤 登录 DAS控制台。在左侧导航栏，单击 实时性能大盘。说明 实时性能大盘页展示了所有接入状态为 连接正常 的实例 实时性能状态，并且会自动...
什么是数据传输服务DTS
数据集成调度策略说明 数据订阅 获取自建MySQL、RDS MySQL、PolarDB MySQL、PolarDB-X、Oracle的实时增量数据，您可以根据业务需求自由消费增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
数据导入与迁移
RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中，使用说明：开通 LTS服务。在BDS中添加HBase增强版集群关联，具体操作方法参见 添加HBase增强版数据。请参见 RDS全增量同步 完成配置。HBase迁移至HBase增强...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
- 产品推荐
- 这些文档可能帮助您