什么是阿里云实时计算Flink版
提供了丰富的数据实时入湖入仓和实时风控场景能力。在使用过程中，已有开源Flink任务可平滑迁移上云，无缝对接主流开源大数据生态，具备三十余种上下游连接器，极大节约企业的人力支出与资源投入成本。关于产品功能与优势的更多信息，请...
Flink+Hologres实时数据大屏
本文以GitHub公开事件数据为例，为您介绍使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例），实现海量数据实时分析的通用架构与核心步骤。示例架构 搭建实时数仓时，Flink可对待处理数据进行实时清洗，...
RDS实时同步至Hologres
数据服务：Hologres是兼容PostgreSQL协议的实时数仓引擎，支持海量数据实时写入与更新、实时数据写入即可查。实时大屏：本实践以DataV为例，为您展示搭建实时大屏后查看并分析数据的效果。实践步骤 准备工作 本实践使用已存储在公共MySQL中...
功能特性
PSQL客户端 Flink、Spark等Connector Hologres提供多种数据写入Connector，与Flink、Spark等计算框架原生集成，通过内置Connector，支持大数据实时写入与更新。数据同步概述 BI分析工具 可与多种BI工具如Quick BI、Tableau、Datav等无缝...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
通过Flink读写AnalyticDB PostgreSQL数据
实时计算Flink版 是基于Apache Flink构建的⼀站式实时大数据分析平台，内置丰富上下游连接器，满足不同业务场景的需求，提供高效、灵活的实时计算服务。通过实时计算Flink版读取AnalyticDB PostgreSQL版数据，可以充分发挥云原生数据仓库的...
客户案例
迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（“基于用户ID维度和内容类型的实时行为”、“获取用户的实时群聊ID...
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta ...实时数仓 利用Databricks Delta Lake的ACID事务特性，可以构建云上大数据的实时数仓。icmsDocProps={'productMethod':'created','language':'zh-CN',};
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
MySQL分库分表实践
同时阿里云Flink也提供了丰富强大的数据实时入仓入湖能力，支持将多种数据源方便快捷的写入至Hologres。前提条件 开通Hologres，详情请参见 购买Hologres。开通RDS MySQL数据库，详情请参见 创建RDS MySQL实例。如果选择使用DataWorks同步...
支持的数据源
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS至湖仓版（推荐）大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
构建数据仓库
适用行业：适用于电商、游戏、社交等互联网行业大规模数据实时查询场景。方案优势：阿里云实时数仓全套链路与离线数仓无缝打通。满足一套存储，两种计算（实时计算和离线计算）的高性价比组合。产品组合：DataHub+实时计算Flink+交互式分析...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
2020年
新功能 MC-Hologres 是为大数据设计的实时交互式分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议，可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务...
功能特性
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
SQL回放
当源端OLTP库的数据迁移到目标端OLAP库后，您可以使用 数据管理DMS 的SQL回放功能，查看源端SQL在目标端的兼容性及SQL性能对比的结果，帮助您提升OLAP库的测试效率。背景信息 OLTP是传统关系型数据库的主要应用，主要用于基本和日常的事务...
应用场景
部门场景 从企业部门职能的角度，可以将实时计算Flink版划分为以下场景：业务部门：实时风控、实时推荐、搜索引擎的实时索引构建等。数据部门：实时数仓、实时报表、实时大屏等。运维部门：实时监控、实时异常检测和预警、全链路Debug等。...
实时同步任务运维
详情请参见：配置单表增量数据实时同步任务、配置整库增量数据实时同步任务。运行与管理实时同步任务 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板 启动、暂停、下线 对应同步任务，详情请参见 实时同步任务运行与...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
基于混合负载的查询优化
企业数字化分析的多元化，涵盖了实时的BI决策，实时报表，数据ETL，数据清洗以及AI分析。传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
快速搭建实时数仓分析大屏
进入 实时计算开发平台，使用实时计算清洗并聚合源数据，通过实时数据API将数据实时写入Hologres。SQL语句示例如下。CREATE TEMPORARY table source_table(user_id BIGINT,user_name VARCHAR,item_id BIGINT,item_name VARCHAR,price ...
数据上云场景
RDS数据库数据实时同步时，可以选择DataWorks的数据集成，详情请参见 配置数据源（来源为MySQL）。日志采集 日志采集时，您可以选用Flume、Fluentd、Logstash等工具。具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志...
实践教程
针对各种业务需求，E-MapReduce提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩...即席查询 数仓场景：增量数据实时统计 数仓场景：分钟级准实时分析
集成与开发概览
产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多环境管理。应用场景 数据集成 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
阿里云实时数仓产品Hologres的应用场景
Hologres兼容PostgreSQL生态，是新一代的 阿里云实时数仓产品，与大数据生态无缝连接，支持实时与离线数据，对接第三方BI工具，实现可视化分析业务。本文为您介绍基于Hologres核心功能的典型应用场景。Hologres的典型应用场景如下：搭建...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
数据同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
数据导入与迁移
RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中，使用说明：开通 LTS服务。在BDS中添加HBase增强版集群关联，具体操作方法参见 添加HBase增强版数据。请参见 RDS全增量同步 完成配置。HBase迁移至HBase增强...
什么是数据传输服务DTS
数据集成调度策略说明 数据订阅 获取自建MySQL、RDS MySQL、PolarDB MySQL、PolarDB-X、Oracle的实时增量数据，您可以根据业务需求自由消费增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
- 产品推荐
- 这些文档可能帮助您