实时数据平台-实时数据平台文档介绍内容-阿里云

Kafka Indexing Service

本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。前提条件已创建E-MapReduce的Druid集群和Kafka集群，详情请参见创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache ...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...

引擎简介

云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...

实时数据消费概述

实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版单产品直接消费Kafka数据。...

新建实时自定义源类型

Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...

迁移或同步指定时间段内的数据

如果您想要将源HBase集群或源Lindorm实例中某个时间段的历史数据迁移至新的Lindorm实例，或想要同步实时数据到新Lindorm实例，可以在创建任务时添加相关时间参数，修改任务配置。本文介绍通过LTS控制台创建任务时配置迁移或同步时间范围的...

新建实时自定义源类型

Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...

Dataphin支持的实时数据源

在Dataphin实时计算引擎下，您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。Ververica Flink支持的实时数据源存储类型数据源类型读写维表读大数据存储 ...

轨迹服务

业务挑战面对海量的车辆实时数据，汽车云平台的业务系统需要达到以下要求：能高效写入海量轨迹点，且存储成本低。实时计算：实时电子围栏：实时判断车辆是否驶出目标范围并以毫秒级返回判断结果。时空统计：计算某个区域的实时车辆数并以...

Dataphin支持的实时数据源

在Dataphin实时计算引擎下，您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。Ververica Flink支持的实时数据源存储类型数据源类型读写维表读大数据存储 ...

产品优势

它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的传输链路，同时它提供了诸多便利功能，极大方便了传输链路的创建及管理。丰富多样 DTS支持多种同构或...

概述

实时数据分析 实时数据分析指的是根据业务目标，从原始数据中抽取对应信息并整合的过程。例如，查看每天销量前10的商品、仓库平均周转时间、文档平均单击率和推送打开率等。实时数据分析则是上述过程的实时化，通常在终端体现为实时报表或...

流式ETL

数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...

什么是ETL

数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...

使用场景

实时数据处理 DMS任务编排可以设置定时任务，实现对实时数据的处理和分析。业务流程自动化结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了...

ETL工具支持概览

支持的ETL工具见下，可以同时参见更详细的同步方案列表数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...

Hudi概述

Trade-off Snapshort Queries Read Optimized Queries Data Latency 低高 Query Latency 对于MOR类型，高低应用场景近实时数据摄取 Hudi支持插入、更新和删除数据的能力。您可以实时摄取消息队列（Kafka）和日志服务SLS等日志数据至...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...

数据导入与迁移

添加实时数据同步任务。HBase增强版迁移至HBase 使用阿里云BDS数据同步服务可以将HBase增强版历史和增量数据迁移到阿里云HBase标准版或开源HBase，具体操作请参见 LTS服务。数据导入（历史数据迁移）开通 LTS服务。在BDS中添加HBase集群和...

DeleteDISyncTask

当前仅支持使用该接口删除实时数据同步任务。如果您希望删除离线数据同步任务，请使用DeleteFile接口，具体操作流程请参考删除同步任务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...

概述

Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储系统中（例如HDFS、OSS、Kafka和Elasticsearch），为后续分析数据和清洗数据做准备。...

查看实时性能

说明：上图中的区域1是实时数据区域，显示各项指标的实时监控数据；区域2是与数据区域对应的指标图表，体现指标的变化趋势；页面数据从打开页面的时刻开始采集，每8秒刷新一次，刷新周期不可更改。单击实时监控开关可以开启或暂停数据刷新...

实时数据订阅概述

云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的...

数据传输服务（上传）场景与工具

实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍批量数据通道上传使用批量数据通道上传数据时，可以通过单个...

数据质量：全流程的质量监控

数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...

独享数据集成资源组

例如，单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。提供一系列同步解决方案。例如，整库离线数据同步，单表或整库全增量实时数据同步。详情请参见同步解决方案能力说明。说明独享数据集成资源组保障的是数据同步...

实时同步能力说明

DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制实时同步不支持在数据开发界面运行任务，您需要保存、...

FineBI

需要下载支持实时数据的版本（实时数据版本支持直联 AnalyticDB MySQL版引擎）。更多详情，请参见 实时数据（直连）。如果您是第一次安装FineBI，需要安装MySQL服务器（例如阿里云RDS MySQL），用于导入FineBI的元数据，更多详情，请参见 ...

质量规则模板类型

实时元表模板类型模板详情分类描述一致性实时离线对比当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比高可用场景下，需要构建...

质量规则模板类型

实时元表模板类型模板详情分类描述一致性实时离线对比当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比高可用场景下，需要构建...

什么是数据传输服务DTS

数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...

Iceberg概述

而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。

ClusterSummary

DATAFLOW：实时数据流。DATASERVING：数据服务。DATALAKE ClusterState string 集群状态。取值范围：STARTING：启动中。START_FAILED：启动失败。BOOTSTRAPPING：引导操作初始化。RUNNING：运行中。TERMINATING：终止中。TERMINATED：已...

功能特性

基于DLA+DTS同步RDS数据来构建实时数据湖 DLA Serverless Presto DLA Serverless Presto是云原生数据湖团队基于Presto打造的交互式分析引擎，Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化...

典型使用场景

而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列通常业务发生之后，应用系统产生的数据需要被其他应用使用或根据这个事件驱动其他应用的业务逻辑，应用之间一般通过消息队列进行消息...

LTS（原BDS）服务介绍

全量导出MaxCompute、增量归档MaxCompute LogHub实时数据订阅重要该功能自2023年6月16日下线，2023年6月16日后购买的LTS 不再支持此功能，2023年6月16日前购买的LTS仍可正常使用此功能。支持订阅LogHub实时数据到Lindorm。日志服务（SLS...

使用流程

通过一键建仓和多仓合并建仓（仅支持数据库）、实时数据湖（支持数据库和消息日志）功能来构建数据湖。具体操作请参见一键建仓多库合并建仓和 实时数据湖。连接数据源：您也可以通过DLA直接连接其他数据源或者OSS来进行数据分析与计算。...

数据同步概述

实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...

云产品集成

常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现前提条件已获取 OceanBase 数据库的基本连接信息，详细步骤请参见获取连接参数。大数据开发治理平台 ...

实时数据平台

新品推荐