什么是EMR Serverless StarRocks
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）...
数据模型架构规范
数据分类架构 该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：公共维度层：基于维度建模理念思想，建立整个企业的一致性维度。明细粒度事实层：以业务过程为建模驱动，基于每...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
MySQL分库分表同步至MaxCompute
然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全量分区，在查询数据时，一般需要查询Base表最新分区。使用限制 同步资源组：分库分表同步至MaxCompute需要使用DataWorks独享数据集成资源组。跨时区同步限制：同步...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
MySQL分库分表同步至MaxCompute
然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全量分区，在查询数据时，一般需要查询Base表最新分区。使用限制 同步资源组：分库分表同步至MaxCompute需要使用DataWorks独享数据集成资源组。跨时区同步限制：同步...
地图容器
地图容器是3D平面世界地图中用于承载地图本身和各子组件的容器，支持添加散点层、飞线层、柱状图层等子组件，支持配置地图的位置和颜色等，能够以3D立体多角度多形式地渲染全世界地理位置的实时数据。本文介绍3D平面世界地图容器各配置项的...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
地图容器
图表样式 地球容器是3D球形地图中用于承载地图本身和各自组件的容器，支持添加球体层、飞线层等子组件，支持配置地图的渲染模式、背景、视点位置等，能够以3D立体的形式，多角度、多形式地渲染全世界地理位置的实时数据。配置面板 子组件...
无感数据集成（Zero-ETL）
方案优势 简单易用：用户无需创建和维护执行ETL（提取、转换、加载操作）的复杂数据管道，仅需选择源端数据和目标端实例，自动创建实时数据同步链路，减少构建和管理数据管道所带来的挑战，专注于上层应用开发。零成本：Zero-ETL链路不额外...
地图容器
地图容器是3D平面中国地图中用于承载地图本身和各子组件的容器，支持添加散点层、飞线层、柱状图层子组件，支持配置地图的位置和颜色等，能够以3D立体多角度多形式地渲染中国地理位置的实时数据。本文介绍3D平面中国地图容器各配置项的含义...
功能发布记录 2022年之前
提供的实时数据同步功能，可以将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。利用解决方案可以实现全增量一体化同步。2021.4.15 全部地域。解决方案介绍 实时同步介绍 2020-07 功能...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。...实时数据同步。
导入概述
实时数据导入：日志数据和业务数据库的Binlog同步到Kafka后，优先推荐通过 Routine Load 导入StarRocks。如果导入过程中有复杂的多表关联和ETL预处理可以使用Flink（Flink Connector）处理以后，再通过 Stream Load 写入StarRocks。程序...
2020年
PolarDB MySQL集群间的双向同步 支持从SQL Server同步至AnalyticDB for PostgreSQL，可应用于实时数据分析场景。从RDS SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL 从ECS上的自建SQL Server同步至云原生数据仓库AnalyticDB ...
数字翻牌器
图表样式 数字翻牌器是文字组件的一种，支持自定义翻牌器的标题、数字、前缀、后缀等样式，通常与其他组件配合使用，通过交互功能在可视化应用中展示实时数据的变化情况。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在...
DataWorks on EMR Serverless StarRocks最佳实践
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。更多关于StarRocks、EMR Serverless StarRocks的介绍请参见 什么是EMR Serverless ...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
MySQL分库分表同步至Hologres（方案1.0）
本文以MySQL分库分表实时写入Hologres场景为例，为您介绍如何通过数据集成同步分库分表数据至Hologres。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
整体架构
其中：数据接入 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的 Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接...
平滑扩容
数据校验 增量达到准实时同步后，系统自动做全数据校验，并且订正因为同步延迟造成的不一致数据。应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database ...
数据迁移与同步FAQ
说明 DTS的数据同步功能可支持更加丰富的Redis同步场景和功能，建议通过DTS的数据同步功能来完成数据迁移。更多信息，请参见 Redis数据同步方案概览。使用DTS遇到预检查报错，如何解决？DTS在执行数据迁移或数据同步任务之前，会对源库和...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
产品架构
数据订阅的工作原理 数据订阅支持实时拉取RDS实例的增量日志，用户可以通过DTS提供的SDK数据订阅服务端来订阅增量日志，同时可以根据业务需求，实现数据定制化消费。DTS服务端的日志拉取模块主要实现从数据源抓取原始数据，通过解析、过滤...
创建Hologres数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至当前Hologres数据源，或将当前Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步解决...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
数据库实时导入DataHub
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
新功能发布记录
配置SQL赋值节点 08月 功能名称 变更类型 功能描述 相关文档 数据管理DMS升级到5.0版本 迭代 数据管理DMS 5.0控制台的功能模块按照使用场景进行划分，同时集成了DTS实时数据传输功能。DMS控制台切换 07月 功能名称 变更类型 功能描述 相关...
MySQL整库实时同步至OSS数据湖
本文以MySQL实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。前提条件 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择...
功能特性
实时数仓 Hologres 功能集 功能 功能描述 参考文档 计算 SQL开发 兼容PostgreSQL语法，支持完整的DDL、DML等能力，提供多种数据类型和函数，可标准的SQL开发，上手成本低。CREATE TABLE 数据类型汇总 PostgreSQL兼容函数 扩展函数 DML...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 实时数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 实时数据同步，将鼠标悬停在新建...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 实时数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 实时数据同步，将鼠标悬停在新建...
实时同步任务运维
详情请参见：配置单表增量数据实时同步任务、配置整库增量数据实时同步任务。运行与管理实时同步任务 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板 启动、暂停、下线 对应同步任务，详情请参见 实时同步任务运行与...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
- 产品推荐
- 这些文档可能帮助您