大数据平台与数据仓库-大数据平台与数据仓库文档介绍内容-阿里云

划分数据域

数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...

数仓构建流程

下图为MaxCompute数据仓库构建的整体流程。基本概念在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的...

面临的业务挑战

数据散乱不一致传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...

数据源开发和生产环境隔离

请在配置数据源时，确认开发数据源对应的数据库或数据仓库与生产数据源对应的数据库或数据仓库环境是否符合业务现状。例如出现DataStudio执行成功，生产调度时执行失败，或DataStudio执行与生产调度时执行数据量不一致等问题时，您可对比...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

云产品集成

大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...

使用kettle将本地数据导入AnalyticDB MySQL 2.0

在表输出的数据库字段选项卡中，单击获取字段和输入字段映射，映射Excel文件的列与云原生数据仓库AnalyticDB MySQL版 2.0集群中表的列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。待本地数据成功导入云...

发展历程

2022年自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...

快速体验

主要操作流程操作目的维度建模使用DataWorks的智能数据建模完成对业务数据仓库的模型规范制定及数据分层、数据域、业务过程等信息的设定，完成逻辑模型的设计，并将逻辑模型发布生成物理表。DataWorks智能建模会将创建的模型表发布到...

新用户必读

如果您是首次接触云原生数据仓库AnalyticDB MySQL版的用户，建议您先阅读以下部分。服务亮点和定价：产品详情页提供产品介绍、核心能力和产品定价。数仓版快速入门：引导您完成创建数仓版集群、设置白名单、创建数据库账号、创建数据库...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

如何对JSON类型进行高效分析

IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...

客户案例

互联网行业：快狗打车云上大数据仓库 客户架构如下。客户简介快狗打车则一直坚持通过“连接网络化”、“运力共享化”、“过程数据化”、“匹配智能化”等数字信息化解决方案，将闲散运力统一整合到平台上，通过大数据将运力精准匹配市场...

DataGrip

本文测试了DataGrip与云原生数据仓库AnalyticDB MySQL版在连通性、列举数据库、创建表等方面的兼容性，并给出测试结果图。测试环境 MySQL JDBC Driver DataGrip mysql-connector-java-8.0.15 下载地址为 DataGrip。测试范围连通性列举...

什么是MaxCompute

在一套数据仓库服务和用户接口下，实现数据湖与数据仓库的关联分析。详细信息，请参见 MaxCompute湖仓一体概述。离线实时一体与实时数仓Hologres深度融合，支持外部表关联查询，支持存储层直读，查询效率相比其他类型外部表高5倍以上。...

无感集成（Zero-ETL）

云原生数据仓库 AnalyticDB PostgreSQL 版提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域华东2（上海）。方案概述 ...

构建与优化数据仓库

应用场景

该场景可实现：在离线一体化支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性采用计算存储分离架构，计算资源和存储资源按...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

【停售公告】停止售卖云原生数据仓库AnalyticDB ...

阿里云停止售卖云原生数据仓库AnalyticDB MySQL版 2.0 集群。停售对象云原生数据仓库AnalyticDB MySQL版 2.0 集群停售影响您无法新购云原生数据仓库AnalyticDB MySQL版 2.0 集群。云原生数据仓库AnalyticDB MySQL版 2.0 集群功能不再...

产品优势

AnalyticDB MySQL版提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...

Teradata应用迁移至AnalyticDB PostgreSQL

对数据仓库基础数据平台的完整迁移。对数据仓库系统上已部署应用的平滑迁移。业务外观透明迁移，保持新旧系统业务操作一致性。充分保证数据仓库迁移后的性能。可接受的系统迁移周期及良好的迁移可操作性。充分复用旧系统架构、ETL算法、...

聚水潭：云原生数据仓库助力企业实现商业洞察

本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版构建企业级云原生数据仓库，解决业务需求过大、资源弹性扩展难等问题。客户介绍上海聚水潭网络科技有限公司成立于2014年，是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见行业客户案例...

支持的云服务

基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...

什么是数据管理DMS

AnalyticDB PostgreSQL版：云原生数据仓库AnalyticDB PostgreSQL版是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。OSS：对象存储服务OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云...

创建MaxCompute数据源

背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...

创建MaxCompute数据源

背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...

概览

支持表级迁移通过DataWorks导入数据数据集成（Data Integration）是阿里云对外提供的安全、低成本、稳定高效、弹性伸缩的数据同步平台，属于DataWorks的核心能力之一，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据...

账号类型

用户名和密码访问云原生数据仓库MySQL版方式有很多种：通过阿里云控制台、客户端或者JDBC。通过客户端或者JDBC访问时，需要数据库的用户名和密码，前面提到云原生数据仓库MySQL版账号是基于阿里云账号体系，所以数据库账号和密码为阿里云...

数据集成概述

数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...

采集数据

说明在数据集成同步任务配置前，您可以在DataWorks的数据源页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步任务配置过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...

通过实时计算Flink读写云原生数据仓库AnalyticDB ...

云原生数据仓库AnalyticDB PostgreSQL版支持通过实时计算Flink读写数据。本文介绍如何通过Flink写入数据到 AnalyticDB PostgreSQL版及读取 AnalyticDB PostgreSQL版数据。通过实时计算Flink版写入数据到AnalyticDB PostgreSQL版具体...

同步任务的注意事项及限制

源库为MySQL的注意事项及限制 MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 MySQL同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 MySQL同步至云原生数据仓库AnalyticDB PostgreSQL ...

联系我们

如果您准备使用或正在使用云原生数据仓库AnalyticDB MySQL版，有任何疑问和建议，欢迎您加入云原生数据仓库AnalyticDBMySQL版钉钉群。开发者技术交流群，钉钉群号：23128105。湖仓版体验交流群，钉钉群号：33600023146。

数据集成

再配合运维中心的补数据功能，可实现基于一套完整的任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或指定分区。数据源支持情况数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列...

应用开发向导

连接云原生数据仓库MySQL版推荐的方式是 druid-jdbc 或 tddl？当使用JDBC连接池连接云原生数据仓库MySQL版时，推荐使用Druid连接池，且尽量使用最新版本。请参考 Druid。关于Druid连接池配置，请务必按照如下配置项进行配置：maxActive:100...

大数据平台与数据仓库

新品推荐