MaxFrame概述
更完善的算子支持 MaxFrame完全兼容Pandas接口且自动进行分布式处理，在保证强大数据处理能力的同时，大幅提高数据处理规模及计算效率。使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并...
兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
什么是ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
流式ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
受众与核心能力
数据地图（公共云）/数据管理（专有云）：提供强大的数据搜索、数据类目、数据血缘等能力。数据资产管理（仅专有云）：统一管理整个平台的数据表、API等各类数据资产。数据安全：数据脱敏、权限控制等能力。应用开发（仅公共云）：基于Web...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据仓库研发规范概述
数据仓库研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注...
什么是数据库审计
数据库审计服务还具备强大的数据库活动审计分析能力，从多个角度灵活呈现数据库的活动状态，帮助您有效执行安全策略。采用全新的人机交互操作模式，基于人性化、专业化和可用性三个层面设计产品界面。在审计日志统计分析方面，数据库审计...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
PostgreSQL节点
背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），具备强大的数据模型、高度可扩展性和稳定性，拥有丰富的核心功能。详情请参见 PostgreSQL。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程...
企业版和标准版功能对比
支持 不支持 数据压缩 阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。支持 不支持 OSS外表 若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，...
功能特性
概述 快速入门 逻辑数仓 逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。...
高压缩引擎（X-Engine）介绍
PolarDB 高压缩引擎（X-Engine）为应对如上历史数据归档存储方面的挑战和诉求，PolarDB 基于如下技术创新和突破，推出了 高压缩引擎（X-Engine）产品系列：阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据压缩能力，...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
功能更新动态（2022年之前）
实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。告警中心 资产质量 为您提供全链路...
文档更新动态（2022年之前）
本文为您介绍2022年之前Dataphin版本文档更新动态，方便您及时了解Dataphin版本新增特性及功能变更。...通用功能 告警中心 2020-04-09 数据集成 新增功能 数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的...
外部表概述
MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式存储在内部MaxCompute表格中的结构化数据。对于MaxCompute表外的各种用户数据（包括文本以及...
功能特性
OceanBase 数据库通过租户实现资源隔离，让每个数据库服务的实例不感知其他实例的存在，并通过权限控制确保不同租户数据的安全性，配合 OceanBase 数据库强大的可扩展性，能够提供安全、灵活的 DBaaS 服务。高兼容性 OceanBase 数据库针对 ...
产品概述
DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建，并集成到您的业务系统中。...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
持久内存型
掉电数据不丢失 强大的命令级持久化保障，每个写操作持久化成功之后返回。相较于Redis的秒级数据丢失，在高QPS场景下数据更加有保障。高兼容性 完全适配现有阿里云Redis数据库体系，具备高可用、弹性扩容缩容、日志、智能诊断与灵活的备份...
持久内存型
掉电数据不丢失 强大的命令级持久化保障，每个写操作持久化成功之后返回。相较于Redis的秒级数据丢失，在高QPS场景下数据更加有保障。高兼容性 完全适配现有阿里云Redis数据库体系，具备高可用、弹性扩容缩容、日志、智能诊断与灵活的备份...
原理优势
本文介绍专属集群 MyBase 的...更加强大的企业级数据库服务 阿里自研的 AliSQL、Tair 内核和平台提供了企业级数据库能力，具有高稳定、高性能、高可用的特性，同时具有完备的备份恢复、审计等功能，使得提供的数据库服务更快、更稳、更安全。
创建Oracle数据源
背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin进行数据开发时，您需要先完成Oracle数据源的创建。更多Oracle信息，请参见 Oracle官网。权限说明 仅支持具备新建数据源...
创建Oracle数据源
背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin进行数据开发时，您需要先完成Oracle数据源的创建。更多Oracle信息，请参见 Oracle官网。权限说明 仅支持具备新建数据源...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
公告
2024年04月16日-Dataphin新版本发布 Dataphin于2024年04月16日发布V3.14版本，本次...数据集成升级了原有数据同步的能力，包括丰富了数据源种类、增加了数据清洗功能、批量同步和逻辑表同步等，为您提供更丰富强大、简单易用的数据同步平台。
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
概览
数据开发解决方案 DMS提供强大的内核功能，助您轻松实现数据开发、分析、挖掘、可视化等需求。功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的...
基本概念
该系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法等，结合 云原生多模数据库 Lindorm 宽表引擎强大的分布式存储能力以及DAL Spark分析平台，可以广泛应用于空间或时空存储、查询、分析和数据挖掘场景...
实时数据消费概述
为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据（UPSERT或UPDATE）...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
分析实例简介
分析实例类型 RDS MySQL的分析实例分为以下两种类型：云ClickHouse分析实例 云ClickHouse分析实例本质是云数据库ClickHouse实例，其通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到云数据库ClickHouse中，并利用其强大的分析性能...
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
- 产品推荐
- 这些文档可能帮助您