构建数据仓库
方案优势：阿里巴巴大数据最佳实践，高性能、低成本、Serverless服务，免运维、全托管模式，让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合：MaxCompute+Flink+DataWorks。场景说明 用户数据来源丰富，包括来自云端...
什么是数据管理DMS
高效协同：提供覆盖数据全生命周期的 DevOps，内置阿里巴巴大规模实践的数据管控体系。保障数据安全的同时，提升企业研发效率。更多信息，请参见 产品优势。如何使用数据管理DMS 您可以通过以下方式使用DMS，进行数据资产管理、数据库开发...
什么是DataWorks
DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始，DataWorks与阿里巴巴业务共同发展，结合MaxCompute、Hologres等大数据计算引擎的能力，跨越多个技术阶段，支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
开通审计日志
背景信息 阿里云日志服务SLS（Log Service）是针对日志类数据的一站式服务，由阿里巴巴集团经历大量大数据场景锤炼而成。无需开发就能快捷完成日志数据的采集、消费、投递以及查询分析，是提升运维与运营效率的极佳工具。云数据库MongoDB将...
什么是云原生内存数据库Tair
如今，云原生内存数据库Tair 已经是阿里巴巴集团调用量最大的系统之一，在多年的阿里巴巴双十一全球狂欢节上提供了核心的在线访问加速能力，承受住了每秒数亿次的调用。时间 事件 2022年10月 发布 内存型（兼容Redis 6.0），相比较同规格的...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
基本介绍
目前，云原生多模数据库Lindorm是阿里集团最基础存储设施之一，在多年的阿里巴巴双十一全球狂欢节上提供优秀的大数据在线存储能力，支撑了数百PB规模的存储和其每秒数亿次的峰值访问、每日数十万亿次的海量吞吐。相比HBase开源版，云数据库...
PolarDB-X历史
2011~2015，TDDL成为阿里巴巴数据库系统的统一接入标准，开始面向阿里巴巴所有业务提供分布式数据库服务。目前集团内运行实例约30万套，业务覆盖支付、资金、即时通信、媒体等十余大类。丰富的业务模型造就了TDDL优秀的MySQL语法兼容性，...
文档修订记录
2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个领域的行业模型最佳实践。您可使用该模板...
技术架构选型
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
最佳实践概览
场景 文档链接 Elasticsearch迁移 迁移方案选取指南 阿里云Elasticsearch间数据迁移 通过reindex迁移数据 基于reindex实现低版本多type数据迁移 自建Elasticsearch数据迁移 通过OSS将自建Elasticsearch数据迁移至阿里云 通过阿里云Logstash...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
Tair（Redis企业版）简介
从服务淘宝详情和验证码等业务的持久化系统TBStore，到初始服务于淘宝用户中心的TDBM等等，后端系统缓存技术经历了多个系统和阶段的演变与积累，到2009年，这些系统、技术经验经过进一步的研发，融合成了阿里巴巴大规模高性能内存数据库...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
电商网站智能推荐
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
从Oracle迁移应用至阿里云PolarDB全流程指南
概述 阿里巴巴基于多年去IOE（即IBM的大型机或小型机、Oracle的数据库、EMC的存储设备）最佳实践，总结出一套专业的迁移Oracle上云的方法论以及解决方案。并建立专业的团队和专业的工具帮助企业最小成本、最低风险、最短周期迁移Oracle上云...
行业趋势与背景
因此，阿里巴巴内部在2009年时发起了著名的去IOE运动，PolarDB-X 也开启了自己的演进之路。整个技术架构的发展，可分为四个阶段：TDDL 去IOE的关键一环是实现对Oracle的替换。当时淘宝的业务体量已很难用成熟的技术产品支撑，为了避免以后...
应用场景
阿里巴巴集团内部最佳实践 Lindorm在阿里巴巴集团内部成熟业务中得到广泛使用。Lindorm基于自研的云原生多模架构支撑IoT业务飞速发展。大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效...
客户案例
阿里妈妈 公司介绍 阿里妈妈广告业务主要是一种 P4P（Pay for Performance）形式的广告业务系统，而报表中心作为阿里妈妈向广告主透出广告效果数据的唯一平台，在阿里巴巴大平台丰富多样的商业场景下，为客户提供优质，高效，可靠的数据...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
阿里云电子政务云产品全家福
经过阿里巴巴双十一活动的最佳实践，让用户既享受到开源的灵活性与价格的优惠，又享受到商业数据库的高性能和安全性。阿里云电子政务云平台价格与华北2公共云同等配置价格相同 云原生多模数据库 Lindorm 阿里云自研数据库，提供宽表、时序...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
云数据库HBase是一个键值/宽表型的分布式数据库，适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
X-Engine引擎常见问题
X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured Merge-Tree）层次化架构和Zstandard（ZSTD）压缩算法实现了更高的数据压缩率，对比使用...
快速入门
阿里云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双11高并发、大数据量的考验，拥有优良的性能和吞吐量。此外，阿里云数据库MySQL版还拥有经过优化的 读写分离、数据库代理、智能调优 等高级功能。当前RDS MySQL支持5.5、5.6、5.7...
概述
MyBase MySQL MyBase MySQL基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优良的性能。MyBase MySQL支持实例管理、账号管理、数据库管理、备份恢复、白名单、透明数据加密以及数据迁移等基本功能。除此之外还提供...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
内存型
全球多活 Tair 全球多活是基于云数据库Redis自研的多活数据库系统，可轻松实现异地多个站点同时对外提供服务的业务场景，助力企业快速复制阿里巴巴异地多活架构。Tair实例双向同步 通过 数据传输服务DTS（Data Transmission Service）实现 ...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
客户案例
《云速搭部署 EIP 实现共享带宽/流量包管理》《云速搭 – NAT 网关部署及应用最佳实践》《云速搭部署 GPU 云服务器》云上会展有限公司立足于打造线上会展数字基础设施，充分发挥阿里巴巴集团在人工智能、数据技术、云计算等方面的积累，...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
- 产品推荐
- 这些文档可能帮助您