入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
产品概述
相比于全自研分布式NewSQL数据库，PolarDB-X 1.0 产品始终以持续稳定性和可运维性作为第一要务，同时通过标准数据库技术弥补与单机数据库的体验差异，让用户便捷、快速地上手使用，充分发挥产品的业务价值。高度可扩展 相比传统单机关系型...
引擎简介
流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
产品架构
其基于数据自动分区+分区多副本+LSM的架构思想，具备全局二级索引、多维检索、动态列、TTL等查询处理能力，支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾，高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。...在物联网架构中，表格存储 作为IoT基础设施中的统一数据存储平台来存储物联网平台相关的时序数据、元数据、消息数据等，并提供丰富的数据分析处理能力。
数据标准
通过设计标准数据元、数据指标、维度和维度属性，对关键业务对象以及属性和值域进行定义，制定并管理平台遵循的统一数据标准，管控数据的一致性和数据质量。模型标准设计 逻辑表命名规则：支持对逻辑表命名标准的规范设计，可基于模型命名...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
什么是数据库存储DBFS
同时减少数据库直接基于块的架构复杂度和成本（例如数据库做主备容灾的场景等），提供IO加速、多点读写的多活、数据备份及保护等能力。为OLTP、OLAP及NoSQL等数据库业务提供低成本高性能的存储解决方案和最佳实践。产品功能 以下介绍了阿里...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
东软案例
利用内置多模数据引擎处理能力，阿里云Lindorm完美适配东软客户IT运维监控场景数据存储分析需求。东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据...
什么是数据管理DMS
简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主诊断修复等能力，降低企业数据价值挖掘门槛。高效协同：提供覆盖数据全生命周期的 DevOps，内置阿里巴巴大规模实践的数据管控...
适用场景
定时处理任务的用户 对于定时处理业务的客户，Serverless Hbase版本天生的弹性能力非常符合业务需求，每天定时处理业务请求或者在夜间进行数据分析处理，这样的系统可以灵活的使用这种服务模型来做数据存取，在将后台运营工作降到最低的...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
如何选择实例规格
PolarDB-X 1.0 计算资源实例与 PolarDB-X 1.0 存储资源实例按照CPU的处理能力、内存容量和磁盘空间等来划分实例的规格，并提供多种不同规格的实例供选择，规格越高代表实例的处理能力越强。本文介绍如何选择实例规格。PolarDB-X 1.0 计算...
DataWorks On CDP/CDH使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心、数据保护伞、审批中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全...
数据建模：智能数据建模
数据标准：数据标准字段标准、标准代码、度量单位、命名词典的定义，支持标准代码自动生成质量规则，落标检查不再难。维度建模：维度建模支持逆向建模，解决现有数仓的建模冷启动难题，支持可视化数仓维度建模，支持通过Excel文件导入模型...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
批量配置数据标准
从数据标准列表的单个标准集进入 默认填充当前标准集，若该标准集配置了默认标准模板，则自动填充该标准集下的默认标准模板。您也可以重新选择标准集和标准模板。在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 批量导入...
批量配置数据标准
从数据标准列表的单个标准集进入 默认填充当前标准集，若该标准集配置了默认标准模板，则自动填充该标准集下的默认标准模板。您也可以重新选择标准集和标准模板。在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 批量导入...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
【通知】AnalyticDB PostgreSQL发布7.0版
推出全新自研计算引擎：AnalyticDB PostgreSQL 7.0版 新增自研计算引擎，具备向量化计算和更优异的分区表计算能力，性能提升5倍以上 企业级能力升级 支持存储过程语法：兼容传统数仓业务场景，无需对业务侧存储过程改造为Function方式进行...
Tair助力厦门真有趣游戏业务从容应对流量洪峰
极致性能与稳定性的要求：人机交互式游戏要求业务具备低延迟能力、多人在线要求业务支持高并发访问，因此业务必须满足大量用户同时访问的需求，又具备高并发处理能力和保证游戏服务稳定和可靠的能力。资源快速扩展和弹性的需求：游戏高峰期...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
数据建模新能力解读
数据建模的发展背景 主要产品：DataWorks 课程时长：5分钟 当前主流的数据建模方法论 主要产品：DataWorks 课程时长：4分钟 数据建模的主要能力解读 主要产品：DataWorks 课程时长：22分钟 相关文档：数仓规划与业务分类 逆向建模：物理表...
产品优势
基于低成本的OSS存储，提供开放标准的Hudi格式，支持近实时的增量数据处理能力，并提供 数据入湖 的能力。简单易用 AnalyticDB MySQL版 高度兼容MySQL协议和SQL:92、SQL:99、SQL:2003标准，通过标准SQL和 常用BI工具、以及ETL工具平台即可...
百华悦邦
PolarDB PostgreSQL版（兼容Oracle）具有容量大、高性价比...应用和数据库都部署在云上，可以充分利用云资源的弹性能力，解决网络延迟问题，极大提升业务系统的可用性。优化IT的成本结构，将购买外包服务和软件授权的成本转化成云资源的消费。
客户案例
大数据处理能力：随着阿里巴巴集团业务的高速发展，推广营销在商业引流上的重要性越发明显，报表作为营销产品的闭环，其诉求也越发的多样化、个性化，报表数据在近几年的发展中在量级上已经增长到TB甚至数十 TB 的规模。这个时候存储系统的...
TPC-H
TPC-H Benchmark是由国际事务处理性能委员会（Transaction Processing Performance Council）发布的数据库领域权威测试标准之一，是被工业界和学术界普遍认可的决策支持测试标准，也是数据库选型的重要参考指标之一。经过严苛的大规模分析...
使用ETL分析实时订单
步骤 说明 准备工作 将实时交易数据、业务维度数据存储在源表中，并根据业务需求创建目标表。说明 本案例中实时交易、业务维度表、目标表均存储在RDS MySQL中。步骤一：配置源库信息 将实时交易数据配置为流表，业务维度数据配置为维表。...
- 产品推荐
- 这些文档可能帮助您