大数据用户画像解决方案
用户画像数据具有如下特征：数据量大、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
E-MapReduce本地盘实例大规模数据集测试
大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
冷热分层
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
X-Engine最佳实践
X-Engine的分层存储架构特别适合具有如下业务负载特征的业务：数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在最近写入的数据上，而历史数据较少被访问。X-Engine通过将最新写入的数据缓存在内存中并通过高效数据结构进行索引...
数据模型概述
数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
通过DMS连接StarRocks实例
数据管理DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理平台。您只需在DMS控制台录入StarRocks实例的相关信息，即可轻松实现通过图形化的Web界面对StarRocks实例的高效管控与深度运维，极大提升数据管理体验及操作效率。...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构...其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
技术架构选型
其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
LTS（原BDS）服务介绍
LTS（Lindorm Tunnel Service）是面向Lindorm业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式...
聚合支付：Ping+
在Ping+业务高速发展的发展过程中，支付核心交易系统商户订单的数据量很大，同时具有高并发访问的特点。后续将通过 PolarDB-X 映射规则、热点迁移能力将部分大商户迁移至单独的RDS存储中，解决热点数据问题。客户价值 Ping+自成立以来一直...
概述
基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的数据消费。支持多租户同时在线查询。支持PB级数据、千亿级事件快速处理，支持每秒数千查询并发。支持高可用，...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
- 产品推荐
- 这些文档可能帮助您