大数据产生背景-大数据产生背景文档介绍内容-阿里云

Napatech案例

Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...

将云消息队列 Kafka 版的数据迁移至MaxCompute

背景信息 大数据计算服务MaxCompute（原ODPS）是一种大数据计算服务，能提供快速、完全托管免运维的EB级云数据仓库解决方案。DataWorks基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。在...

配置跨库Spark SQL节点

在线业务会产生大量的数据，当需要对这些数据进行加工分析时，一般需要将在线业务的数据同步到专门用于数据加工和分析的数据仓库，再进行数据分析。数据仓库的数据回流到在线库，用于数据查询。在数据仓库中对数据进行加工分析后，往往需要...

Echarts K线图

刷新频率：手柄拖拽时触发大屏更新周期，单位为毫秒，调大这个数值可以改善性能，但是降低体验。y轴：请参考本章 x轴样式进行配置。数据缩放：单击右侧的眼睛图标显示数据缩放。起始百分比：K线图数据窗口范围的起始百分比。结束百分比...

Echarts K线图

刷新频率：手柄拖拽时触发大屏更新周期，单位为毫秒，调大这个数值可以改善性能，但是降低体验。y轴：请参考本章 x轴样式进行配置。数据缩放：单击右侧的眼睛图标显示数据缩放。起始百分比：K线图数据窗口范围的起始百分比。结束百分比...

离线同步日志分析

说明若同步过程产生脏数据，将在日志出现 Dirty data:xxR 字样，脏数据不会写入目标端。若同步过程产生大量脏数据，将会影响数据同步的同步速度。若您对同步速度有要求，建议您先处理脏数据问题。脏数据介绍详情请参见离线同步任务配置...

数据服务入门

背景信息 DataWorks数据服务作为数据库和数据应用之间的桥梁，旨在为个人、团队及企业提供全面的数据服务及共享能力，帮助用户统一管理面向阿里云内外部的API服务。数据服务已与API网关连通，支持一键发布API至API网关。数据服务与API网关...

基本折线图（v4.0及以上版本）

基本折线图是折线图的一种，与双轴折线图相比，基本折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。本文介绍基本折线图各配置...

概述

背景信息在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...

从沙箱实例迁移至RDS MySQL

背景信息数据库备份DBS 基于Copy Data Management（CDM）技术可以实现快速恢复独立的DBS沙箱实例（即数据库实例），使备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。当您恢复沙箱实例后，您可以通过数据传输服务DTS 将沙箱实例...

如何处理Tair集群数据倾斜

您可以在性能监控的数据节点页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...

如何处理Redis集群数据倾斜

您可以在性能监控的数据节点页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...

产品概述

阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...

离线同步并发和限流之间的关系

限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...

数据归档概述

当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...

低成本RDS历史库

背景信息在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...

应用场景：低成本历史库

背景信息在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战存储...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

概述

存储格式数据来源及特点数据量增大或减少详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...

冷热分层

背景信息在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

互联网、电商行业离线大数据分析

概述电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景电商...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

冷热分离介绍

背景信息在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...

大数据安全治理的难点

存储众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

东软案例

如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...

概述

DataHub数据同步仅支持at least once语义，在网络服务异常等小概率场景下可能会导致目标端的数据产生少量重复，用户使用时请注意进行去重处理。用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取...

DataWorks模块使用说明

使用流程概览：参考文档：数据集成概述数据建模与开发子模块：数据建模功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...

数据迁移与同步FAQ

说明数据迁移与数据同步均是从源库复制数据至目标库，不会对源库的数据产生影响。DTS的数据迁移与数据同步工作原理是什么？详情请参见产品架构及功能原理。DTS的数据迁移与数据同步有什么区别？对比项 DTS数据迁移 DTS数据同步适用场景 ...

数据保护伞概述

使用流程数据保护伞为您提供敏感数据规则配置、识别敏感数据、查看识别结果、处理敏感数据等管控流程，帮助您在敏感数据产生的事件前、中、后各阶段管控梳理项目中的敏感数据，保障数据安全。具体流程及相关功能介绍如下。步骤一：事前...

数据集成支持的数据源

离线集成支持的数据源数据源读取写入 大数据存储型数据源 MaxCompute 支持支持 Hive 支持支持 Hologres 支持支持 IMPALA 支持支持 TDH Inceptor 支持支持 Kudu 支持支持 StarRocks 支持支持 Hudi 支持支持 Doris 支持支持 ...

数据模型

时间戳（Timestamp）Timestamp代表数据产生的时间点，可以写入时指定，也可由系统自动生成。量测值（Field）Field描述数据源的量测指标，通常随着时间不断变化，例如传感器设备包含温度、湿度等Field，Field列无需提前创建固定的Schema，...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...

Delta Lake概述

背景信息通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...

配置VPC数据源

本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息了解专有网络VPC，详情请参见什么是...

大数据产生背景

新品推荐