产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
管理数据目录
说明 数据目录页面为您展示了创建集群时您选择的DLF数据目录下的数据库和表。单击 添加数据目录。在 添加数据目录 对话框中，您可以选择已有的DLF数据目录，单击 确定。如果您想添加新的DLF数据目录，可以单击 创建数据目录，跳转至数据湖...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
资源组操作及网络连通
访问VPC环境下的数据库测试连通性失败，该如何处理？数据源连通性有时成功，有时失败，如何处理？资源组配置操作问题 已经购买独享资源组，但在数据源测试连通性时或任务执行时找不到该资源组怎么办？如何通过日志查看任务执行在什么资源组...
独享资源组
独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时，需要使用独享调度资源组，独享调度资源组的使用详情请参见 新增和使用独享调度资源组。独享数据集成资源组使用场景 如果您需要同步VPC...
背景信息以及准备工作
DataV数据可视化（简称DataV）旨在让更多的人看到数据可视化的魅力，并帮助非专业的工程师通过图形化的界面轻松搭建具有专业水准的可视化应用。DataV提供了丰富的可视化模板，极大程度满足您会议展览、业务监控、风险预警、地理信息分析等...
某新能源汽车造车新势力
业务背景 在碳中和、碳达峰这样的大背景下，国家大力支持新能源汽车的推广使用，但同时监管部门也提出了相应的要求，需要实时存储车辆状态数据，进行故障告警及数据的实时查看。为了能及时响应车辆告警信息，排查车辆故障，需要实时能下载...
表设计规范
单个分区中数据量较大的情况下，MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时，会影响MaxCompute Instance数量，造成资源浪费和SQL性能的下降。采用多级分区时，建议先按日期分区，然后按交易类型...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
快速体验
背景信息 本次实验根据零售电商行业的会员、商品、交易、物流、评价等业务数据计算出GMV（商品交易总额）、用户画像等数据供业务决策。您可以通过本次实验，了解到如下信息。了解一个项目从数据建模、数据同步（数据传输）、数据开发、运维...
配置VPC数据源
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
配置资源组与网络连通
背景信息 复杂网络环境下的数据源进行异构数据源间的数据同步，可选择使用 独享数据集成资源组，需要先进行网络打通。如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和资源组间的网络打通。本文重点关注通过独享数据集成...
管理数据
更多操作 批量管理数据域 需要大规模调整多个数据域下的资产时，您可以使用批量导入功能。通过下载并修改数据域模板文件，快速管理数据域。仅支持阿里云账号和具有 AliyunYundunSDDPFullAccess 权限的RAM用户使用该功能。登录 数据安全中心...
应用场景
典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景，包括GMV、订单、物流、客户分析、推荐系统、用户画像场景。支持离线导入和实时导入两种方式来处理数据。原有解决方案：通过多种OLAP引擎满足不同的场景。...
深度解析Lindorm搜索索引（SearchIndex）特性
背景 在海量数据存储的背景下，伴随着云原生、5G/IoT时代的到来，新的业务模型在不断涌现，除了简单的主键查询和范围查询外，简单分析、多维检索成为业务的基本需求。常见的一些查询需求如下：多维查询。即席查询(adhoc)，一般是不固定的列...
飞线层（v3.x版本）
图表样式 飞线层是基础平面地图 3.0的子组件，支持独立的样式和数据配置，能够以飞线的形式表现地理位置上两个点之间的OD数据，可以用来展示两地之间的关联信息，如物流、交易等。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可...
飞线层（v4.x版本）
图表样式 飞线层是基础平面地图 4.0的子组件，支持独立的样式和数据配置，能够以飞线的形式表现地理位置上两个点之间的OD数据，可以用来展示两地之间的关联信息，如物流、交易等。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标...
DataWorks on EMR数据安全方案
本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP认证方式，Open LDAP组件目前已经集成 Hive,spark thrift-server,kyuubi,presto,impala，保障认证通过的用户才...
文字标签
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
文字标签
背景颜色 默认标签块（数据中没有定义type值）的背景颜色，请参见 颜色选择器说明 进行修改。文本样式 标签文本的大小、颜色和字体粗细。自定义标签系列：单击右侧的 或 图标，添加或删除一个自定义标签系列。单击 或 图标配置多个自定义...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
表设计最佳实践
在单个数据通道写入量较大的情况下，应该按照时间进行分区设计。在采集通道数据量较小的情况下，适合采取非分区表设计，将终端类型和采集时间设计成标准列字段。采用DataHub进行数据写入时，应该合理规划Shard数量，避免出现由于Shard过多...
数据源管理
本文介绍如何管理数据源。...删除数据 选择任一数据，单击 图标下的 移除数据源，可直接删除当前数据。缩放至图层 选择任一数据，单击 图标下的 缩放至图层，可将当前数据展示的地图数据展示到当前屏幕的中心位置方便查看。
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
- 产品推荐
- 这些文档可能帮助您