基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
核心能力
强大的数据加工能力 离线、实时、在线多类型计算节点。不同类型计算节点在同一个任务流中混合编排调度。遵循数据标准的数据建模，实现数据质量闭环控制 可视化、符合标准的数据建模 可视化ER模型、维度模型设计，自动生成物理表DDL。数据...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
错误排查概述
数据加工任务启动后，加工结果根据路由规则发送到对应的Logstore。如果加工任务失败，目标Logstore没有日志产生或者加工延迟过大等异常，可以根据本文档步骤进行排查处理。错误分析 当发生错误时，分析错误在数据加工任务的哪个环节产生，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
管理数据加工任务
本文介绍如何在日志服务控制台上管理数据加工任务，包括查看任务详情与状态，修改、启动、停止和删除任务，设置告警等操作。查看任务详情 登录 日志服务控制台。在Project列表区域，单击目标Project。在左侧导航栏中，选择 任务管理>数据...
为数据加工任务开启监控告警
为数据加工任务开启监控告警后，日志服务会在数据加工存在异常时，为您发送告警通知，便于您快速发现数据加工过程中的异常问题。本文介绍如何为数据加工任务开启监控告警。前提条件 已创建数据加工任务。更多信息，请参见 创建数据加工任务...
授权概述
您使用数据加工功能时，涉及数据加工操作权限和数据访问权限。如果您使用的是阿里云账号，直接执行加工任务访问数据授权。注意 为了保障您的云资源安全，建议使用RAM用户。如果您使用的是RAM用户，则需执行数据加工操作授权和加工任务访问...
创建数据加工任务
日志服务支持您使用数据加工读取源Logstore中的数据，对数据进行加工处理后，写入到不同的目标Logstore中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。前提条件 已采集...
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
集成与开发概览
功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够满足企业各类数据加工、集成、开发、服务需求。您可以通过流批一体的数据集成对在线数据进行入仓、...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级...详情请参见 离线数据加工卡点。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',};
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据质量管理流程
数据质量的管理流程包括业务数据资产...详情请参见 离线数据加工卡点校验。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',};
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
数据查询
您可以查看云计算资源中物理表基本情况的概览能力，帮助您直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。前提条件 已根据快速入门教程完成...
我的主页
用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底构建。时空基底：展示目前支持的基底数据，帮助您直观的浏览城市的基础地理数据，包括道路，建筑，水体和绿地等基底数据。数据资源：在数据资源模块，...
我的主页
用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底构建。时空基底：展示目前支持的基底数据，帮助您直观的浏览城市的基础地理数据，包括道路，建筑，水体和绿地等基底数据。数据资源：在数据资源模块，...
数据质量管理流程
详情请参见 数据加工过程卡点校验。对数据风险点进行监控，包括数据质量风险和数据及时性监控。详情请参见 数据风险点监控。根据业务过程中出现的问题，对监控方案进行汇总分析和改进。详情请参见 数据质量追溯。icmsDocProps={'...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数仓分层
其中，明细事实数据、维表数据一般根据ODS层数据加工生成。公共指标汇总数据一般根据维表数据和明细事实数据加工生成。CDM层又细分为维度层（DIM）、明细数据层（DWD）和汇总数据层（DWS），采用维度模型方法作为理论基础，可以定义维度...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
数仓分层
数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。公共维度层...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
数仓分层
数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。公共维度层...
调度周期：日调度
天任务依赖小时任务场景说明 场景 描述 天任务依赖小时任务所有周期（默认情况）DataWorks上天任务默认依赖小时、分钟任务当天所有实例，即待小时、分钟任务当天所有周期数据加工完成后，天任务才会对小时、分钟任务当天所有数据进行加工...
我的资产
我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据资产，并提供数据资产详情查看等功能，帮助用户清晰的了解在数据加工、数据分析等场景下可使用的数据资产情况。具备特定角色（如工作组管理员）的用户对一定范围...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
功能特性
支持多种任务类型 任务类型包括数据迁移、数据同步、数据加工等，满足不同的数据处理需求。支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
- 产品推荐
- 这些文档可能帮助您