JindoTable表或分区的访问热度收集
数据收集 JindoTable支持收集访问Hive表的记录，目前支持的引擎有Spark和Hive。收集的数据保存在集群SmartData服务的Namespace中。数据收集是默认打开的。如果需要关闭，请参见 关闭数据收集。数据查询 JindoTable提供了命令方式查询热度...
优化器信息收集
表的元数据主要是通过对其数据收集统计信息（Column stats）来获取，该元数据是推算其它元数据的基础。MaxCompute提供了如下两种收集方式：异步收集框架（Analyze）：用户异步通过 analyze 命令收集。需要用户主动收集。说明 MaxCompute...
JindoTable表或分区访问热度收集
SmartData 3.2.x版本开始支持Spark、Hive和Presto引擎，Spark和Presto的数据收集默认是打开的，如果需要关闭，请参见 关闭热度收集。Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令...
JindoTable表或分区访问热度收集
SmartData 3.2.x版本开始支持Spark、Hive和Presto引擎，Spark和Presto的数据收集默认是打开的，如果需要关闭，请参见 关闭热度收集。Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令...
JindoTable表或分区访问热度收集
SmartData 3.2.x版本开始支持Spark、Hive和Presto引擎，Spark和Presto的数据收集默认是打开的，如果需要关闭，请参见 关闭热度收集。Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令...
JindoTable表或分区访问热度收集
SmartData 3.2.x版本开始支持Spark、Hive和Presto引擎，Spark和Presto的数据收集默认是打开的，如果需要关闭，请参见 关闭热度收集。Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令...
JindoTable表或分区访问热度收集
SmartData 3.2.x版本开始支持Spark、Hive和Presto引擎，Spark和Presto的数据收集默认是打开的，如果需要关闭，请参见 关闭热度收集。Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令...
JindoTable表或分区访问热度收集
SmartData 3.2.x版本开始支持Spark、Hive和Presto引擎，Spark和Presto的数据收集默认是打开的，如果需要关闭，请参见 关闭热度收集。Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令...
JindoTable表或分区访问冷度收集
数据查询 JindoTable提供了命令方式查询冷度信息。语法 jindo table-leastUseStat-n[-i/-ignoreNever]num 是显示的条目数量，应为正整数。i/-ignoreNever 为可选参数，如果设置该参数，则会过滤掉从未被访问过的表或分区。功能 展示最久未...
JindoTable表或分区访问冷度收集
数据查询 JindoTable提供了命令方式查询冷度信息。语法 jindo table-leastUseStat-n[-i/-ignoreNever]num 是显示的条目数量，应为正整数。i/-ignoreNever 为可选参数，如果设置该参数，则会过滤掉从未被访问过的表或分区。功能 展示最久未...
JindoTable表或分区访问冷度收集
数据查询 JindoTable提供了命令方式查询冷度信息。语法 jindo table-leastUseStat-n[-i/-ignoreNever]num 是显示的条目数量，应为正整数。i/-ignoreNever 为可选参数，如果设置该参数，则会过滤掉从未被访问过的表或分区。功能 展示最久未...
JindoTable表或分区访问冷度收集
数据查询 JindoTable提供了命令方式查询冷度信息。语法 jindo table-leastUseStat-n[-i/-ignoreNever]num 是显示的条目数量，应为正整数。i/-ignoreNever 为可选参数，如果设置该参数，则会过滤掉从未被访问过的表或分区。功能 展示最久未...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
使用日志服务收集Spark作业日志
本文为您介绍如何通过阿里云日志服务收集Spark作业的日志。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 快速入门。已开通阿里云日志服务SLS，详情请参见 快速入门。操作步骤 启用日志服务组件Logtail，详情请参见 ...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
准备环境
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
使用日志服务收集Presto作业日志
本文为您介绍如何通过阿里云日志服务SLS收集Presto作业的日志。背景信息 由于EMR on ACK使用虚拟容器运行作业，作业运行完成后，相关的容器会被销毁以释放集群资源。对于弹性伸缩或分时调度，相关的容器资源也会被销毁。因此，当EMR on ACK...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
使用日志服务收集Flink作业日志
本文为您介绍如何通过阿里云日志服务收集结束运行的Flink作业的日志。前提条件 已在E-MapReduce on ACK控制台创建Flink集群，详情请参见 快速入门。已开通阿里云日志服务SLS，详情请参见 快速入门。操作步骤 启用日志服务组件Logtail，详情...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
- 产品推荐
- 这些文档可能帮助您