数据代理请求常见问题
本文主要介绍请求数据代理时遇到的问题及解决方法。DataV数据代理请求无法连接时如何处理？当您使用DataV数据代理请求无法连接时，可以通过以下步骤排查。判断界面请求是否出现 配置错误 的信息。是，一般是Key和Secret解析错误导致，请...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
模拟IDC Spark读写MaxCompute实践
现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
步骤八：验证数据
本文为您介绍如何通过即席查询来验证本教程开发的数据模型是否符合预期。即派生指标是否能够统计到 最近1天西湖龙井品类订单总金额。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建即席查询 对话框。在 ...
步骤八：验证数据
本文为您介绍如何通过即席查询来验证本教程开发的数据模型是否符合预期。即派生指标是否能够统计到 最近1天西湖龙井品类订单总金额。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建即席查询 对话框。在 ...
快速入门
已为ECS实例安装Hadoop客户端，建议您使用的Hadoop版本不低于2.7.2。Hadoop下载地址，请参见 Hadoop Releases。本文使用的Hadoop版本为Apache Hadoop 2.7.2。操作视频 步骤一：创建文件系统 您可以通过 文件存储 HDFS 版 控制台创建文件...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
第三方教程
一图帮你彻底区分 轻量应用服务器助力初创型建站服务企业降本提效 轻量应用服务器如何帮助大学生在大数据课程中高效学习 搭建网站 3步！完成WordPress博客迁移与重新部署 只需5步！在轻量应用服务器部署Hexo博客 使用轻量应用服务器搭建扫...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
Jindo DistCp使用说明
hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01 hdfs:/emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02-groupBy和-targetSize 因为Hadoop可以从HDFS中读取少量的大文件，而不再...
使用JindoFS加速OSS文件访问
背景信息 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用和AI应用等。有关Fluid的更多介绍，请参见 数据加速Fluid概述。JindoRuntime来源于阿里云EMR团队JindoFS...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
应用场景
数据分析 云服务器ECS提供了大数据类型实例规格族，支持Hadoop分布式计算、日志处理和大型数据仓库等业务场景。由于大数据类型实例规格采用了本地存储的架构，云服务器ECS在保证海量存储空间、高存储性能的前提下，可以为云端的Hadoop集群...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
使用Fluid加速OSS文件访问
Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI应用等。JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
使用PyJindo访问阿里云OSS-HDFS
export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m ensurepip python3.8-m pip install pip-upgrade-trusted-host mirrors.aliyun....
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
- 产品推荐
- 这些文档可能帮助您