EMR-4.8.x版本说明
YARN 修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN Web UI时，需要在URL里显式指定user.name=name的问题。Tez 优化了默认配置。Ranger 修复Spark中Filter函数的下推问题。修复Ranger Disable Presto后，...
测试方法
在DLA Spark上运行测试程序 说明 通过DLA Spark访问自建Hadoop集群需要配置打通VPC网络，具体DLA Spark连接VPC网络下的HDFS相关参数的含义和配置步骤，请参见 Hadoop。登录 Data Lake Analytics管理控制台，在 Serverless Spark>作业管理 ...
注册EMR集群至DataWorks
设置集群身份映射：当EMR集群默认访问身份非hadoop账号时，您需要配置集群身份映射，控制操作DataWorks的RAM用户在DataWorks仅可访问其有权限的资源，实现权限管控。设置全局YARN资源队列：您可通过YARN资源队列映射，指定各模块使用的YARN...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin...访问元仓共享模型 若您需要访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。具体操作，请参见 元数据仓库共享模型标准访问方式。
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
模拟IDC Spark读写MaxCompute实践
现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您...
HDFS Web UI介绍
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
场景：注册跨账号的EMR集群
后续步骤 集群创建后，您可执行如下操作：设置集群身份映射：当EMR集群默认访问身份非Hadoop账号时，您需要配置集群身份映射，控制操作DataWorks的RAM用户在DataWorks仅可访问其有权限的资源，实现权限管控。基于该集群进行数据集成同步...
项目
外部项目无法被独立创建和使用，需要配合数据湖集成，用以实现访问和管理Hadoop集群Hive数据库中的表数据，或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限，需要关联到MaxCompute项目，通过...
2022年
新实践 现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群...
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
SHOW
PackageName|SourceProject|InstallTime|Status|+-+-+-+-+|systables|information_schema|2020-11-24T14:11:23+0800|OK|+-+-+-+-+说明 更多关于Package命令操作介绍，请参见 基于Package跨项目访问资源。备份操作 查看当前...
SHOW
PackageName|SourceProject|InstallTime|Status|+-+-+-+-+|systables|information_schema|2020-11-24T14:11:23+0800|OK|+-+-+-+-+说明 更多关于Package命令操作介绍，请参见 基于Package跨项目访问资源。备份操作 查看当前...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
成本
外表存储 除内部存储外，AnalyticDB PostgreSQL版 支持通过外表方式访问OSS和Hadoop的存储数据。对象存储（OSS）是阿里云推出的存储服务，具备数据量大、成本低、安全性高、可靠性高的特点，能够满足多种场景的存储需求，存储成本低至 0.12...
基线检查
策略类型 支持的版本 支持的基线检查类型 应用场景 默认策略 高级版 企业版 旗舰版 该类型策略包含70+基线检查项，支持以下基线类型：Windows基线 未授权访问 最佳安全实践 弱口令 Linux基线 未授权访问 容器安全 最佳安全实践 弱口令 说明...
SearchAcrossCatalog-跨Catalog搜索元数据
Status":"暂无","CatalogType":"","DefaultCatalog":true,"ThriftEnabled":true,"JdbcEnabled":true,"StorageAccessConfig":""},"HighLightList":[{"Key":"name","Value":"<em>tab</em>2"}]}],"TotalCount":100 } } 错误码 访问 错误中心 ...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
自助建站方式汇总
环境类型 部署方式 说明 搭建Hadoop环境 手动搭建Hadoop环境 本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。更换镜像部署Windows环境 云市场镜像集成了操作系统和应用程序，您可以使用阿里云市场镜像快速部署ECS...
MapReduce常见问题
但MaxCompute目前不支持访问外部资源，请将外部的处理逻辑和涉及的数据存储在MaxCompute上进行访问。您需要读取一些配置文件，详情请参见 使用资源示例。执行MaxCompute MapReduce时，报错 java.io.IOException，如何解决？问题现象：执行...
UDF开发（Java）
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
查询节点实例详情
RunConf String {"priority":1,"userName":"hadoop","memory":2048,"cores":1} 运行配置，取值如下：priority：优先级。userName：用于提交作业Linux用户。memory：内存单位为MB。cores：核数。ExternalSubId String container_...
CreateApiTemplate-创建API模板
创建一个预定义的API模板，该模板包含了API的基本结构、请求方式、URL路径、请求参数和响应格式等信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...访问 错误中心 查看更多错误码。
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
Spark对接Kafka
当Hadoop集群作业需要访问Kerberos Kafka集群时，有以下两种使用方式：非Kerberos Hadoop集群：提供用于Kafka集群的Kerberos认证的 kafka_client_jaas.conf 和 krb5.conf 文件。Kerberos Hadoop集群：基于Kerberos集群跨域互信，提供用于...
安全组检查
Hadoop YARN远程运维端口暴露 8088端口允许任意IP访问，关联的Hadoop YRAN可能被暴力破解入侵。建议您在 ECS管理控制台 的 安全组列表 页面配置拒绝公网IP对服务器8088端口的访问。并在 云防火墙控制台 的 防护配置 中开启威胁情报，基础...
文件分析
hadoop.kerberos.principal 要访问的HDFS启用Kerberos验证的场合，指定Principal。可选参数。hadoop.kerberos.keytab 要访问的HDFS启用Kerberos验证的场合，指定Keytab。可选参数。dfs.client.read.shortcircuit HDFS短路本地读取开关。...
数据导入常见问题
Spark Load 报错“When running with master 'yarn' either HADOOP-CONF-DIR or YARN-CONF-DIR must be set in the environment”，该如何解决？提交Spark job时用到spark-submit命令，报错“Cannot run program"xxx/bin/spark-submit":...
UpgradeMinorVersion
集群通过UpgradeMinorVersion进行小版本升级。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算...{"RequestId":"7B8EC240-BB13-4DBC-B955-F90170E82609","UpgradingComponents":"HADOOP"} 错误码 访问 错误中心 查看更多错误码。
Spark访问OSS
使用jindo-sdk访问OSS 在SparkConf中设置 spark.hadoop.fs.AbstractFileSystem.oss.impl 及 spark.hadoop.fs.oss.impl，示例代码如下。val conf=new SparkConf().setAppName("jindo-sdk-demo").set("spark.hadoop.fs.AbstractFileSystem....
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
Node Labels特性使用
Nodes页面 Node Labels页面 CapacityScheduler配置队列的可访问分区、作业使用的分区 使用CapacityScheduler：确保 yarn-site.xml 文件配置中参数 yarn.resourcemanager.scheduler.class 的值为 org.apache.hadoop.yarn.server....
非EMR集群接入OSS-HDFS服务快速入门
JindoSDK为Apache Hadoop的计算分析应用（例如MapReduce、Hive、Spark、Flink等）提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK，然后完成OSS-HDFS服务快速入门相关操作。前提条件 已创建ECS实例。具体步骤，请参见 ...
迁移HDFS数据到OSS
以下以指定为低频访问类型为例：hadoop jar jindo-distcp-tool-${version}.jar-src/tmp/-dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m*-hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG*-...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
从自建HDFS迁移数据
修改Hadoop 配置信息，详情请参见 使用开源HDFS客户端访问。检查自建的Hadoop集群和Lindorm文件引擎的连通性。在自建的Hadoop 集群上执行以下命令测试集群的连通性。hadoop fs-ls hdfs:/${实例Id}/其中${实例Id}请根据您的实际情况进行修改...
快速入门
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
Spark常见问题
以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加 spark.hadoop.odps.cupid.eni.enable=true spark.hadoop.odps.cupid.eni.info=[regionid]:[vpcid]如何访问公网?当前MaxCompute Spark支持以下两种方式来访问公网服务：通过...
在非EMR集群中部署JindoSDK
非Hadoop配置文件 在使用JindoFuse、Jindo CLI等非Hadoop生态组件时，会访问环境变量 JINDOSDK_CONF_DIR 所在的目录读取配置文件。配置文件 使用INI风格配置文件，配置文件的文件名为 jindosdk.cfg，示例代码如下：[common]logger.dir=tmp/...
- 产品推荐
- 这些文档可能帮助您