安全组检查
Hadoop远程运维端口暴露 50070、50030端口允许任意IP访问，关联的Hadoop可能被暴力破解入侵。建议您在 ECS管理控制台 的 安全组列表 页面配置拒绝公网IP对服务器50070、50030端口的访问。并在 云防火墙控制台 的 防护配置 中开启威胁情报，...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
常见问题
用Hadoop批量索引时，要将segments的deep storage设置为hdfs，local的方式会导致MR作业处于UNDEFINED状态，这是因为远程的YARN集群无法在reduce task下创建local的segments目录。（此针对独立E-MapReduce Druid集群）。错误提示 Failed to ...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
自助建站方式汇总
环境类型 部署方式 说明 搭建Hadoop环境 手动搭建Hadoop环境 本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。更换镜像部署Windows环境 云市场镜像集成了操作系统和应用程序，您可以使用阿里云市场镜像快速部署ECS...
配置ECS远程命令节点
任务编排中的ECS远程命令节点，可以基于ECS云助手在远程ECS上执行Shell、PowerShell或Bat命令。本文介绍配置ECS远程命令节点的方法。应用场景 使用高级工具（例如：Python的Numpy库、Sklearn库，Spark的MLlib库）加工数据，产出各种业务...
远程连接Windows服务器时被断开提示没有访问许可证
问题描述 在远程连接Windows服务器时被断开，提示如下错误。问题原因 不能远程连接Windows系统的ECS实例一般有两种情况，没有打开安全组端口和 客户端的许可证与服务端不匹配。解决方案 使用如下的方法解决安全组端口未打开以及客户端许可...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
数据导入常见问题
数据导入过程中，发生远程过程调用（Remote Procedure Call，简称RPC）超时问题，该如何处理？报错“Value count does not match column count”，该如何处理？报错“ERROR 1064(HY000):Failed to find enough host in all backends.need:3...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
系统检查点或作业快照
本地盘会有一个18 GB的State限制，超过18 GB的数据会被存储到远程DFS，下次读取该部分数据时，会从DFS读取，相当于把本地盘当作一个本地文件缓存。报错：java.lang.IllegalArgumentException:Illegal Capacity:1 报错详情 在作业使用Map ...
内存型
适用场景：数据分析与挖掘 Hadoop、Spark集群以及其他企业大内存需求应用 分布式内存缓存，比如Redis 网站和应用服务器 大型多人在线游戏（MMO）服务器 与操作系统的兼容性说明 更多信息，请参见 Intel实例规格与操作系统兼容性说明。...
Spark应用配置参数说明
假设配置为3，则这个应用在一个滑动窗口期时间内最多尝试3次。spark.adb.attemptFailuresValidityInterval 否 Integer.MAX 重试计数的滑动窗口时间，单位：秒（s）。假设配置为6000，那么当一次重试失败后，系统会计算过去6000s共进行了...
数据同步
ls/tmp/cdc/staging_sales/Found 2 items-rw-r-2 hadoop hadoop 0 2019-11-26 11:11/tmp/cdc/staging_sales/_SUCCESS-rw-r-2 hadoop hadoop 93 2019-11-26 11:11/tmp/cdc/staging_sales/part-m-00000 为更新数据建立临时表，然后MERGE到...
2022年
更新说明 优化以单源最短距离算法为例的Graph作业编写。编写Graph 2022年1月更新记录 时间 特性 类别 描述 产品文档 2022-01-30 常见问题整改。更新说明 将常见问题拆解到各个模块，便于用户在遇到问题时快速查找解决措施。常见问题 2022-...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
Lemon-duck在多个平台利用多种入侵方式如何一键防御
概述 Lemon-duck不仅利用永恒之蓝漏洞、RDP暴力破解、SSH暴力破解、MS-SQL暴力破解、Redis未授权访问、Hadoop未授权访问等进行扫描入侵，同时变种集成WebLogic未授权访问远程命令执行漏洞进行互联网传播，并通过SMB、NTLM进行横向移动，...
Windows实例的终端服务器配置异常导致无法远程登录...
说明 微软默认为Windows系统提供了2个免费的远程桌面访问授权，即同时允许最多两个用户同时远程访问服务器。依次选择 开始>管理工具>服务器管理器，打开服务管理器。右键单击 服务器管理，单击 删除角色。选择 服务器角色 后，取消选中 ...
能够ping通Windows服务器但是无法远程连接
本文主要介绍能够ping通Windows服务器但是无法远程连接的问题描述、问题原因...在 高级安全 Windows 防火墙，单击 入站规则，在右侧拉至最下方，右键单击 远程桌面-用户模 式(TCP-In)，选择 启动规则(E)。更多排查方法，请参见 远程连接FAQ。
远程桌面无法连接到Windows实例的快速排查方法
当您的云服务器无法远程登录时，我们建议您首先检查是否可以通过控制台远程登录，如何通过阿里云VNC工具远程登录，请参见 通过VNC远程登录Windows实例。再参见以下排查方法，排查无法远程连接Windows实例的原因。步骤一：使用管理终端登录...
无法远程连接Windows实例的排查方法
无法远程连接Windows实例的原因较多，请您根据实际情况，通过相应的排查方法，排查并解决无法远程连接Windows实例的问题。本文主要介绍无法远程连接Windows实例的处理方法。快速登录Windows实例 如果您遇到紧急情况，需要尽快登录Windows...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
远程服务访问
远程运维包含了远程连接（SSH协议）、远程文件管理（SFTP协议）和其他基于TCP协议的网络服务远程访问。远程访问主机 远程访问主机基于SSH技术实现，方便您远程登录边缘一体机进行设备控制和文件管理，其使用的用户名和密码是边缘一体机上...
远程服务访问
远程服务访问包含了远程连接（SSH协议）、远程文件管理（SFTP协议）和其他基于TCP协议的网络服务远程访问。Link IoT Edge 的v1.8及以上版本 默认具有远程服务访问功能，同时也允许您单独集成该功能。集成方法，请参见 github开源库。远程...
钉钉如何远程协助？
概述 本文介绍发起钉钉远程协助操作方法。详细信息 在pc端打开与对方的聊天窗口，单聊窗口下方快捷按钮点击最后一个三点，然后点击【远程协助】，点击之后即可邀请对方帮助远程协助。【温馨提示】1、目前只有windows支持远程协助，mac电脑...
如何在Windows实例中修改远程连接数
注意：Windows Server系统默认允许最多2个会话同时进行远程连接。如果您需要更多的连接数，请您向微软单独购买远程桌面服务器授权，即RD授权，有关详细信息，请参见 远程桌面服务器授权。RD授权费用需要您自理。Windows Server 2003 ...
如何使用远程助手？
远程助手（Remote Assistant,RA）提供远程诊断和协助服务，可以通过云端控制台下发指令诊断设备问题。在待诊设备页面（【远程助手 RA】->【待诊设备】）可以看到所选项目下连接了RA服务的设备列表：对于已经连接的设备，点击其所在行最右侧...
远程助手操作指南
远程助手（Remote Assistant,RA）提供远程诊断和协助服务，可以通过云端控制台下发指令诊断设备问题。下载应用 参考 系统应用下载 中的IoVCC Client 下载 安装应用 Android设备新建系统应用目录，比如iovcc。绝对路径为/system/app/iovcc，...
- 产品推荐
- 这些文档可能帮助您