EMR集群JindoData升级流程（旧版控制台）
准备软件包和升级脚本 登录EMR集群的Master节点，并将下载的patch包放在Hadoop用户的HOME目录下，将patch包解压缩后，使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...
Hive Metastore使用加密文件访问RDS
执行以下命令，将凭据文件移动到Hive的配置文件目录，并将该文件的所有者更改为hive用户或hadoop用户。DataLake或Custom集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hive$HIVE_CONF_DIR/hive.jceks Hadoop集群类型 sudo mv/...
Hive基础操作
执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，进入Hive命令行。hive 库操作 本文示例中的数据库以testdb为例介绍。创建库 create database if not exists testdb;当返回信息包含OK时，表示创建库testdb成功。查看库 desc ...
EMR集群JindoSDK升级流程（旧版控制台）
准备软件包和升级脚本 登录EMR集群的Master节点，并将下载的patch包放在Hadoop用户的HOME目录下，将patch包解压缩后，使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...
修复单台JournalNode异常
su emr-user 如果5.7.0或3.41.0之前版本的EMR提示emr-user不存在，可切换至hadoop用户。su hadoop 同步打包后的文件。scp/tmp/jn-current.tar.gz$unhealthy-journal-node:/tmp/$unhealthy-journal-node 需要替换为异常JournalNode节点的...
配置自建RDS
执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，进行初始化。schematool-initSchema-dbType mysql 待初始化成功后，则可以使用自建的RDS作为Hive的元数据库。说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的...
漏洞公告|Apache Log4j2远程代码执行漏洞
登录EMR集群的Master节点，并将 步骤一 中下载的patch包放在 emr-user 或 hadoop 用户的HOME目录下。将patch包解压缩后，使用 emr-user 或 hadoop 用户执行操作。数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
Phoenix
执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，使用Phoenix的命令行工具。opt/apps/PHOENIX/phoenix-current/bin/sqlline.py 您可以使用SQL进行数据查询。常见操作如下：创建表 CREATE TABLE IF NOT EXISTS example(my_pk ...
YARN高可用特性使用指南
建议将该目录存放在系统盘非/tmp 目录下，并且确保hadoop用户有读写权限（推荐使用/home/hadoop/yarn-nm-recovery），避免/tmp 目录数据丢失和数据盘坏盘处理影响NM服务。yarn.nodemanager.recovery.supervised true 是否在NM退出时保留...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
执行以下命令，切换为hadoop用户并进入Hive命令行。su-hadoop hive 执行以下命令，查看库信息。desc database flink_dlf_hive;说明 命令中的 flink_dlf_hive 为上一步骤中创建的数据库的名称。OK flink_dlf_hive oss:/aliyu*/flink_dlf_...
使用Druid
header-1.cluster-5678 iZbp10tx4egw3wfnh5o*安全Hadoop集群，请按如下操作进行：确保集群间能够通信（两个集群在一个安全组下，或两个集群在不同安全组，但两个安全组之间配置了访问规则）。在E-MapReduce Druid集群的每个节点的指定路径...
产品功能
内容安全用户提交的图片、视频、文本等信息，审核后是否会删除？内容安全有哪些功能特性？什么是内容安全自定义文本库？能否自定义内容安全图片违规的配置？如何设置内容安全的自助审核功能？为什么内容安全自定义文本库设置后不生效？内容...
功能发布记录
2020-09-24 配置身份源 通过办公安全平台保障IDaaS用户安全访问 通过IDaaS同步钉钉数据到SASE 通过办公安全平台保障LDAP用户安全访问 内网访问 新增 内网访问是基于软件定义边界SDP（Software Defined Perimeter）技术，打造SaaS化零信任...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
登录EMR集群的Master节点，并将上一步骤中下载的patch包放在emr-user用户或hadoop用户的HOME目录下。执行以下命令，切换用户并解压缩hadoop-patches-tools.zip包。数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
API概览
本产品（云安全中心/2018-12-03）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
数据湖集群
因此数据湖集群对每一个节点组增加了最多两个附加安全组，从而可以精细化控制节点组出入端口的规则。另外，EMR数据湖集群将挂载公网功能移到了节点组，这样可以更好的搭配附加安全组实现精细化的对外开放公网的管理。Spark部署 数据湖集群...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
基线检查
版本限制 仅云安全中心 高级版、企业版 和 旗舰版 用户可开通和使用基线检查功能。企业版、旗舰版：支持基线检查的所有功能。支持一键修复Linux系统的阿里云标准和等保标准基线相关检查项。高级版：仅可使用默认策略执行基线检查。仅支持弱...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
作业配置指南
一般地，如果用户有ECS可以访问目标数据源，那么可以直接使用该ECS的安全组ID。spark.dla.eni.extra.hosts 无 需要额外传入的IP和Host的映射关系，以便Spark能正确解析用户数据源中的域名信息。如连接用户的 Hive 数据源，就需要传入此参数...
SHOW
安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，...
SHOW
安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，...
客户案例
客户需求 存在Hadoop1.0、2.0两个集群，技术架构复杂，平台的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈。日志来源渠道多，实时性要求高，基于fluentd的文件采集服务，随着日志量的增多，性能、稳定性存在明显瓶颈。“人肉脚本”的...
日志类别及字段说明
查看云安全中心日志可以帮您及时发现、调查和响应安全事件。购买日志分析存储容量后，云安全中心默认开启了安全日志、网络日志、主机日志，分别记录系统中的安全事件、网络流量情况和主机的活动。本文介绍云安全中心支持的日志类型以及每种...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
创建DataFlow Kafka集群
附加安全组：您可以为该节点组关联最多2个附加安全组，附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。挂载公网：集群是否挂载弹性公网IP地址，默认不开启。说明 创建后如果您需要使用公网IP地址访问，请在ECS上申请开通公网...
快捷模式与安全模式差异比对
使用该模式绑定EMR引擎时，阿里云主账号或RAM用户在DataWorks运行代码或自动调度任务，都只是下发代码至EMR集群，实际运行的身份为集群内的Hadoop用户。无法做到细粒度的权限控制。说明 Hadoop用户拥有Hadoop集群的所有权限，请谨慎授权。...
背景信息以及准备工作
阿里云对象存储服务OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。越来越多的用户倾向于把大量的日志文件存储在OSS中，DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障...
- 产品推荐
- 这些文档可能帮助您