ModifySecurityIps-修改RDS实例IP白名单
说明 在通用白名单模式下会添加 IP 到通用分组里，在高安全白名单模式下会同时添加 IP 到经典网络和专有网络分组里。RDS PostgreSQL 云盘版实例固定配置为通用模式（MIX），如果配置为其他网络类型，则会自动转换为通用模式。MIX ...
ModifySecurityIps-修改RDS实例IP白名单
说明 在通用白名单模式下会添加 IP 到通用分组里，在高安全白名单模式下会同时添加 IP 到经典网络和专有网络分组里。RDS PostgreSQL 云盘版实例固定配置为通用模式（MIX），如果配置为其他网络类型，则会自动转换为通用模式。MIX ...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
Hudi
WITH参数 基础参数 通用 参数 说明 数据类型 是否必填 默认值 备注 connector 表类型。String 是 无 固定值为hudi。path 表存储路径。String 是 无 支持阿里云OSS、HDFS和OSS-HDFS和三种路径。OSS：路径格式为 oss:/<bucket>/。HDFS：路径...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
基线检查
说明 新购买的资产默认归属在 所有分组>未分组 中，如需对新购资产自动应用该策略，请选择 未分组。如果您需要添加新的分组或修改已有的分组，请参见 管理服务器。添加自定义策略 您可通过添加自定义策略，检查您的资产在操作系统自定义...
如何设置云数据库RDS白名单
单击 default 分组右侧的 修改，在弹出的 修改白名单分组 对话框中，将 步骤1 复制的VPC和vSwitch的IP地址配置在白名单中，然后单击 确定。说明 单个实例最多添加1000个IP地址或IP段，以英文逗号分隔多个IP地址，且逗号前后不能有空格。如...
设置IP白名单
说明 如有需要，也可以单击 添加白名单分组，并自定义一个分组名称。方法一：把应用服务器IP地址添加至 组内白名单 框中。查看应用服务器IP，请参见 附录：如何获取应用服务器IP地址。您也可以单击 加载本机公网IP（如本机开启了网络代理，...
元数据采集的数据源有白名单访问控制时需要配置的白...
目前云产品支持通用模式IP白名单和高安全模式IP白名单配置，您添加白名单时配置白名单分组可能会影响元数据采集时的网络连通：如果您目前数据库设置的为通用模式IP白名单：通用模式IP白名单不区分经典网络和专有网络白名单分组。...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
设置IP白名单
ali_dms_group（DMS 产品IP地址白名单分组）、hdm_security_ips（DAS 产品IP地址白名单分组）等分组为使用相关产品时系统自动生成。请勿修改或删除分组，避免影响相关产品的使用。重要 请勿在这些分组里增加自己的业务IP，避免相关产品更新...
设置白名单
ali_dms_group（DMS 产品IP地址白名单分组）、hdm_security_ips（DAS 产品IP地址白名单分组）等分组为使用相关产品时系统自动生成。请勿修改或删除分组，避免影响相关产品的使用。重要 请勿在这些分组里增加自己的业务IP，避免相关产品更新...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
设置白名单
重要 为防止误修改或删除白名单分组，2020年12月之后的新建实例，hdm_security_ips 白名单分组对用户不可见。默认的IP白名单只包含127.0.0.1，表示任何IP均无法访问该RDS实例。操作步骤 通用白名单模式不区分经典网络和专有网络。在通用白...
设置白名单
重要 为防止误修改或删除白名单分组，2020年12月之后的新建实例，hdm_security_ips 白名单分组对用户不可见。默认的IP白名单只包含127.0.0.1，表示任何IP均无法访问该RDS实例。操作步骤 通用白名单模式不区分经典网络和专有网络。在通用白...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
应用管理
多地域分组场景下的RDS、SLB都不能通用。使用场景和流程 使用场景 假设您拥有多种云产品（例如云服务器ECS、云数据库RDS、负载均衡SLB等），每个云产品包含多个资源（例如云服务器ECS中的实例、块存储、云盘、快照等资源），针对多个资源有...
切换为高安全白名单模式
RDS实例的IP白名单可以从通用白名单模式切换为高安全白名单模式，高安全白名单模式会区分经典网络的IP白名单和专有网络的IP白名单。前提条件 实例存储类型为本地SSD盘。实例版本为MySQL 5.1、5.5、5.6、5.7。背景信息 RDS实例的IP白名单...
切换为高安全白名单模式
前提条件 实例版本如下：PostgreSQL 10高可用系列（本地盘）PostgreSQL 9.4高可用系列（本地盘）背景信息 RDS实例的IP白名单分为两种模式：通用白名单模式 该模式下，IP白名单分组间网络不隔离，即不区分网络类型。白名单中的IP地址，可...
文件存储HDFS版
文件存储 HDFS 版（Apsara File ...适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
更换集群损坏的本地盘
hadoop$mount_path/log/hadoop-hdfs chmod 775$mount_path/log/hadoop-hdfs mkdir-p$mount_path/log/hadoop-yarn chown hadoop:hadoop$mount_path/log/hadoop-yarn chmod 755$mount_path/log/hadoop-yarn mkdir-p$mount_path/log/hadoop-...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
- 产品推荐
- 这些文档可能帮助您