环境准备
解压并安装，根据实际集群情况安装Hadoop服务。按照如下示例启动Hadoop环境。bin/start-all.sh#检查服务是否成功启动。jps 24017 NameNode 24835 Jps 24131 DataNode 24438 ResourceManager 5114 HMaster 24287 SecondaryNameNode 24527 ...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
挂载文件存储 HDFS 版文件系统
已安装Hadoop客户端，建议您使用的Hadoop版本不低于2.7.2。Hadoop下载地址，请参见 Hadoop Releases。挂载说明 如果挂载点网络类型是专有网络，则只支持与挂载点同一VPC网络的ECS实例挂载文件系统，且挂载点所绑定的权限组中授权地址必须...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
私有证书概述
阿里云数字证书管理服务支持PCA（Private Certificate Authority，即私有CA）服务，使您可以通过简单的可视化操作，搭建企业自己的私有证书平台，实现在企业内部签发和管理自签名私有证书，用于企业内部的应用身份认证和数据加解密。...
通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
基于eRDMA增强型实例部署Spark集群
步骤一：准备环境 在测试集群性能前，需要先准备测试需要的集群环境，例如Hadoop和Spark机器、安装Hadoop、安装并配置eRDMA等。准备Hadoop环境。如果已有大数据集群，请忽略该步骤。软硬件环境要求 部署该集群需要准备Hadoop、Spark机器，...
什么是OSS-HDFS服务
引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...
产品优势
完善集群的监控和告警体系，覆盖硬件和Hadoop服务，您可以配置告警模板。弹性 计算存储分离：解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群...
集群吞吐性能测试
HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看TestDFSIO的使用方法。本文所有命令均在${HADOOP_HOME}/...
基于Hadoop集群支持Delta Lake或Hudi存储机制
可选服务 Hadoop-Common、HDFS、Hive、YARN、Spark3、DeltaLake、Hudi、ZooKeeper 选择相关的Hadoop、HDFS、Hive、Spark、DeltaLake及Hudi组件，被选中的组件会默认启动相关的服务进程。元数据 内置MySQL 选择 内置MySQL 或者 自建RDS。自...
探针安装常见问题
常见问题 本文介绍了以下常见问题：AHAS架构感知和故障演练探针limits配置 ECS探针安装常见问题 容器服务安装ack-ahas-pilot常见问题1 容器服务安装ack-ahas-pilot常见问题2 容器服务安装ack-ahas-pilot常见问题3 容器服务安装ack-ahas-...
SSL证书安装指南
为了便于您安装SSL证书，数字证书管理服务提供了适用于各种服务器（例如，Nginx、Spring Boot、Apache Tomcat、Apache（httpd）、Internet Information Services）的SSL证书压缩包，供您直接下载使用（无需手动转换SSL证书格式）。...
数据湖生态接入
引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用JindoSDK访问...
购买证书申请协助和部署服务
申请协助和部署服务为您解决您在使用SSL证书时遇到的各种问题。在申请证书时，协助您梳理申请材料，并主动与CA签发机构进行协调，以确保证书在最短时间内签发。如果您不具备安装或配置证书的能力，专家可为您提供视频远程指导，帮助您快速...
下载根证书和中间证书
重要 在客户端安装根证书实现客户端校验，可能会因为根证书过期失效或策略变更等导致访问失败或访问提示不安全，推荐您安装根证书到您的系统默认信任库，并使用系统默认信任库进行客户端校验。如果您确认已了解相关风险，且仍需要在App、...
在Apache服务器上安装SSL证书
本文介绍如何在Apache服务器配置SSL证书，具体包括下载和上传证书文件，在Apache上配置证书文件、证书链和证书密钥等参数，以及安装证书后结果的验证。成功配置SSL证书后，您将能够通过HTTPS加密通道安全访问Apache服务器，确保数据传输的...
ECS环境自动安装探针
说明 ACK应用安装探针的操作，请参见 容器服务ACK环境自动安装探针。通用Kubernetes环境安装探针的操作，请参见 通用Kubernetes环境自动安装探针。检查您的JDK版本。具体要求，请参见 支持的JDK版本。安装探针 如果您的应用之前已经手动...
安装JKS格式证书
本文介绍如何在Tomcat服务器配置JKS格式的SSL证书，具体包括下载和上传证书文件，在Tomcat上配置证书文件和证书密码等参数，以及安装证书后结果的验证。成功配置SSL证书后，您将能够通过HTTPS加密通道安全访问Tomcat服务器，确保数据传输的...
安装PFX格式证书
本文介绍如何在Tomcat服务器配置PFX格式的SSL证书，具体包括下载和上传证书文件，在Tomcat上配置证书文件和证书密码等参数，以及安装证书后结果的验证。成功配置SSL证书后，您将能够通过HTTPS加密通道安全访问Tomcat服务器，确保数据传输的...
DataWorks on EMR快速入门
否则，您可以尝试更换地域或使用HDFS服务替代OSS-HDFS服务。OSS-HDFS服务目前支持的地域信息，请参见 开通并授权访问OSS-HDFS服务。EMR-5.12.1及后续版本，EMR-3.46.1及后续版本的DataLake、DataFlow、DataServing和Custom集群，支持选择...
安装云服务集成
安装云服务集成后，您可以将区块链与其他云服务进行集成，也可以直接通过 REST API 调用智能合约，写入或查询链上信息，以及监听区块链事件。安装云服务集成之前，需要您先拥有一个组织或 创建一个组织，云服务集成会以该组织的用户身份...
为ECS实例安装EDAS Agent
EDAS提供了3种安装EDAS Agent的方式：购买ECS实例时选择EDAS基础镜像自动安装Agent 通过导入ECS自动安装Agent 使用命令脚本手动安装Agent 重要 Agent中默认安装JDK 8，如果需要使用JDK 7或者其他版本，请选择通过命令脚本安装。该脚本需要...
从OSS迁移数据
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
Ingress Dashboard监控
以下为安装日志组件的两种方法：如果您还没有创建集群，您可以在创建集群时，选中 使用日志服务、安装Ingress 组件 以及 创建Ingress Dashboard。如果您已创建集群，您需要在组件管理页面安装日志组件。更多信息，请参见 通过日志服务采集...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
安装CLI
在mac OS系统安装CLI 推荐使用pip3安装日志服务命令工具CLI，参考命令如下：pip3 install-U aliyun-log-cli-no-cache 如何升级CLI 您可以执行安装命令完成CLI工具的升级。建议您升级到最新版本。如何卸载CLI 如果您不需要继续使用CLI，您...
JindoData概述
阿里云OSS-HDFS服务（JindoFS服务）是JindoFS存储系统在阿里云上的服务化部署形态，和阿里云OSS深度融合，开箱即用，无须在自建集群部署维护JindoFS，即免运维。OSS-HDFS服务的详细信息，请参见 OSS-HDFS服务概述。JindoFSx存储加速系统 ...
如何在各类服务中安装SSL证书
如果您需要安全专家提供证书安装的服务，可在SSL证书控制台右侧 安全服务 模块中选择 需要证书安装服务吗 进入 证书安装/配置服务页面，通过购买该页面的服务，享受安全专家的一对一服务。登录 SSL证书控制台。单击左侧导航栏的概览，找到...
安装SDK
本文介绍安装容器服务SDK。步骤一：安装Tea-console 调试SDK示例前需要安装Tea-console，安装方式如下：Java SDK 通过Maven进行安装，请在项目文件中加入以下依赖：<dependency><groupId>...
安装SDK
本文介绍安装容器服务SDK。步骤一：安装Tea-console 调试SDK示例前需要安装Tea-console，安装方式如下：Java SDK 通过Maven进行安装，请在项目文件中加入以下依赖：<dependency><groupId>...
安装SDK
本文介绍安装容器服务SDK。步骤一：安装Tea-console 调试SDK示例前需要安装Tea-console，安装方式如下：Java SDK 通过Maven进行安装，请在项目文件中加入以下依赖：<dependency><groupId>...
Spark本地调试环境搭建
因为JindoSDK暂时不支持Windows系统和Mac M1系列，所以该类系统如果想在本地测试，可以使用 hadoop-aliyun，具体操作如下。在 pom.xml 中添加 hadoop-aliyun 相关的依赖。oss-><dependency><groupId>org.apache.hadoop</groupId>...
Hadoop
我们提供了工具来读取您Hadoop服务所在集群的配置，您可以按照下面的地址下载 spark-examples-0.0.1-SNAPSHOT-shaded.jar 并上传至OSS,然后提交Spark作业到用户的Hadoop服务所在集群上执行，即可在作业输出中获得访问Hadoop所需的配置。...
C100售后支持相关问题
本文介绍了您在使用C100系列数据库审计服务时可能遇到的问题和解决方案，帮助您更好地理解和使用产品。安装Agent相关问题 通过云助手安装的Agent，Agent安装目录是什么？通过云助手安装的Agent，Agent的日志目录是什么？安装Agent时，系统...
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
YARN缺陷修复公告
mv$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.1.jar/tmp/cp hadoop-yarn-server-resourcemanager-3.2.1.jar$HADOOP_HOME/share/hadoop/yarn/命令中的$HADOOP_HOME 为Hadoop的安装目录。本文示例中Hadoop的...
安装SSL证书指导
为了简化服务流程，为您提供更快捷高效的数字证书服务，您可使用 一对一专家服务。我们的证书专家将为您提供一对一服务，您可选择 专家协助客户自助处理（免费）或 专家远程处理服务（付费）。如您具备安装SSL证书的技术能力，还可直接参考...
第三方教程
本文提供了轻量应用服务器在不同场景下的...轻量应用服务器快速建站指南 使用轻量应用服务器搭建博客环境 部署应用 在轻量应用服务器上部署SpringBoot项目 使用轻量应用服务器部署Hadoop云集群 基于轻量应用服务器+OSS的中小型应用运维实践
- 产品推荐
- 这些文档可能帮助您