CDH6与文件引擎集成
二、安装Yarn服务 修改Yarn的安装脚本。登入您准备作为ResourceManager（Yarn服务中资源的管控节点）。执行如下的指令修改安装脚本。sudo su-root@cdhlindorm001/opt/cloudera/cm-agent/service$vim/opt/cloudera/cm-agent/service/yarn/...
FE参数配置
本文介绍FE进程的相关配置项。背景信息 FE的配置文件fe.conf通常存放在FE部署路径的 conf/目录下。而在0.14版本中会引入另一个配置文件fe_custom.conf。该配置文件用于记录您在运行时动态配置并持久化的配置项。FE进程启动后，会先读取fe....
Ambari与文件引擎集成
在 Add Service Wizard 页面按照安装向导安装YARN服务，配置完成后单击 DEPLOY 进行安装，等待安装完成。验证YARN服务是否启动成功。使用Ambari Hadoop中自带的测试包 hadoop-mapreduce-examples-3.1.1.3.1.4.0-315.jar 进行测试。在Ambari...
ACK集群安装配置巡检组件检查Workload安全隐患
ACK集群安装配置巡检组件，检查集群Workload安全隐患，视为“合规”。应用场景 配置巡检功能可以扫描集群中Workload配置的安全隐患，并介绍巡检报告相关信息，帮助您实时了解当前状态下运行应用的配置是否有安全隐患。风险等级 默认风险...
Web
ES Module 在项目中使用npm或yarn 安装 dingrtc。npm install dingrtc-save/or yarn add dingrtc 在项目脚本文件里引入相应模块。import DingRTC from 'dingrtc';UMD 下载并Web SDK，请参见下载地址 SDK下载。在项目相应的HTML文件中，对...
组件概述
kube-queue 交互方式 Arena：如需使用命令行工具Arena（需要单独安装配置Arena客户端），则必须在此勾选Arena。安装后，您可以使用Arena命令行工具集成的Kubeflow的多种训练Operator。单击 高级配置，可自定义参数配置。若同时勾选 Kube ...
EMR-3.26.x版本说明
本文介绍EMR-3.26.x发行版本的发布日期和更新内容等信息。发布日期 版本 日期 EMR-3.26.3 2020年4月16日 更新...YARN 配置默认的committer为JindoOssCommitter。HDFS 升级JindoFS相关配置。Spark 配置默认的committer为JindoOssCommitter。
安装云原生AI套件
本文介绍如何安装云原生AI套件，以及如何安装配置云原生AI运维控制台和开发控制台。前提条件 已创建ACK Pro版集群、ACK Serverless集群Pro版、ACK Edge集群Pro版，且集群版本为1.18及以上。具体操作，请参见 创建ACK Pro版集群、创建ACK ...
安装
dotnet add package aliyun-net-sdk-core dotnet add package aliyun-net-sdk-green 通过 dotnet 命令安装 配置.csproj文件引入依赖包<PackageReference Include="aliyun-net-sdk-core" Version="1.5.10" /><PackageReference Include="aliyun...
切换为Hadoop原生的JobCommitter
步骤一：修改YARN配置 进入集群服务页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标集群操作列的 集群服务。进入YARN服务的 mapred-site.xml 页签。在 集群服务 页面，单击YARN服务区域的 配置。在 ...
PAI轻量化控制台部署指南
kube-queue 交互方式 Arena：如需使用命令行工具Arena（需要单独安装配置Arena客户端），则必须在此勾选Arena。安装后，您可以使用Arena命令行工具集成的Kubeflow的多种训练Operator。单击 高级配置，可自定义参数配置。若同时勾选 Kube ...
通过Nginx搭建自建URL转发
Nginx安装配置方法，安装包编译安装：#下载安装包 wget http://nginx.org/download/nginx-1.18.0.tar.gz #解压 tar-zxvf nginx-1.18.0.tar.gz cd nginx-1.18.0./configure-prefix=usr/local/nginx#配置时更换为实际希望安装路径即可 make&...
配置弹性伸缩（仅Hadoop集群类型）
重要 开启优雅下线时，请先将YARN配置项 yarn.resourcemanager.nodes.exclude-path 的值修改为/etc/ecm/hadoop-conf/yarn-exclude.xml。修改超时时间后，请在业务低峰期重启YARN ResourceManager，以使修改后的超时时间生效。在 弹性伸缩...
Spark Load
Hadoop下载地址，下载完成后，请按照以下步骤完成配置：配置YARN可执行文件路径 将下载好的YARN客户端放在FE同一台机器的目录下，并在FE配置文件中配置 yarn_client_path 参数，指向YARN的二进制可执行文件，默认为FE根目录下的 lib/yarn-...
采集ECS服务日志
可选：首次进入 采集器安装 配置向导，需要单击 前往授权。再在 云资源访问授权 页面，单击 同意授权，为对应的Elasticsearch实例授予访问ECS的权限。授权服务由访问控制（RAM）提供，确认授权后，系统将会为您自动创建 ...
EMR-3.24.x版本说明
YARN 修改默认配置 yarn.scheduler.capacity.node-locality-delay 为-1。适配JindoFS。Has 对接OpenLDAP做后端。OpenLDAP 适配Has。Presto 升级版本到0.228。Kafka 移除D1坏盘。Druid 升级至0.16.0。Flume 升级至1.9.0。Flink 升级至1.9.1...
在注册集群中配置容器安全策略（新版）
已在本地安装配置onectl。具体操作，请参见 通过onectl管理注册集群。如果您使用RAM账号进行策略管理，RAM账号需要拥有以下RAM授权条件。关于如何自定义RAM授权策略，请参见 自定义RAM授权策略。参数 说明 cs:DescribePolicies 列举策略...
使用Cloud Toolkit实现端云互联（IntelliJ IDEA）
使用Kubernetes代理：您需在云端准备一个Kubernetes集群，并且本地安装配置Kubectl环境以访问该集群，您也可直接使用已有的Kubernetes集群。具体操作，请参见 快速创建Kubernetes托管版集群。使用限制 Java应用限制 端云互联目前支持Java...
通过免密组件拉取容器镜像
在注册集群中配置免密组件 步骤一：为免密组件配置RAM权限 通过onectl配置 在本地安装配置onectl。具体操作，请参见 通过onectl管理注册集群。执行以下命令，为免密组件配置RAM权限。onectl ram-user grant-addon aliyun-acr-credential-...
hdfs:/domain_name:PORT/user/yarn/m
问题描述 Dataphin项目绑定的计算引擎为CDH6，代码运行报错“Execution Error,return code 1 from org.apache.hadoop.hive...解决方案 联系后台运维人员登录CDH集权管理界面安装YARN MapReduce框架相关Jar即可。具体步骤如下：适用于 Dataphin
快速访问与配置
索引模板管理 插件配置 安装或卸载系统的默认插件 对IK分词插件进行冷热更新 上传自定义插件 安装或卸载系统默认插件 使用IK分词插件（analysis-ik）上传与安装自定义插件 监控报警配置 配置云监控报警 配置X-Pack Watcher 配置Monitoring...
迁移方案
您可以根据需要配置YARN队列的资源等，之后可通过YARN的REST API来访问YARN作业状态，并进行运维。日志查看 对于运行中的作业，可以通过Flink Web UI进行查看，详细信息请参见 基础使用。对于已经运行结束的作业，可以通过Flink History ...
将PHP应用部署到SAE 1.0
下载安装配置：可以通过Webshell下载保存./php/wp-config.php 。具体说明，请参见 Editing wp-config.php 。安装SFTP：具体操作，请参见 一键复制安装命令。安装主题插件：安装后，需要下载保存./php/wp-content/ 目录内容并更新到ZIP包中...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
使用Terraform管理组件
disabled=XXX } } 重要 通过在集群相关Resource中指定Addons的方式安装组件，仅支持在创建集群时指定安装，集群创建完成后，不支持通过修改Addons代码块中的属性来管理组件的组件生命周期，比如组件升级、组件卸载、组件配置更新等操作。...
使用Terraform管理组件
disabled=XXX } } 重要 通过在集群相关Resource中指定Addons的方式安装组件，仅支持在创建集群时指定安装，集群创建完成后，不支持通过修改Addons代码块中的属性来管理组件的组件生命周期，比如组件升级、组件卸载、组件配置更新等操作。...
使用Terraform管理组件
disabled=XXX } } 重要 通过在集群相关Resource中指定Addons的方式安装组件，仅支持在创建集群时指定安装，集群创建完成后，不支持通过修改Addons代码块中的属性来管理组件的组件生命周期，比如组件升级、组件卸载、组件配置更新等操作。...
创建集群
Config.N.ServiceName String 是 YARN 自定义配置项服务名（大写）。EmrVer String 是 EMR-3.35.0 EMR版本。说明 控制台创建集群可查看到EMR版本列表。HostGroup.N.DiskCapacity Integer 是 80 机器组的数据盘容量，单位GB。HostGroup.N....
规则模板列表
当您在配置审计控制台新建规则时，可以直接选用规则模板。如果您需要其他规则模板，可以 提交工单。阿里云评估后会酌情支持，并将具备普遍适用性的规则实现为规则模板。配置审计支持的规则模板如下表所示。云服务 规则模板 支持修正设置的...
创建Hadoop计算源
若没有配置yarn.web-proxy.address，则这个功能会集成到RM中。yarn RM服务 yarn环境变量参数，格式为 yarn.resourcemanager.webapp.address。用于访问Resource Manager信息。认证方式 支持无认证和Kerberos认证方式。Kerberos是一种基于...
升级节点配置
例如，如果内存是32 GB，则需配置 yarn.nodemanager.resource.memory-mb 为26214。保存配置。单击下方的 保存。在弹出的对话框中，输入 执行原因，单击 保存。下发配置。选择 更多操作>配置。在弹出的对话框中，输入 执行原因，单击 确定。...
配置CDH6使用文件存储 HDFS 版
配置YARN服务 检查mapreduce.application.classpath配置。登录CDH6的Cloudera Manager管理页面。在主页页面，选择 状态 页签。在左侧集群组件列表中，单击 YARN(MR2 Included)右侧 图标>配置，进入YARN（MR2 Included）配置页面。在搜索框...
API概览
ModifyClientConfSetup 修改客户端配置安装程序 修改客户端的资源配置。DescribeClientConfSetup 查询客户端配置步骤 查询客户端的资源配置信息。DescribeInstallCode 获取安装码 获取agent客户端安装命令的安装验证key。DeleteInstallCode...
设置基线优先级与YARN队列优先级的映射关系
您必须先在EMR集群配置YARN队列的最大优先级，配置后才可设置基线优先级与YARN队列的映射关系。YARN队列优先级需进入 EMR管理控制台 修改，且修改优先级需重启YARN。修改后的优先级仅针对指定队列生效。说明 配置YARN队列优先级，详情请...
SNAPSHOT指标
SNAPSHOT-YARN snapshotKey 描述 快照采集频率 YARN_RM_CONF YARN ResourceManager配置信息。5分钟 YARN_RM_METRICS YARN ResourceManager指标。YARN_CLUSTER_INFO YARN集群信息。YARN_SCHEDULER_INFO YARN调度器信息 YARN_CLUSTER_METRICS...
如何获取Cloud Toolkit插件？
在Eclipse中安装和配置Cloud Toolkit请参见 在Eclipse中安装和配置Cloud Toolkit。在IntelliJ IDEA中安装和配置Cloud Toolkit请参见 在IntelliJ IDEA中安装和配置Cloud Toolkit。在PyCharm中安装和配置Cloud Toolkit请参见 在PyCharm中安装...
Zabbix集成
步骤4：安装配置文件 tar-xzvf aliyunalert.tgz cd aliyunalert/bin sh install.sh {集成密钥} 说明 以上install.sh后的集成密钥为控制台中Zabbix的集成密钥。其他说明：在安装过程中根据安装提示，输入zabbix管理/监控/web登录地址、管理...
设置全局YARN资源队列
使用限制 仅以下角色可配置YARN资源队列：阿里云主账号。拥有 AliyunDataWorksFullAccess 权限的 子账号（RAM用户）或RAM角色。拥有 空间管理员 角色的 子账号（RAM用户）。修改 YARN全局 最大优先级 通过DataWorks的EMR任务修改YARN优先级...
YARN资源配置
为避免影响您的作业，新增节点组第一次扩容配置 yarn.scheduler.maximum-allocation-mb 时不会触发ResourceManager重启，如果需要配置生效，则需要手动重启一次ResourceManager。说明 建议业务低峰期时重启ResourceManager，组件重启过程中...
Windows服务器中JDK的安装与配置
系统：Windows Server 2008 JDK：jdk_8u60_windows_i586_V8.0.600.27.1440040557.exe 请参考以下步骤，安装配置JDK。进入 Oracle官方网站 下载JDK，选择合适的版本下载。单击安装程序，进行JDK安装。选择JDK的安装路径。选择JRE的安装路径...
- 产品推荐
- 这些文档可能帮助您