Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
迁移HDFS数据到OSS
dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI*-hadoopConf fs.oss.accessKeySecret=KZo1*-hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --parallelism 10 通过配置文件预先配置AccessKey 进入Hadoop配置文件...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
HBase使用OSS-HDFS服务作为底层存储
cp jindosdk-x.x.x-linux/lib/jindo-core-x.x.x.jar<HADOOP_HOME>/share/hadoop/hdfs/lib/cp jindosdk-x.x.x-linux/lib/jindo-sdk-x.x.x.jar<HADOOP_HOME>/share/hadoop/hdfs/lib/配置OSS-HDFS服务实现类及AccessKey。将OSS-HDFS服务实现类...
如何提高Nginx Web服务器的安全性
安全增强型Linux（SELinux）是一个Linux内核的功能，它提供支持访问控制的安全政策保护机制。它可以防御大部分攻击。下面我们来看如何启动基于CentOS或RHEL系统的SELinux。执行如下命令，安装SELinux。rpm-qa|grep selinux 如果没有返回...
FTP文件传输服务加速
在服务所在地域（终端节点组所属地域），GA实例有多个终端节点出公网IP，但部分FTP服务器配置了连接检查，要求控制链路和数据链路的客户端IP必须相同，这时需要关闭FTP服务端的源IP检查，或者需要您联系客户经理开通GA源一致性。...
通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
网络开通流程
安全组配置内容如下：配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组，即步骤2中创建的安全组。HiveMetaStore端口：9083。HDFS NameNode端口：8020。HDFS DataNode端口：50010。例如，当您连接在阿里云E-MapReduce...
跨可用区更改实例规格
使用限制 部分实例规格族群不支持跨可用区更改实例规格，具体如下：异构计算 弹性裸金属服务器 超级计算集群 通用算力型实例规格族u1 经济型实例规格族e x86计算 大数据型 本地SSD型 安全增强型 关于实例规格族的详细信息，请参见 实例规格...
HAS Kerberos认证使用方法
Found 6 items drwxr-xr-x-hadoop hadoop 0 2021-03-29 11:16/apps drwxrwxrwx-flowagent hadoop 0 2021-03-29 11:18/emr-flow drwxr-x-has hadoop 0 2021-03-29 11:16/emr-sparksql-udf drwxrwxrwt-hadoop hadoop 0 2021-03-29 11:17/...
企业单AZ架构升级到多AZ
手动部署 https://solution/tech-solution/multi_az 方案概览 即使是在云中，服务、硬件或数据中心出现临时故障和负载...验证高可用 30 方案验证 完成了多服务器配置后，您可以停止任一服务器，来验证在部分服务器不可用时，服务的可用性。
计算型
推荐 计算型实例规格族c8a 计算型实例规格族c8i 计算平衡增强型实例规格族c8ae 计算型实例规格族c8y 存储增强计算型实例规格族c7se 网络增强计算型实例规格族c7nex 计算型实例规格族c7a 计算型实例规格族c7 安全增强计算型实例规格族c7t ...
创建跨可用区迁移任务
使用限制 部分实例规格族群不支持跨可用区更改实例规格，具体如下：异构计算 弹性裸金属服务器 超级计算集群 通用算力型实例规格族u1 经济型实例规格族e x86计算 大数据型 本地SSD型 安全增强型 关于实例规格族的详细信息，请参见 实例规格...
通过HDFS Shell连接并使用文件引擎
环境配置 请参见 下载客户端 和 配置Hadoop。常用命令 数据上传 下表为将本地数据上传至文件引擎的常用命令。命令 说明 put 从本地文件系统中复制单个或多个源路径到目标文件引擎。也支持从标准输入中读取输入写入目标文件引擎。...
通用型
推荐 存储增强通用型实例规格族g8ise 通用型实例规格族g8a 通用型实例规格族g8i 通用平衡增强型实例规格族g8ae 通用型实例规格族g8y 存储增强通用型实例规格族g7se 通用型实例规格族g7a 通用型实例规格族g7 安全增强通用型实例规格族g7t ...
云服务器ECS安全性
凭借配置变更、配置推送、历史版本管理、灰度发布、配置变更审计等配置管理工具，ACM能帮助您集中管理所有应用环境中的配置，降低分布式系统中管理配置的成本，并降低因错误的配置变更造成可用性下降甚至发生故障的风险。更多信息，请参见 ...
迁移ECS实例至轻量应用服务器
由于业务的需要，您可以将ECS实例中部署的网站程序迁移至轻量应用服务器。本文介绍如何迁移ECS实例至轻量应用服务器。前提条件 已创建与ECS实例操作系统版本相同的轻量应用服务器。具体操作，请参见 创建轻量应用服务器。说明 如果您已创建...
添加HTTPS监听
在 后端服务器 配置页面，选择 默认服务器组，然后单击 继续添加。在 我的服务器 面板，选择要添加的后端服务器，然后单击 下一步。在 权重 列下，配置添加的后端服务器的权重。说明 权重越大ECS实例将被分配到更多的访问请求，默认为100。...
使用云企业网跨VPC访问文件存储 HDFS 版
已在需要访问 文件存储 HDFS 版 的ECS上配置Hadoop环境。具体操作，请参见 配置Hadoop 和 部署依赖。背景信息 云企业网CEN（Cloud Enterprise Network）是运行在阿里云私有全球网络上的一张高可用网络。通过转发路由器TR（Transit Router）...
ALB通过DDoS防护（增强版）EIP实现公网访问
阿里云EIP提供DDoS防护（增强版）安全防护级别的EIP。DDoS防护（增强版）EIP提供Tbps级的专业DDoS防护能力，适用于大型游戏、重大线上直播等对安全防护级别要求较高且时延较敏感的场景。本文介绍ALB如何绑定DDoS防护（增强版）EIP，并通过...
Flume使用JindoSDK写入OSS-HDFS服务
常见问题 报错“org.apache.flume.conf.ConfigurationException:Component has no type.Cannot configure.user_sink”在Hadoop的core-site.xml配置文件中添加以下配置解决该问题。配置JindoOSS实现类。fs.AbstractFileSystem.oss.impl ...
快速实现IPv4服务的负载均衡
步骤三：配置监听 您需要为实例配置监听，检查连接请求，然后根据调度算法定义的转发策略将客户端请求分发至后端服务器。（可选）步骤四：设置域名解析 ALB 支持将您拥有的常用域名通过CNAME方式解析到 ALB 实例的公网服务域名上，使您可以...
NLB通过DDoS防护（增强版）EIP实现公网访问
阿里云EIP提供DDoS防护（增强版）安全防护级别的EIP。DDoS防护（增强版）EIP提供Tbps级的专业DDoS防护能力，适用于大型游戏、重大线上直播等对安全防护级别要求较高且时延较敏感的场景。本文介绍NLB如何绑定DDoS防护（增强版）EIP，并通过...
云市场镜像部署Java Web环境
使用此类镜像部署Java Web服务器可即装即用，省去安装配置服务器的过程。本教程介绍如何在ECS实例上使用云市场镜像部署Java Web环境。前提条件 已注册阿里云账号。如还未注册，请先完成 账号注册。已创建网络类型为专有网络的安全组，并且...
管理证书
在配置 ALB 单向认证或双向认证业务时，您需要在阿里云证书中心购买证书，或者将所需的第三方签发的服务器证书和CA证书上传至阿里云证书中心，ALB 从证书中心获取该证书并使用。背景信息 ALB 支持单向认证和双向认证，请根据您的需要进行...
ALB通过自定义TLS安全策略提升网站安全等级
使用限制 基础版ALB实例不支持自定义TLS安全策略，仅标准版、WAF增强版ALB实例支持自定义TLS安全策略。基础版实例如需使用该功能，需要升级ALB实例版本，可参考 ALB实例变配。当您自定义TLS安全策略选择特定版本的TLS协议、特定的加密算法...
弹性伸缩概述
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 添加弹性伸缩规则 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性伸缩（仅Hadoop集群类型）查看...
新建ArgoDB计算源
背景信息 ArgoDB是星环自主研发的分布式分析型数据库，可替代Hadoop+MPP的混合架构。能够使用标准的SQL语法进行业务的建设，并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多...
添加HTTPS监听
步骤三：选择服务器组 在 选择服务器组 配置向导，选择服务器组，并查看后端服务器信息，然后单击 下一步。步骤四：配置审核 在 配置审核 页面，确认配置信息，单击 提交。快速创建HTTPS监听 选择快速创建监听，您只需配置监听协议、监听...
步骤三：部署CDR网关
当容灾站点创建完成后，您需要在数据中心内部署一台连续复制型容灾（CDR）网关。CDR网关用来聚合所有来自被容灾保护的服务器上的数据，并将其压缩加密后安全高效地上传到阿里云。前提条件 已创建容灾站点对。更多信息，请参见 步骤一：搭建...
使用ALB部署HTTPS业务（双向认证）
在 选择服务器组 配置向导，选择 服务器类型 及 服务器类型 下的后端服务器组RS，查看后端服务器ECS01和ECS02的信息，然后单击 下一步。在 配置审核 配置向导，确认配置信息，然后单击 提交。步骤六：配置域名解析 登录 应用型负载均衡ALB...
跨地域Web安全加速（海外域名）
重要 配置的协议和端口必须与您所接入的网站业务源站IP（在WAF中配置的服务器IP地址）的协议和端口（在WAF中配置的服务器端口）一致，不支持端口转换功能。本方案输入自定义 9000 端口。说明 WAF默认支持以下端口：80/8080（HTTP）和443/...
为伸缩组添加和移除负载均衡实例
说明 如果在创建伸缩组时关联了应用型负载均衡ALB服务器组，则在 修改伸缩组 页面，您也可以根据需要选择是否 挂载或卸载服务器组时，将伸缩组现有的实例加入或移出服务器组机器分组（只针对本次挂载或卸载的ALB服务器组）。服务器组实例...
CLB七层监听手动迁移ALB最佳实践
应用型负载均衡ALB（Application Load Balancer）相比传统型负载均衡CLB（Classic Load Balancer），具有强大的七层负载均衡处理能力与丰富的高级路由功能，具备大规模应用层流量处理能力，可以一键开启WAF应用防护，转发与防护完全解耦。...
高主频型
推荐 高主频计算型实例规格族hfc8i 高主频计算型实例规格族hfc7 高主频计算型实例规格族hfc6 高主频通用型实例规格族hfg8i 高主频通用型实例规格族hfg7 高主频通用型实例规格族hfg6 高主频内存型实例规格族hfr8i 高主频内存型实例规格族hfr...
镜像介绍
阿里云轻量应用服务器主要提供三种镜像：应用镜像、系统镜像和自定义镜像，在创建轻量应用服务器时，您可根据实际需求，选择对应的镜像。本文为您介绍轻量应用服务器支持镜像的类型及其具体镜像名称、镜像版本等信息。镜像类型 阿里云轻量...
ALB常见问题
本文为您介绍 应用型负载均衡ALB（Application Load Balancer）的常见问题。ALB是否有具体的实例规格？如何提升ALB的公网带宽？如何修改监听的健康检查配置？为什么健康检查结果正常但访问ALB请求返回502？ALB的公网流量能否使用共享流量包...
开通和管理ALB WAF增强版
如果您的ALB Web业务经常面临恶意入侵或需要更高的安全防护，您可以通过为ALB实例开通ALB WAF增强版，将ALB Web业务流量引流到WAF进行安全防护。ALB WAF增强版采用WAF 3.0服务化接入，相比之前的WAF 2.0透明化接入，服务化接入方式中WAF不...
产品优势
本文通过介绍云虚拟主机机房优势、增强版云虚拟主机优势以及各类建站产品对比，帮助您快速选择最适合自己场景的云产品来搭建网站。云虚拟主机机房优势 机房久经考验、安全可靠 阿里云机房为您提供高品质的机房环境和高可靠的安全线路，是...
自助建站方式汇总
使用此类镜像部署Java Web服务器可即装即用，省去安装配置服务器的过程。本教程介绍如何在ECS实例上使用云市场镜像部署Java Web环境。手动部署Java Web环境（Alibaba Cloud Linux 2）本教程介绍如何在Alibaba Cloud Linux 2操作系统的ECS...
- 产品推荐
- 这些文档可能帮助您