名词解释
本文介绍物联网络管理平台中相关的名词解释。名词 描述 物联网络管理平台 又称Alibaba Cloud Link WAN，简称Link WAN。网络商户 接入网关，自组网络的用户。应用商户 使用网络商户颁发的凭证，接入设备开发应用的用户。设备商户 制造与销售...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
使用云企业网跨VPC访问文件存储 HDFS 版
通过转发路由器TR（Transit Router）在跨地域专有网络之间，专有网络与本地数据中心间搭建私网通信通道，打造一张灵活、可靠、大规模的企业级云上互连网络。默认场景下，将文件系统挂载到云服务器ECS，需要确保文件系统的挂载点和云服务器...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
边缘物业一体机离线排查
1.问题现象 在物联网平台里面显示物业一体机离线状态,如下图：物业一体机在线的判断条件是下面三个条件进行与逻辑[只有三个条件都是1 才显示在线,其中一个条件是0 就是显示离线]本地网络跟公网通信正常：ping 223.5.5.5[阿里云提供的公网...
建立ClassicLink连接后经典网络和VPC网络不通的排查...
问题描述 开启ClassicLink功能，建立ClassicLink连接后，经典网络的云服务器ECS（Elastic Compute Service）实例和专有网络内的云资源无法通信。排查思路 排查流程图如下：经典网络与专有网络互通问题排查思路主要分为以下几种场景：经典...
方案概述
本地数据中心通过物理专线和云企业网与云上专有网络实现私网通信后，通信流量未经过加密处理，无法满足安全通信的高要求。使用私网VPN网关可帮您实现基于物理专线的私网流量（以下简称为私网流量）加密通信，提高网络的安全性。本文为您...
阿里云云通信短信服务安全白皮书V1.0
【声明】本安全白皮书著作权归阿里巴巴云计算（北京）有限公司所有（以下简称阿里云云通信），未经阿里云云通信事先书面许可，任何主体不得以任何形式复制、修改、传播全部或部分内容。本白皮书仅供参考，对于本文档中的信息，阿里云云通信...
注册Hive Kerberos集群
背景信息 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，...
一键诊断
您可以使用 PAI灵骏智算服务 提供的一键诊断功能，检查灵骏节点的网络和硬件状态，基于多种通信库和通信模型进行网络测试。本文为您介绍灵骏的一键诊断功能。自助诊断 网络诊断 网络诊断功能分为 静态配置类检查 和 动态运行类检查，支持...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
测试环境
环境配置要求 测试环境总体要求：自建Hadoop+Spark集群的网络环境为VPC网络。自建Hadoop+Spark集群和DLA Spark在同一个地域。自建Spark集群请使用Spark 2.4.5版本，自建Hadoop请使用2.7.3版本。3种不同测试场景下的测试环境配置要求：场景...
API概览
DeleteHadoopDataSource 删除hadoop外部数据源 删除hadoop外部数据源 CheckHadoopNetConnection 检测hadoop外部数据源网络联通性 检测hadoop外部数据源网络联通性 JDBC数据源 JDBC数据源 CreateJDBCDataSource 创建JDBC数据源 创建JDBC数据...
什么是AI通信加速库DeepNCCL
网络层 在网络层，通过对阿里云的VPC、RDMA或者eRDMA网络基础设施进行适配优化，实现网络层无感的通信优化。优化原理 DeepNCCL通信加速库在AI分布式训练或多卡推理任务中，具有显著的通信优化效果。具体说明如下：单机优化 单机内的优化...
迁移方案概述
但如果系统中的专有网络ECS和经典网络ECS有内网通信的需求，可通过ClassicLink功能实现。本方案仅用于经典网络迁移到VPC。单ECS迁移方案 单ECS迁移方案，即无需通过创建镜像、重新购买等步骤就能把经典网络的ECS实例迁移到VPC。在控制台上...
Hadoop生态外表联邦分析
2020年9月6日前申请的存量存储弹性模式实例，由于网络架构不同，无法与外部Hadoop生态的数据源网络打通，无法使用该特性。如需使用，请联系后台技术人员，重新申请实例，迁移数据。前提条件：配置SERVER端 由于不同用户的配置需求不尽相同...
专有网络和交换机概述
您可以在自己定义的专有网络中使用阿里云资源，也可以在一个专有网络中创建多个交换机来划分子网。一个专有网络内的子网默认私网互通。本文为您介绍专有网络、交换机、路由器的概念和作用以及IPv4和IPv6网段的功能和差异。专有网络和交换机...
通过开源HDFS客户端连接并使用LindormDFS
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
通过X2Doris导入数据
CONF_DIR=$HADOOP_HOME/conf export HBASE_HOME=$HADOOP_HOME/./hbase export HADOOP_HDFS_HOME=$HADOOP_HOME/./hadoop-hdfs export HADOOP_MAPRED_HOME=$HADOOP_HOME/./hadoop-mapreduce export HADOOP_YARN_HOME=$HADOOP_HOME/./hadoop-...
测试方法
在DLA Spark上运行测试程序 说明 通过DLA Spark访问自建Hadoop集群需要配置打通VPC网络，具体DLA Spark连接VPC网络下的HDFS相关参数的含义和配置步骤，请参见 Hadoop。登录 Data Lake Analytics管理控制台，在 Serverless Spark>作业管理 ...
E-MapReduce数据迁移方案
经典网络与VPC网络打通 如果ECS自建Hadoop，需要通过ECS的 classiclink 的方式将经典网络和VPC网络打通，详情请参见 建立ClassicLink连接。VPC网络之间连通 数据迁移一般需要较高的网络带宽连通，建议新旧集群尽量处在同一个区域的同一个...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
搭建与管理网络
搭建Link WAN网络服务需要有网关和通信模组，本文介绍如何在物联网络管理平台添加网络、分享网络并通过凭证入网。背景信息 网关和通信模组的获取方式有如下两种：移植SDK到网关与通信模组上，并且 购买Link WAN密钥 安装后使用。移植教学可...
2021年
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的连接 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别...
MaxCompute湖仓一体
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。前提条件 在开始使用Dataphin管理通过MaxCompute与DLF和OSS构建的湖仓一体前...
MaxCompute湖仓一体
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。前提条件 在开始使用Dataphin管理通过MaxCompute与DLF和OSS构建的湖仓一体前...
MaxCompute湖仓一体概述
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
访问MaxCompute数据源
spark.hadoop.odps.endpoint MaxCompute所在地域对应VPC网络的Endpoint。查询各地域VPC网络的Endpoint，请参见 各地域Endpoint对照表（阿里云VPC网络连接方式）。spark.hadoop.odps.project MaxCompute的项目空间名称。spark.adb....
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
挂载文件存储 HDFS 版文件系统
挂载说明 如果挂载点网络类型是专有网络，则只支持与挂载点同一VPC网络的ECS实例挂载文件系统，且挂载点所绑定的权限组中授权地址必须包含ECS实例的VPC IP地址。挂载文件系统 连接ECS实例。连接方式，请参见 连接ECS实例。配置core-site....
产品优势
本文介绍Link WAN网管核心与自建核心能力间的差异以及D2D通信技术。能力差异 能力 Link WAN（LoRaWAN）其他LoRa平台 LoRaWAN国际标准 遵循LoRaWAN国际标准协议。标准纷乱，彼此互不相通，系统维护成本高。技术 阿里云自主迭代，跟随联盟...
核心概念的层次结构
Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络开通...
术语表
N Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络...
管理Hive Catalog
网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。登录 OSS管理控制台 OSS管理控制台。单击 Bucket列表。单击目标Bucket名称。在 oss:/${bucket}/...
网络开通流程
您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍MaxCompute与目标服务间的网络结构及支持的网络开通方案。免责声明 MaxCompute提供的公网与VPC访问能力目前属于免费...
大数据型
计算：处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake）存储：I/O优化实例 仅支持ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘 网络：支持IPv6 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：Hadoop ...
iOS
RTC SDK 提供了网络质量监控的功能，您可以在网络状况变化时通过回调获取网络质量，设置对应的音视频规格，以确保基础通信体验。通过阅读本文，您可以了解获取网络质量及设置音视频规格的方法。功能简介 在网络质量不理想的情况下，音视频...
Lindorm文件引擎
spark.hadoop.dfs.client.failover.proxy.provider.<dfs.nameservices>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.<dfs.nameservices>":"nn1,nn2","spark.hadoop....
内存型
超高网络收发包PPS能力 小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）安全 支持vTPM特性，依托TPM/TCM芯片，实现从物理服务器到实例的启动链可信度量，提供超高安全能力 支持基于AMD安全加密虚拟化...
- 产品推荐
- 这些文档可能帮助您