人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
搭建与管理（基于Hadoop）
阿里云E-MapReduce/Hadoop集群 网络连接 选择或创建MaxCompute到阿里云E-MapReduce或Hadoop VPC网络的连接。参数详情，请参见 访问VPC方案（专线直连）中的 创建MaxCompute与目标VPC网络间的网络连接 步骤。说明 公测阶段暂不收费。网络...
应用场景
深度学习 对于持续且大量的人工神经网络计算的深度学习场景，阿里云推荐GPU实例，不但性能表现卓越，同时大量节省成本。此外，GPU计算型还可以降低客户端的计算能力要求，适用于图形处理、云游戏云端实时渲染、AR/VR的云端实时渲染等瘦终端...
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目（非External...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
UDF开发（Java）
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
数据导入常见问题
磁盘IO能力和网络带宽 正常50 Mbit/s~100 Mbit/s是没有问题的。导入批次和频率 Stream Load批次大小建议10 MB~100 MB。Broker Load还好，因为Broker Load针对的场景都是批次大小比较大的情况。导入频率不要太高，SATA盘1s不超过一个任务。...
上下游存储
Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么作用？为什么Flink和Kafka之间的网络是连通的，但是依然会有timeout expired while fetching...
测试环境
环境配置要求 测试环境总体要求：自建Hadoop+Spark集群的网络环境为VPC网络。自建Hadoop+Spark集群和DLA Spark在同一个地域。自建Spark集群请使用Spark 2.4.5版本，自建Hadoop请使用2.7.3版本。3种不同测试场景下的测试环境配置要求：场景...
Hadoop生态外表联邦分析
2020年9月6日前申请的存量存储弹性模式实例，由于网络架构不同，无法与外部Hadoop生态的数据源网络打通，无法使用该特性。如需使用，请联系后台技术人员，重新申请实例，迁移数据。前提条件：配置SERVER端 由于不同用户的配置需求不尽相同...
通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
测试方法
在DLA Spark上运行测试程序 说明 通过DLA Spark访问自建Hadoop集群需要配置打通VPC网络，具体DLA Spark连接VPC网络下的HDFS相关参数的含义和配置步骤，请参见 Hadoop。登录 Data Lake Analytics管理控制台，在 Serverless Spark>作业管理 ...
E-MapReduce数据迁移方案
经典网络与VPC网络打通 如果ECS自建Hadoop，需要通过ECS的 classiclink 的方式将经典网络和VPC网络打通，详情请参见 建立ClassicLink连接。VPC网络之间连通 数据迁移一般需要较高的网络带宽连通，建议新旧集群尽量处在同一个区域的同一个...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
2021年
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的连接 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别...
MaxCompute湖仓一体
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。前提条件 在开始使用Dataphin管理通过MaxCompute与DLF和OSS构建的湖仓一体前...
MaxCompute湖仓一体
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。前提条件 在开始使用Dataphin管理通过MaxCompute与DLF和OSS构建的湖仓一体前...
MaxCompute湖仓一体概述
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
访问MaxCompute数据源
spark.hadoop.odps.endpoint MaxCompute所在地域对应VPC网络的Endpoint。查询各地域VPC网络的Endpoint，请参见 各地域Endpoint对照表（阿里云VPC网络连接方式）。spark.hadoop.odps.project MaxCompute的项目空间名称。spark.adb....
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
挂载文件存储 HDFS 版文件系统
挂载说明 如果挂载点网络类型是专有网络，则只支持与挂载点同一VPC网络的ECS实例挂载文件系统，且挂载点所绑定的权限组中授权地址必须包含ECS实例的VPC IP地址。挂载文件系统 连接ECS实例。连接方式，请参见 连接ECS实例。配置core-site....
核心概念的层次结构
Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络开通...
术语表
N Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络...
管理Hive Catalog
网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。登录 OSS管理控制台 OSS管理控制台。单击 Bucket列表。单击目标Bucket名称。在 oss:/${bucket}/...
网络开通流程
您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍MaxCompute与目标服务间的网络结构及支持的网络开通方案。免责声明 MaxCompute提供的公网与VPC访问能力目前属于免费...
大数据型
计算：处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake）存储：I/O优化实例 仅支持ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘 网络：支持IPv6 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：Hadoop ...
Lindorm文件引擎
spark.hadoop.dfs.client.failover.proxy.provider.<dfs.nameservices>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.<dfs.nameservices>":"nn1,nn2","spark.hadoop....
内存型
超高网络收发包PPS能力 小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）安全 支持vTPM特性，依托TPM/TCM芯片，实现从物理服务器到实例的启动链可信度量，提供超高安全能力 支持基于AMD安全加密虚拟化...
实例规格族
推荐 其他在售（如果售罄，建议使用推荐规格族）通用型实例规格族g8a 通用型实例规格族g8i 通用平衡增强型实例规格族g8ae 存储增强通用型实例规格族g7se 通用型实例规格族g7a 通用型实例规格族g7 安全增强通用型实例规格族g7t 网络增强型...
ECS选型最佳实践
高性能端游 hfc系列，如hfc7 高主频 1:2 手游、页游 g系列，如g6e 中主频 1:4 视频直播 视频转发 g系列，如g7 中主频，计算密集型 1:4 直播弹幕 g系列，如g7 高网络PPS，计算密集型 1:4 Hadoop、Spark、Kafka大数据场景推荐 在该类场景中，...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
Lemon-duck在多个平台利用多种入侵方式如何一键防御
阿里云安全监测到利用多种方式传播的僵尸网络Lemon-duck持续活跃。概述 Lemon-duck不仅利用永恒之蓝漏洞、RDP暴力破解、SSH暴力破解、MS-SQL暴力破解、Redis未授权访问、Hadoop未授权访问等进行扫描入侵，同时变种集成WebLogic未授权访问...
- 产品推荐
- 这些文档可能帮助您