人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
应用场景
深度学习 对于持续且大量的人工神经网络计算的深度学习场景，阿里云推荐GPU实例，不但性能表现卓越，同时大量节省成本。此外，GPU计算型还可以降低客户端的计算能力要求，适用于图形处理、云游戏云端实时渲染、AR/VR的云端实时渲染等瘦终端...
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目（非External...
通过Spark SQL读Lindorm数据
SET spark.hadoop.dfs.client.failover.proxy.provider.ld-bp1ttz8833x9c*=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider;SET spark.hadoop.dfs.ha.automatic-failover.enabled=true;SET spark.hadoop.dfs....
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
访问Hive数据源
vsw-bp1mbnyrjtf3ih1*","spark.adb.eni.securityGroupId":"sg-bp180fryne3qle*","spark.driver.resourceSpec":"medium","spark.executor.instances":1,"spark.executor.resourceSpec":"medium","spark.hadoop.hive.metastore.uris":...
查询集群模版详情
Configurations String[{"classification":"core-site","properties":{"fs.trash.interval":"61"}},{"classification":"hadoop-log4j","properties":{"hadoop.log.file":"hadoop1.log","hadoop.root.logger":"INFO","a.b.c":"ABC"}}]软件...
通过DataWorks管理作业
Lindorm计算引擎兼容CDH（Cloudera's Distribution Including Apache Hadoop），支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何...
安装Spark单机版
模板示例中使用的软件版本如下：Java JDK（Java Development Kit）：1.8.0 Hadoop（分布式系统基础架构）：2.7.7 Scala（编程语言）：2.12.1 Spark（计算引擎）：2.1.0 使用模板创建资源栈成功后即可获取SparkWebSiteURL，登录Spark管理...
查询集群模版列表
Configurations String[{"classification":"core-site","properties":{"fs.trash.interval":"61"}},{"classification":"hadoop-log4j","properties":{"hadoop.log.file":"hadoop1.log","hadoop.root.logger":"INFO","a.b.c":"ABC"}}]软件...
配置Lindorm Spark节点
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"} configs参数配置：参数 说明 示例值 spark.hadoop.fs.oss.endpoint 作业文件所在OSS的Endpoint。说明 查看OSS的Endpoint，请参见 访问域名和数据中心...
通过Hive连接并使用宽表引擎
CREATE EXTERNAL TABLE hive_hbase_table(key int,value string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:val")TBLPROPERTIES("hbase.table.name"="hive_...
安装Spark集群版
模板示例中使用的软件版本如下：Java JDK（Java Development Kit）：1.8.0 Hadoop（分布式系统基础架构）：2.7.7 Scala（编程语言）：2.12.1 Spark（计算引擎）：2.1.0 使用模板创建资源栈成功后即可获取SparkWebSiteURL，登录Spark管理...
查询集群基本信息
bp1ftve3lzvpm16i37y1</DiskId><Size>80</Size><Type>system</Type></DiskInfo></DiskInfos><EmrExpiredTime>null</EmrExpiredTime><ExpiredTime>2099-12-31T15:59Z</ExpiredTime><InnerIp>192.168.*.*</InnerIp><InstanceId>i-bp1...
修改集群模版
hadoop-log4j","properties":{"hadoop.log.file":"hadoop1.log","hadoop.root.logger":"INFO","a.b.c":"ABC"}}]软件自定义配置。（集群启动前，可以指定一个JSON文件修改软件配置。EasEnable Boolean 否 true 是否高安全集群，取值如下：...
创建集群模板
Configurations String 否[{"classification":"core-site","properties":{"fs.trash.interval":"61"}},{"classification":"hadoop-log4j","properties":{"hadoop.log.file":"hadoop1.log","hadoop.root.logger":"INFO","a.b.c":"ABC"}}]...
作业配置说明
如果为OSS路径，您需要配置对应的配置项，包括：spark.hadoop.fs.oss.endpoint、spark.hadoop.fs.oss.accessKeyId、spark.hadoop.fs.oss.accessKeySecretspark.hadoop.fs.oss.impl。重要 通过JDBC方式连接计算引擎时，JAR包仅支持上传至...
创建DataFlow Kafka集群
专有网络 emr_test/vpc-bp1f4epmkvncimpgs*默认选择已有的专有网络。如需创建新的专有网络，请在专有网络控制台新创建一个，详情请参见 创建和管理专有网络。交换机 vsw_test/vsw-bp1e2f5fhaplp0g6p*选择在对应VPC下可用区的交换机，如果在...
创建StarRocks集群
专有网络 starrocks_test/vpc-bp1f4epmkvncimpgs*默认选择已有的专有网络。如需创建新的专有网络，请在专有网络控制台新创建一个，详情请参见 创建和管理专有网络。交换机 vsw_test/vsw-bp1e2f5fhaplp0g6p*选择在对应VPC下可用区的交换机，...
创建集群
ClusterType String 是 HADOOP 集群类型，取值如下：HADOOP KAFKA DATA SCIENCE DRUID FLINK GATEWAY CLICKHOUSE ZOOKEEPER SHUFFLE_SERVICE EMR_STUDIO Config.N.ConfigKey String 是 fs.trash.interval 自定义配置项的Key。Config.N....
通过Hive访问HBase增强版
CREATE EXTERNAL TABLE hive_hbase_table(key int,value string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:val")TBLPROPERTIES("hbase.table.name"="hive_...
DataWorks on EMR快速入门
专有网络 vpc_Hangzhou/vpc-bp1f4epmkvncimpgs*选择对应区域下的专有网络。如果没有，单击 创建VPC 前往新建。创建专有网络完成后，单击 刷新，可以选择刚创建好的VPC。交换机 vsw_i/vsw-bp1e2f5fhaplp0g6p*选择在对应专有网络下可用区的...
通过Spark访问HBase增强版
创建spark表 val sparkTableName="spark_hbase"val createCmd=s"""CREATE TABLE${sparkTableName} USING org.apache.hadoop.hbase.spark|OPTIONS('catalog'=|'{"table":{"namespace":"${hbaseTableName}","name":"${hbaseTableName}"},...
测试环境
环境配置要求 测试环境总体要求：自建Hadoop+Spark集群的网络环境为VPC网络。自建Hadoop+Spark集群和DLA Spark在同一个地域。自建Spark集群请使用Spark 2.4.5版本，自建Hadoop请使用2.7.3版本。3种不同测试场景下的测试环境配置要求：场景...
DescribeHiTSDBInstanceList
0-未锁定，1-锁定 MaxSeriesPerDatabase String 10000 单个数据库时间线的最大数量 NetworkType String VPC 实例网络类型：VPC-专有网络 PaymentType String PREPAY 付费类型，PREPAY-包年包月；POSTPAY-按量付费 RegionId String ...
DescribeSecurityGroups-查询安全组的基本信息
["sg-bp67acfmxazb4p*","sg-bp67acfmxazb4p*","sg-bp67acfmxazb4p*",.]VpcId string 否 安全组所在的专有网络 ID。vpc-bp67acfmxazb4p*SecurityGroupType string 否 安全组类型。取值范围：normal：普通安全组。enterprise：企业安全组。...
安装etcd单机版
vpc-bp1m6fww66xbntjyc*网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*...
在资源编排控制台动态选择参数配置
vpc-bp1m6fww66xbntjyc*网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*...
通过函数计算设置伸缩组自定义实例移出策略
弹性伸缩触发缩容活动时，系统可以根据...在函数日志的返回列表中显示伸缩活动的缩容实例为 {'InstanceIds':['i-bp11az18341u*t47v']}，与伸缩活动详情信息中显示的一致（即 Instances"i-bp11az18341u*t47v"are deleted），验证符合功能预期。
Hadoop生态外表联邦分析
2020年9月6日前申请的存量存储弹性模式实例，由于网络架构不同，无法与外部Hadoop生态的数据源网络打通，无法使用该特性。如需使用，请联系后台技术人员，重新申请实例，迁移数据。前提条件：配置SERVER端 由于不同用户的配置需求不尽相同...
通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
交换机事件通知
预约进行经典网络到专有网络VPC的ECS实例迁移。跨可用区更改ECS实例的实例规格。ECS实例过户。交换机变更完成事件内容示例如下：{"id":"2256A988-0B26-4E2B-820A-8B*A5","product":"ECS","resourceId":"acs:ecs:cn-hangzhou:169070*30:eni/...
DescribeInstancesOverview-查询实例概览
vpc-bp1nme44gek34slfc*PrivateIp string 专有网络 IP 地址，IP 地址可能会发生变化，请通过 ConnectionDomain（内网连接地址）进行连接。说明 实例的网络类型为经典网络时，不会返回本参数。云盘版实例不会返回该参数。172.16.49.*...
DescribeInstancesOverview-查询实例概览
vpc-bp1nme44gek34slfc*PrivateIp string 专有网络 IP 地址，IP 地址可能会发生变化，请通过 ConnectionDomain（内网连接地址）进行连接。说明 实例的网络类型为经典网络时，不会返回本参数。云盘版实例不会返回该参数。172.16.49.*...
ListSlb-获取SLB列表
true 示例 正常返回示例 JSON 格式 {"Code":200,"Message":"success","RequestId":"b197-40ab-9155-7ca7","SlbList":{"SlbEntity":[{"SlbId":"lb-2ze055t3xv7s8*","VpcId":"vpc-bp1f90rfybszjogyw*","VswitchId":"vsw-bp156w1gpbv0o50hs*",...
QueryHostBaseInfoByInstance-查看实例所在主机基本...
VpcId string 实例所在主机专有网络 ID。vpc-bp1ov7as4yvz4kxei*Status string 实例状态描述。RUNNING ExpiredTime string 实例到期时间。2021.07.20 ClusterName string 实例规格描述。rds.ebmr6.26xlarge Ip string 实例所在主机 IP 地址...
- 产品推荐
- 这些文档可能帮助您