人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
监控与报警
网络接收数据量（作业维度）指定作业的网络接收数据量（MB）。网络发送数据量（作业维度）指定作业的网络发送数据量（MB）。GPU算力使用率（作业维度）指定作业的GPU算力使用率。GPU显存使用率（作业维度）指定作业的GPU显存使用率。GPU SM...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
SubmitServerlessJob-提交Serverless作业
vsw-bp1gb5gf5546rn*InstanceType array 否 Serverless 作业容器所采用的 ECS 实例规格列表。string 否 ECS 实例规格。ecs.g7.8xlarge Cpu float 否 Serverless 作业容器的 vCPU 大小。单位：核。2 Memory float 否 Serverless 作业容器的...
本地调试作业
完成作业的本地开发后，可以通过提交JAR作业的方式将Spark作业提交至云上运行，具体操作请参见 步骤一：依赖配置，请将Spark作业中使用的连接地址修改为Lindorm计算引擎的专有网络连接地址。调试Spark作业 以 Spark作业示例 为例，通过IDEA...
通过Spark SQL读Lindorm数据
SET spark.hadoop.dfs.client.failover.proxy.provider.ld-bp1ttz8833x9c*=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider;SET spark.hadoop.dfs.ha.automatic-failover.enabled=true;SET spark.hadoop.dfs....
配置数据源网络
true","spark.dla.eni.vswitch.id":"vsw-bp17jqw3lrrobn6y*","spark.dla.eni.security.group.id":"sg-bp163uxgt4zandx*",} } 说明 spark.dla.eni.enable 取值为 true 时，表示启用访问用户VPC功能，挂载用户数据源网络虚拟网卡。...
Java SDK Demo
}/*返回一个Spark Job当前的状态*@param sparkJobId 用户Spark作业的ID*@return 返回Spark作业的状态,类型为String*@throws ClientException 提交作业可能因为网络原因等抛出错*/public static String getSparkJobStatus(IAcsClient client...
SDK安装与使用
需要是JSON格式*@return Spark JobId,提交作业成功,返回作业的ID,用于后续的状态跟踪*@throws ClientException 提交作业可能因为网络原因等抛出错误*/public String submitSparkJob(String regionId,String accessKeyId,String ...
访问RDS MySQL数据源
您可以通过ENI和SSL链路两种方式访问RDS MySQL数据，SSL链路访问RDS MySQL数据时可以加密网络连接，保证数据的安全性，对比ENI访问方式更加安全。本文主要介绍通过ENI和SSL链路访问RDS MySQL数据的具体方法。前提条件 AnalyticDB MySQL 湖...
通过DataWorks管理作业
作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何通过DataWorks对Lindorm计算引擎的各类作业进行开发和调度运维。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已开通DataWorks服务。如何开通...
MongoDB数据导入
已在 AnalyticDB MySQL 控制台 集群信息 页面的网络信息栏启用 ENI网络 开关。已将 AnalyticDB MySQL 湖仓版（3.0）集群的VPC网段加入MongoDB实例的白名单中。具体操作，请参见 修改白名单。导入MongoDB非嵌套文档 示例数据说明 本文示例的...
E-MapReduce快速入门
专有网络 vpc_Hangzhou/vpc-bp1f4epmkvncimpgs*选择对应区域下的专有网络。如果没有，单击 创建VPC 前往新建。创建专有网络完成后，单击 刷新，可以选择刚创建好的VPC。交换机 vsw_i/vsw-bp1e2f5fhaplp0g6p*选择在对应专有网络下可用区的...
配置Lindorm Spark节点
作业的基本参数配置：参数 说明 示例值 mainResource 作业文件（.jar、.py、.sql）在OSS上的存储路径。oss:/bucket/path/spark-examples.jar mainClass.jar作业文件中main函数的入口类路径。说明 如果任务类型为Python或SQL，不需要配置该...
创建Serverless集群
Serverless集群的计算节点由ECI实例组成，您只需提供打包好的容器镜像，即可使用ECI实例来运行作业。本文介绍如何创建Serverless集群。背景信息 一般的E-HPC集群使用ECS实例作为计算节点，您需要提前根据业务情况规划ECS实例的规格、数量等...
通过Spark Distribution SQL Engine开发Spark SQL作业
当您需要实时分析数据或通过JDBC协议开发Spark SQL作业时，可以通过 AnalyticDB for MySQL 的Spark Distribution SQL Engine开发Spark SQL作业。通过Spark Distribution SQL Engine可以更方便地利用SQL分析、处理和查询数据，提升SQL执行...
自定义Spark镜像
当 AnalyticDB for MySQL Spark默认镜像无法满足您的需求时，您可以基于默认镜像，将Spark作业需要的软件包和依赖项打包到镜像中，生成自定义镜像并发布到容器镜像服务。在 AnalyticDB for MySQL 进行Spark作业开发时，指定自定义镜像作为...
作业配置说明
您向Lindorm计算引擎提交的每一个作业（JDBC作业、JAR作业、Python作业等），都可以自定义资源配置项，包括资源规格配置项和资源规模配置项。表 2.资源规格 配置项 说明 默认值 spark.driver.memory Driver堆内内存大小。单位为MB。11264m ...
访问Hive数据源
oss:/<bucket_name>/hive_lib/*"],"file":"oss:/<bucket_name>/hive_test.jar","conf":{"spark.adb.eni.enabled":"true","spark.adb.eni.vswitchId":"vsw-bp1mbnyrjtf3ih1*","spark.adb.eni.securityGroupId":"sg-bp180fryne3qle*","spark...
访问MongoDB数据源
2,"spark.executor.resourceSpec":"medium","spark.adb.eni.enabled":"true","spark.adb.eni.vswitchId":"vsw-bp14pj8h0*","spark.adb.eni.securityGroupId":"sg-bp11m93k021tp*"} } 参数说明如下。参数 说明 args 请根据业务需求，填写...
访问Redis数据源
本文介绍如何使用AnalyticDB MySQL湖仓版（3.0）Spark通过ENI网络访问Redis数据。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。如果您是通过阿里云账号访问，只需创建高...
使用UDAF实现数据排序和聚合
不在同一VPC下时请参见 网络连通性。创建数据库和账号。创建名称为 electric 的数据库，并创建高权限账号或具有数据库electric读写权限的普通账号。通过DMS登录RDS MySQL，在electric数据库中创建表electric_info和electric_info_...
访问Kafka数据源
本文介绍如何使用 AnalyticDB MySQL 湖仓版（3.0）Spark通过ENI网络访问消息队列Kafka版。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建Job型资源组。具体操作，请参见 新建资源组...
通过spark-submit命令行工具开发Spark应用
本文以ECS连接 AnalyticDB MySQL 为例，介绍如何通过 AnalyticDB MySQL Spark-Submit命令行工具进行Spark作业开发。背景信息 当您使用客户端连接 湖仓版（3.0）集群时，在进行Spark开发时，需要通过 AnalyticDB MySQL Spark-Submit命令行...
访问Elasticsearch数据源
本文介绍如何使用 AnalyticDB for MySQL 湖仓版（3.0）Spark通过ENI网络读取Elasticsearch数据源。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建集群。已创建Job型资源组。具体操作，请参见 新建资源组。已...
使用教程（时序模型）
Flink与Tablestore实例必须处于同一专有网络VPC。Tablestore实例的服务地址必须使用VPC地址。当前支持使用此功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、中国香港、...
同账号同地域VPC间互通
下载阿里云专有网络Python SDK场景示例的 VPC Python Example库。进入 setup.py 所在的目录，执行以下命令，完成环境初始化配置。python setup.py install 背景信息 创建路由器接口时，请注意：任意两个路由器之间，最多只能存在一对互连的...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
DescribeHiTSDBInstanceList
0-未锁定，1-锁定 MaxSeriesPerDatabase String 10000 单个数据库时间线的最大数量 NetworkType String VPC 实例网络类型：VPC-专有网络 PaymentType String PREPAY 付费类型，PREPAY-包年包月；POSTPAY-按量付费 RegionId String ...
SQL作业开发
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。可选：单击 调试。您可以使用作业调试功能模拟作业运行、检查输出结果，...
Flink SQL作业快速入门
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。（可选）步骤五：进行作业调试 在作业开发页面顶部，单击 调试。您可以...
DescribeSecurityGroups-查询安全组的基本信息
["sg-bp67acfmxazb4p*","sg-bp67acfmxazb4p*","sg-bp67acfmxazb4p*",.]VpcId string 否 安全组所在的专有网络 ID。vpc-bp67acfmxazb4p*SecurityGroupType string 否 安全组类型。取值范围：normal：普通安全组。enterprise：企业安全组。...
安装etcd单机版
vpc-bp1m6fww66xbntjyc*网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*...
安装Spark单机版
vpc-bp1m6fww66xbntjyc*交换机可用区 专有网络下的交换机可用区ID。华东1可用区K 网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询...
安装Kafka单机版
vpc-bp1m6fww66xbntjyc*网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*...
通过函数计算设置伸缩组自定义实例移出策略
弹性伸缩触发缩容活动时，系统可以根据...在函数日志的返回列表中显示伸缩活动的缩容实例为 {'InstanceIds':['i-bp11az18341u*t47v']}，与伸缩活动详情信息中显示的一致（即 Instances"i-bp11az18341u*t47v"are deleted），验证符合功能预期。
更新自定义镜像
参数 说明 示例 专有网络 用以创建临时ECS实例的专有网络。vpc-bp1pfyqnwdnvj7b*交换机 用以创建临时ECS实例的交换机ID。指定的虚拟交换机必须和安全组在同一个专有网络VPC中。vsw-bp1s5fnvk4gn2tw*安全组 用以创建临时ECS实例的安全组ID。...
在资源编排控制台动态选择参数配置
vpc-bp1m6fww66xbntjyc*网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*...
安装etcd集群版
vpc-bp1m6fww66xbntjyc*网络交换机ID 专有网络下的交换机ID。关于如何创建和查询交换机，请参见 创建和管理交换机。vsw-bp183p93qs667muql*业务安全组ID ECS安全组ID。关于如何查询安全组ID，请参见 查询安全组。sg-bp15ed6xe1yxeycg7o*...
- 产品推荐
- 这些文档可能帮助您