通过整库迁移配置集成任务
管道生成后，在离线管道任务目录列表整库迁移任务下将生成对应的离线管道。您可按照下图操作指引，对生成的离线管道任务进行配置后发布等操作。详情请参见 离线集成任务属性配置概述。后续步骤 您可在运维中心查看并运维集成任务，保证任务...
通过整库迁移配置集成任务
管道生成后，在离线管道任务目录列表整库迁移任务下将生成对应的离线管道。您可按照下图操作指引，对生成的离线管道任务进行配置后发布等操作。详情请参见 离线集成任务属性配置概述。后续步骤 您可在运维中心查看并运维集成任务，保证任务...
深度冷归档存储使用最佳实践
深度冷归档存储提供高持久性、低成本的对象存储服务，适用于需要超长时间存放的极冷数据。本文介绍使用深度冷归档存储的最佳实践，避免产生额外费用，帮助您更经济地使用深度冷归档存储。通过生命周期将Object的存储类型转换为深度冷归档...
Dataphin管道任务将逻辑表数据集成到业务数据库中时，...
概述 本文主要介绍Dataphin管道任务将逻辑表数据集成到业务数据库中时，调度配置中如何解析逻辑表任务为上游依赖。详细信息 由于Dataphin3.3版本开始，管道任务中没有自动解析的按钮，很多用户将逻辑表数据通过管道任务同步到其他业务数据...
基于MQTT Topic通信
背景信息 Topic是设备与物联网平台之间通信的管道，设备可通过Topic实现消息的发送和接收。Topic格式必须以/进行分层，区分每个类目。自定义Topic的前三个类目已经规定好，第一个代表产品标识 ProductKey，第二个${deviceName} 通配...
GPU计算型
例如图像分类、无人驾驶、语音识别等人工智能算法的训练应用 高GPU负载的科学计算，例如计算流体动力学、计算金融学、分子动力学、环境分析等 重要 在使用高通信负载的AI训练业务如Transformer等模型时，务必启用NVLink进行GPU间的数据通信...
PAI灵骏智算服务概述
支持加速库，主要对 PAI灵骏 集群的通信进行了深度的定制优化。计算系统支持任务的界面化提交和任务日志查看，支持主流的AI计算框架，例如：PyTorch、TensorFlow等。为什么选择PAI灵骏 选择 PAI灵骏，您可以轻松构建具有以下优势的智能集群...
安装ACCL库
ACCL（Alibaba Collective Communication Library）是一款高性能通信库，提供了AllReduce、AllToAllV、Broadcast等常用集合操作接口以及点到点Send/Recv接口，为多机多卡训练提供高效的通信支持。本文为您介绍如何安装ACCL库。背景信息 ...
应用场景
通信行业：产品调试一直是通信生产过程中的瓶颈工序。调测成本占总生产成本比重高达30-40%，单个产品平均耗时超过1个小时。企业通过云端汇总、打通生产关键环节数据，以测试/检测数据为主体，使用算法模型进行制程能力的综合分析、评估、...
智能审核
智能审核服务基于海量标注数据和深度学习算法实现，从语音、文字、视觉等多维度精准识别媒体文件中包含的违禁内容，包括色情、暴恐、政治敏感、广告识别等多个功能模块，同时支持视频图像文件内容质量审核功能，可以减轻人工审核的工作负担...
分布式训练加速TorchAcc概述
通过半精度通信、通信压缩、通信overlap等通信优化技术来提高通信效率。提供自动和半自动分布式策略，支持大模型高效训练。训练数据读取优化：Prefetcher：进行数据预取，让数据预处理和训练能够同时进行，从而减少数据处理的等待时间，...
弹性搜索的审计事件
CreatePipelines 创建Logstash管道。CreateSnapshot 手动创建Elasticsearch集群快照备份。CreateVpcEndpoint 创建Elasticsearch服务账号VPC下的终端节点。DeactivateZones 当Elasticsearch实例有多个可用区时，下线部分可用区，并将下线的...
RDMA：使用高性能网络进行分布式训练
在大模型的AI并行计算中，确保算力最优计算性能，需要通过降低通信量、计算和通信交叠、提升通信效率达到通信的最优。PAI灵骏智算（Serverless）是阿里云基于软硬件一体优化技术，构建高性能异构算力底座，面向大规模深度学习及融合智算，...
入侵防御原理介绍
针对网络流量，云防火墙通过深度数据包协议识别解析DPI（Deep Packet Inspection）引擎进行检测和识别，可以识别网络流量中的协议并进行包解析。同时，针对IPS攻击和威胁情报，云防火墙会进行流过滤和包过滤。如果命中了威胁引擎模式（观察...
查看并管理手动任务
手动任务详情支持的操作 手动任务详情为您展示计算任务和管道任务的配置详情。同时，支持对该任务进行运维管理。操作 描述 刷新 刷新当前手动任务。运行任务 手动触发运行手动任务：单击 运行。在 运行 对话框中，您可以修改 实例名称、...
查看并管理手动任务
手动任务详情支持的操作 手动任务详情为您展示计算任务和管道任务的配置详情。同时，支持对该任务进行运维管理。操作 描述 刷新 刷新当前手动任务。运行任务 手动触发运行手动任务：单击 运行。在 运行 对话框中，您可以修改 实例名称、...
云安全中心反弹Shell多维检测技术详解
第二类反弹Shell：通过管道、伪终端等中转，再重定向Shell的输入输出到中转 此类反弹Shell借助管道、伪终端等进行中转，例如下面这个典型案例将 sh-i 的标准输入、标准输出、标准错误重定向到命名管道/tmp/f，同时加密通信数据也流向该命名...
查看并管理手动实例
管道任务生成的实例，默认展示管道任务上下游组件。④ 实例对象列表 查看手动实例详情时，实例对象列表将展示实例对象的名称和业务日期。鼠标指针至实例对象，将展示当前对象的节点名、节点ID、业务日期。如下图所示：手动实例详情页支持的...
迁移介绍
云企业网（Cloud Enterprise Network，简称CEN）可以在不同专有网络之间，专有网络与本地数据中心间搭建私网通信通道。通过自动路由分发及学习，CEN可以提高网络的快速收敛和跨网络通信的质量，实现全网资源的互通。迁移过程 在完成所需的...
迁移介绍
云企业网CEN（Cloud Enterprise Network）可以在不同专有网络之间，专有网络与本地数据中心间搭建私网通信通道。通过自动路由分发及学习，CEN可以提高网络的快速收敛和跨网络通信的质量，实现全网资源的互通。迁移过程 在完成所需的迁移前...
查看并管理手动实例
管道任务生成的实例，默认展示管道任务上下游组件。④ 实例对象列表 查看手动实例详情时，实例对象列表将展示实例对象的名称和业务日期。鼠标指针至实例对象，将展示当前对象的节点名、节点ID、业务日期。如下图所示：手动实例详情页支持的...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
自定义RDBMS数据库及同步数据
在离线管道开发页面，单击 并选择离线单条管道，进入 创建管道开发脚本 对话框。在创建管道开发脚本对话框，配置参数。参数 描述 管道名称 填写为 test。调度类型 选择为 手动节点。描述 填写简单的描述。例如，测试自定义组件。选择目录 ...
自定义RDBMS数据库及同步数据
在离线管道开发页面，单击 并选择离线单条管道，进入 创建管道开发脚本 对话框。在创建管道开发脚本对话框，配置参数。参数 描述 管道名称 填写为 test。调度类型 选择为 手动节点。描述 填写简单的描述。例如，测试自定义组件。选择目录 ...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
智能生产
如果管道列表中没有智能封面管道，请先开启智能封面管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
工作流活动介绍
活动类型 活动名称 拓扑结构中的Activitiy类型 说明 输入（必选）Start 设置媒体工作流的OSS输入路径和全局配置，包括管道、消息。发布（必选）Report 设置手动发布、自动发布。分析 Analysis 对输入文件进行智能分析，推荐出适合输入文件...
旁路规则
操作步骤 登录 音视频通信RTC控制台。在左侧导航栏选择 配置管理>旁路规则，进入配置旁路转推规则界面。选择待配置的AppID。点击确定是否开启 旁路转推服务。说明 旁路转推服务默认为关闭状态，您必须在控制台启用该服务后才能正常使用推流...
安装AIACC-Training
方式三：安装配有AIACC-Training的Docker镜像 您可以下载已安装了AIACC-Training的Docker镜像，该镜像内已安装CUDA、Python 3、深度学习框架和最新的AIACC-Training软件等，能够帮助您快速部署深度学习环境，管理不同的CUDA环境，并通过...
优势
微服务框架 深度集成蚂蚁 SOFA Mesh 做异构语言的服务注册发现及通信。网络模式 支持 VPC 和经典网络两种网络模式。高可用和容灾 支持经典的同城双活、两地三中心容灾方案。支持阿里云沉淀多年的单元化高可用容灾方案。
蓝牙连接开发指南
开发者也可以不采用蓝牙Breeze方案，使用自己的私有蓝牙协议通信 开发者可以开发三方蓝牙通信插件来跟第三方的蓝牙设备进行通信，而无需要在蓝牙设备里集成阿里云IoT提供的设备端Breeze SDK，如下图所示。第三方蓝牙通信插件的开发，参见 ...
启动方式与环境变量说明
1：若存在多个节点，每个节点多卡，会做两级通信，节点内部先reduce到一张卡上，然后每个节点一张卡参与第二级通信。默认为Perseus自动选择。若不设置，Perseus自动选择AllReduce通信模式。Perseus会自动选择最优值，一般情况下不建议您...
Object在存储不足规定时长时如何计费？
当低频访问、归档、冷归档或者深度冷归档存储类型Object在存储不足规定时长时转换了存储类型并提前删除时，需要收取不足规定时长容量费用。低频访问类型最低存储时间为30天，归档类型最低存储时间为60天，冷归档或者深度冷归档的最低存储...
Dataphin管道任务补数据提示will skip and set ...
问题描述 Dataphin管道任务补数据提示will skip and set success.然后直接跳过，如下图所示。问题原因 由于任务设置的空跑状态，所以会直接置成功。解决方案 如果需要周期补充数据在任务调度配置中将时间属性设置为正常调度，如果需要手动...
方案概述
本地数据中心通过物理专线和云企业网与云上专有网络实现私网通信后，通信流量未经过加密处理，无法满足安全通信的高要求。使用私网VPN网关可帮您实现基于物理专线的私网流量（以下简称为私网流量）加密通信，提高网络的安全性。本文为您...
接入流程
接入流程——手动混流转码 步骤 操作 描述 1 设置SDK频道模式 调用 setChannelProfile 设置频道模式，参数channelProfile设置为AliRTCSdkCommunication（通信模式）或AliRTCSdkInteractiveLive（互动模式）。说明 此处以Android端接口举例...
基本概念
云企业网（Cloud Enterprise Network）帮助您在VPC间，VPC与本地数据中心间搭建私网通信通道，通过自动路由分发及学习，提高网络的快速收敛和跨网络通信的质量和安全性，实现全网资源的互通，帮助您打造一张具有企业级规模和通信能力的互联...
eRDMA概述
应用场景 传统的TCP/IP一直是业界主流的网络通信协议，众多应用都是基于TCP/IP构建的，但随着数据中心相关的业务蓬勃发展，应用对于网络的性能需求（如延迟、吞吐）越来越高，受限于TCP/IP的局限性（如拷贝开销大、协议栈处理厚、CC算法...
- 产品推荐
- 这些文档可能帮助您