DBMS_PIPE
DBMS_PIPE子程序总览 子程序 说明 CREATE_PIPE Function 创建一个命名管道。NEXT_ITER_TYPE Function 返回缓冲区中下一个数据成员的数据类型。PACK_MESSAGE Procedures 将一个数据项放入会话的本地消息缓冲区中。UNPACK_MESSAGE Procedures...
建立gRPC连接
gRPC的 作用与 优势 高效通信：利用HTTP/2的多路复用特性，gRPC能够在一个TCP连接上并发执行多个请求，提高了通信效率和性能。跨语言互操作性：gRPC支持多种主流编程语言，允许服务端和客户端使用不同的语言进行开发，方便构建异构系统。强...
分布式训练加速TorchAcc概述
通过半精度通信、通信压缩、通信overlap等通信优化技术来提高通信效率。提供自动和半自动分布式策略，支持大模型高效训练。训练数据读取优化：Prefetcher：进行数据预取，让数据预处理和训练能够同时进行，从而减少数据处理的等待时间，...
软件概述
Intel-MPI 2018 OSU-Micro-Benchmarks 5.4.4 MPI通信效率评测工具。Intel-MPI 2018 Iperf 2.0.12 网络带宽评测工具。无 FIO 3.1 磁盘读写效率评测工具。无 运行时库 MPI通信库 GPU加速库 Intel高性能库 Intel-MPI OpenMPI MPICH MVAPICH ...
功能特性
阿里云通过通信库ACCL实现了GPU和网卡的智能匹配、节点内外物理拓扑自动识别及拓扑感知的无拥塞通信算法，彻底消除网络拥塞，提升网络通信效率，提高分布式训练系统的扩展性。在万卡规模下，可达80%以上的线性集群能力。在百卡规模下，有效...
安装ACCL库
GPUDirect RDMA RDMA网络下使用GPUDirect RDMA可收获更好的通信效率，要求安装peer-memory内核驱动并关闭PCIe ACS（Access Control Service）于宿主环境中，前者可以通过如下命令快速验证是否加载：lsmod|grep nv_peer_mem 禁用ACS可使用...
什么是AI通信加速库Deepnccl
Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。产品简介 Deepnccl基于NCCL（NVIDIA Collective ...
PAI灵骏智算服务概述
阿里云通过通信库ACCL实现了GPU和网卡的智能匹配、节点内外物理拓扑自动识别及拓扑感知的无拥塞通信算法，彻底消除网络拥塞，提升网络通信效率，提高分布式训练系统的扩展性。在万卡规模下，可达80%以上的线性集群能力。在百卡规模下，有效...
云安全中心反弹Shell多维检测技术详解
通过管道、伪终端等中转，再重定向Shell的输入输出到中转 此类反弹Shell借助管道、伪终端等进行中转，例如下面这个典型案例将 sh-i 的标准输入、标准输出、标准错误重定向到命名管道/tmp/f，同时加密通信数据也流向该命名管道。mkfifo/tmp/...
入侵防御原理介绍
如果确实需要使用SMB命名管道，建议开启IPS威胁引擎的 拦截模式-中等 或 拦截模式-严格 模式。信息泄露 信息泄露可能导致个人隐私权受到侵犯，敏感个人身份信息、联系方式、财务信息等可能被恶意利用。鉴于不同业务对信息泄露的定义可能...
DBMS_PIPE
即使命名的管道不存在，也会返回状态代码0。示例 在管道中发送两条消息：DECLARE v_status INTEGER;BEGIN v_status:=DBMS_PIPE.CREATE_PIPE('pipe');DBMS_OUTPUT.PUT_LINE('CREATE_PIPE status:'|v_status);DBMS_PIPE.PACK_MESSAGE('...
配置服务发现范围提升网格配置的推送效率
通过限定ASM控制平面仅处理和发现指定命名空间下的应用，可以有效减少无效通信，加速配置同步进程，确保 服务网格 的稳定运行并提升运维管理效率。前提条件 已添加集群到ASM实例，且ASM实例为1.10.5.32及以上版本。已通过kubectl工具连接...
RDMA：使用高性能网络进行分布式训练
在大模型的AI并行计算中，确保算力最优计算性能，需要通过降低通信量、计算和通信交叠、提升通信效率达到通信的最优。PAI灵骏智算（Serverless）是阿里云基于软硬件一体优化技术，构建高性能异构算力底座，面向大规模深度学习及融合智算，...
使用IMB软件和MPI通信库测试集群通信性能
背景信息 IMB（Intel MPI Benchmarks）用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI（Message Passing Interface）是支持多编程语言编程的并行计算通信库，具有高性能、大规模性、可移植性、可扩展性等特点。准备...
网格优化中心概述
功能介绍 Service Mesh是一种用于管理微服务架构中网络通信的解决方案，通过在每个服务实例中添加代理，实现流量控制、服务发现、负载均衡等功能。虽然Service Mesh能够提供很多强大的功能，但也存在一些性能问题，例如：延迟增加：Service...
功能概述
命名空间：用于隔离日常、预发、生产等环境。高可用性 多级缓存：主备库存储容灾，Server 全量缓存，SDK 缓存。流量控制：防止错用对集群稳定性造成影响 容量管理：防止错用对集群稳定性造成影响。同城容灾：机房级容灾能力。高性能、大...
历史功能发布记录（2023年之前）
根据访问日志，实时分析服务所需的Sidecar资源配置，从而提升xDS推送的效率。全部 v1.15及以上 企业版、旗舰版 使用自适应配置推送优化提升控制平面推送效率 支持自建Istio迁移至ASM。支持将自建的Istio社区版本迁移至ASM。全部 v1.12及...
网络安全
网络策略涉及很多方面，例如默认允许或拒绝规则、命名空间隔离、安全组设置等。通过加密传输的流量，可以确保敏感数据在传输过程中不被篡改或窃取。通过综合使用以上技术和措施，您可以增强服务之间的安全性和保护敏感数据的传输。网络策略...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
端云互联最佳实践
在开发应用时，可以使用Alibaba Cloud Toolkit（后文简称Cloud Toolkit）插件实现本地应用和部署在EDAS中的应用的相互调用，即端云互联，帮助您提升开发效率。前提条件 已安装和配置Cloud Toolkit，请参见 在IntelliJ IDEA中安装和配置...
使用自适应配置推送优化提升控制平面推送效率
当遇到控制平面向数据平面大量推送无关配置导致效率低下时，您可以借助自适应配置推送优化功能来提升控制平面的推送效率。通过分析服务间的实际调用关系，该功能自动为服务生成优化后的Sidecar资源，仅为必要的服务推送必需的Sidecar配置，...
配置IBM DB2输入组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 IBM DB2输入配置 对话框。在 IBM DB2输入配置 对话框，配置参数。参数 描述 步骤名称 即IBM DB2输入组件的名称。Dataphin自动生成步骤名称，您...
配置IBM DB2输入组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 IBM DB2输入配置 对话框。在 IBM DB2输入配置 对话框，配置参数。参数 描述 步骤名称 即IBM DB2输入组件的名称。Dataphin自动生成步骤名称，您...
配置Vertica输入组件
操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 Vertica输入配置 对话框。在 Vertica输入配置 对话框中，配置参数。参数 描述 步骤名称 即Vertica输入组件的名称。Dataphin自动生成步骤名称，...
配置Oracle输入组件
命名规则如下：只能包含汉字、字母、下划线（_）、数字。不能超过64个字符。数据源 在数据源下拉列表中，展示当前Dataphin中所有Oracle类型的数据源，包括您已拥有同步读权限的数据源和没有同步读权限的数据源。对于没有同步读权限的数据源...
应用场景
服务安全 通过ASM，可以轻松实现服务之间的双向TLS认证：支持以渐进方式实现mTLS双向认证，可以确保服务间通信以及最终用户与服务之间通信的安全。双向TLS认证在实现过程中不需要更改服务代码，可以为每个服务提供基于角色的强大身份认证...
配置ClickHouse输入组件
命名规则如下：只能包含汉字、字母、下划线（_）、数字。不能超过64个字符。数据源 下拉列表中展示Dataphin中所有的ClickHouse数据源。对于您没有同步读权限的数据源，您可以单击数据源后的 申请，申请对应数据源的读取权限。申请数据源...
使用NodeLocal DNSCache
kubectl label namespace default node-local-dns-injection=enabled 说明 上述命令仅会开启default命名空间的自动注入，如需对其他命名空间开启自动注入，则需要替换 default 为目标命名空间名称。在命名空间DNSConfig自动注入开启的情况...
容器资产全景
容器资产全景功能从集群、容器、镜像、应用等资产维度为您提供安全可视化的管控能力和云上容器资产的网络拓扑，帮助您提升管理容器资产安全的效率。使用该功能您可以轻松掌控容器资产的安全状态，并了解容器资产间的网络连接情况。本文介绍...
API概览
ListAckNamespaces 查看指定容器服务Kubernetes版ACK集群的所有命名空间。DescribeAckOperator 查看指定容器服务Kubernetes版ACK集群上安装的Elasticsearch Operator信息。InstallAckOperator 在指定容器服务Kubernetes版ACK集群上安装...
通过Logstash修改字段名
在某些业务的使用场景下，您可能需要对索引的一些字段进行重命名。例如，使用DataWorks在阿里云Elasticsearch集群间迁移数据时，由于源集群数据中包含了特殊符号（例如@），而DataWorks不支持特殊符号，因此需要修改字段名（去掉特殊符号）...
网络资源
网络资源还需要提供高带宽、低延迟和稳定的网络连接，以确保节点之间的通信和数据传输的效率和可靠性。网络资源是流量入口和数据交互的基础设施，常见的网络资源风险点如下：网络带宽不足 指网络连接的带宽无法满足系统或应用程序的需求，...
多租户安全
qoutas 和 limit ranges 控制每个租户可以消耗的集群资源量，而 network polices 可以防止部署到不同命名空间的应用程序相互通信。这些控制措施不能阻止来自不同租户的 Pod 共享一个节点。您可以使用 nodeselector、anti-affinity 规则、...
创建命名空间
创建命名空间有助于防止资源和服务之间的潜在冲突，同时便于您对它们进行有序管理和维护，从而提高工作效率。本文介绍如何创建命名空间。注意事项 每个Nacos实例能够创建的命名空间数量上限为50个，主要出于以下考虑：当单个实例中创建的...
重命名文件
使用场景 命名规范实施：在实施新的文件命名规范以提高数据管理效率和一致性时，需要重命名现有的对象以符合这些规范。数据迁移和重组：在组织架构调整、系统迁移或应用程序升级时，可能需要移动或重组存储在OSS中的数据，这通常伴随着对象...
在gRPC服务中使用无代理服务网格功能
Proxyless模式不会使用到Sidecar，但是需要使用Agent与控制面进行通信，因此仍然需要为命名空间注入Sidecar。kubectl label namespace echo-grpc istio-injection=enabled 执行以下命令，部署echo-grpc应用。kubectl-n echo-grpc apply-f ...
- 产品推荐
- 这些文档可能帮助您