内存管理
系统提供的Buddy算法是通过32 bit的位图结构来挂载对应的空闲链表，bit n代表内存块对应的type，其下面挂载了长度范围(2^(n-1+off)~2^(n+off)-1)的空闲块，其中off值主要是考虑利用了原本较小长度块的低bit。内存申请时，优先从对应type的...
高效向量检索（PASE）
说明 HNSW算法是在NSW算法的单层构图的基础上构造多层图，在图中进行最近邻查找，可以实现比聚类算法更高的查询加速比。两种算法都有特定的适用业务场景，例如IVFFlat适合高精图像对比场景，HNSW适合搜索推荐的召回场景。使用PASE 使用方法...
申请免费DV单域名试用证书
RSA算法是目前在全球应用广泛的非对称加密算法，兼容性好。CSR生成方式 CSR（Certificate Signing Request）文件是您的证书请求文件，包含了您的服务器信息和单位信息，需要提交给CA中心审核。您可以选择以下CSR生成方式：系统生成：表示由...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
iOS集成
为了返回的图片数据安全，SDK对返回的数据做了一层简单的加密，加密算法是通用的AES（ECB、PKCS7Padding），SDK提供了对应的解密代码，需要您传入加密的密钥，代码如下：/*设置加密密钥，为了保证数据安全，对于返回的活体数据 做了基础的...
HaaS EDU场景式应用整体介绍
别着急，HaaS EDU K1中提供的陀螺仪以及加速度计就可以完全地展示这个算法是如何打造出来的。本案例中包括以下主要知识点：三轴加速度传感器的原理和使用 随机数生成的方法 抖动滤除算法 通过本案例的学习，能完整的学习到三轴加速度传感器...
配置蓝图交互逻辑
} 上面的算法是简单的伪随机代码，推荐采用 Crypto.getRandomValues()算法。抽奖算法，给定 start、end,给定一个范围内的值*@example start:0 end:10,return 7*@param start {int}*@param end {int}*@return start-end 之间的一个值，包含 ...
配置蓝图交互逻辑
} 上面的算法是简单的伪随机代码，推荐采用 Crypto.getRandomValues()算法。抽奖算法，给定 start、end,给定一个范围内的值*@example start:0 end:10,return 7*@param start {int}*@param end {int}*@return start-end 之间的一个值，包含 ...
使用ID²-SE将设备接入阿里云物联网平台
创建的ID²产品默认选择的设备认证算法是AES-128；如需选择其他设备认证算法，请按如下步骤操作：在 产品控制台，选择 常规>集成与部署>IoT设备身份认证，单击 独立使用（三方物联网平台）卡片的 开始接入 按钮。在 配置产品 页面获取配置...
Hash Join的并行加速
并行策略 上图中是并行度为4的并行查询计划（即 PolarDB 会启用4个Worker来执行查询）。其中 t1 表会执行Parallel Scan，即由4个Worker分别扫描这个表。每个Worker使用 t1 的一部分数据建立各自的Hash表，再和整个 t2 表执行JOIN操作，最后...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
什么是AI分布式训练通信优化库AIACC-ACSpeed
NCCL经常使用的一种算法是binary-tree（即2-tree），在不同机型拓扑下并不能达到最优。说明 NCCL是NVIDIA GPU的集合通信库，能实现集合通信和点对点通信，基本上所有AI开源框架通信底层都是NCCL。优化方法 基于上述问题，ACSpeed充分利用高...
并行循环步骤
并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环步骤的每次迭代执行都对应一个本地变量。执行并行循环步骤会对输入参数里的每个元素并发执行串行步骤。这些串行步骤会改变其迭代对应的本地变量。当...
并行步骤
并行步骤包含以下属性：（必需）type：parallel表示该步骤是并行步骤。（必需）name：步骤名称。（必需）branches：多个分支，数组类型，每个元素对应一个分支。（必需）steps：定义了分支所对应的多个串行步骤。（可选）end：当前步骤结束...
并行INSERT
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
并行INSERT
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
并行（Parallel）
请参见 输入构造器 Branches ParallelBranch 是 并行分支。详见 ParallelBranch OutputConstructor map[string]any 否 输出构造器。请参见 输出构造器 Next string 否 当前状态的下一状态。当End取值为true时，无需指定。my-next-state End...
人脸特征管理
path 版本/face/paas/feature/algorithm/list 1.0.0 入参：无 出参：使用通用结果类型，data域是列表，见下表的详细说明：字段 类型 备注 id String 算法ID provider String 算法供应商 name String 算法名称 version String 算法版本号 ...
自定义算法包组件上架
算法包模板 以样例算法包algo_package_sample.zip为例，介绍算法包的模板。算法包解压后结构如下：common放工具包 lib放第三方包#导入第三方包的方式 third_path=env_util.get_workspace()+"/lib"os.system('pip3 install simpy=3.0.11-i ...
功能特性
阿里云工业视觉智能从工作区、数据集和模型三...模型管理的基本功能是基于数据集和工作区提供的基础算法模型，或者用户已经训练得到的算法模型，继续通过训练对算法模型进行定制和优化。把生成的算法模型发布为公共云API或导出成SDK离线使用。
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
工作原理
算法配置 算法配置包含以下配置：观测长度：算法用于分析建模所观测的数据点个数。取值范围为[200,4000]。敏感度：算法输出的异常分数对异常现场的敏感度，敏感度越高，分数相对越高。巡检事件 巡检事件包含以下配置：实体信息：标识当前...
SubmitIProductionJob-提交智能生产作业
null JobParams string 是 算法作业参数，JSON 对象，不同算法对应参数内容不同。更多信息请参见 智能生产接口参数补充说明。{"Model":"gif"} ScheduleParams string 否 作业调度参数，设置任务调度配置（非必填，保持为空即可）。null ...
JAVA
构造请求参数，其中GetPosChEcom是算法的actionName,请查找对应的《API基础信息参考》文档并替换为您需要的算法的ActionName，示例详见下方文档中的：更换API请求 GetPosChEcomRequest request=new GetPosChEcomRequest();固定值，无需更改...
电商压测场景示例
业务会话1：浏览产品A 和 业务会话2：购买产品B 是并行关系。根据业务逻辑，一部分用户在浏览产品A，另一部分用户在进行购买产品B的一系列操作，即两个业务是同时发生的，所以将它们设置为两个业务会话，压测中会并行发起请求。业务会话中...
电商压测场景示例
串联链路1：浏览产品A 和 串联链路2：购买产品B 是并行关系。根据业务逻辑，一部分用户在浏览产品A，另一部分用户在进行购买产品B的一系列操作，即两个业务是同时发生的，所以将它们设置为两个串联链路，压测中会并行发起请求。串联链路中...
循环（Map）
循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的处理器状态。当所有分支执行结束后，默认将输出一个包含所有分支结果的map[string]any，然后通过输出构造器将...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
技术原理
当优化器判断对于某一个特定的查询，并行查询是最快的执行策略时，优化器将创建一个查询计划。该计划包括一个 Gather 或者 Gather Merge 节点。下面是一个简单的例子：EXPLAIN SELECT*FROM pgbench_accounts WHERE filler LIKE '%x%';QUERY...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
概述
物联网边缘计算提供算法应用，供您为视频设备配置算法，处理视频数据。同时提供算法服务，支撑您管理算法任务。背景信息 当前物联网行业中，算法开发没有统一的算法定义和开发规范，自主开发的成本高，是业务中的一大痛点。物联网边缘计算...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
- 产品推荐
- 这些文档可能帮助您