调整实例WRITESET相关参数
您可以通过开启WRITESET模式，设置 binlog_transaction_dependency_tracking 和 transaction_write_set_extraction 参数来控制事务的冲突检测机制，以便提高备库回放并行度，降低主从延迟。WRITESET简介 MySQL默认的基于主库组提交来判断...
常见问题
通过VCS“全视频”，对视频数据进行汇聚并行计算，让机器看视频，一方面提升视频追踪的效率，另一方面提升视频追踪的能力 2 AI处于暴利阶段，整个行业停留在人脸、人体、机动车等成熟算法的工程化上，几乎没有算法创新和突破各AI玩家满足于...
自定义算子管理
1 什么是自定义算子 自定义算子是用户自己开发的算法，例如某个预标注算法，通过打包成代码镜像的方式注册到数据管理平台上，可以在数据处理任务中使用。说明 此处定义的算子可在后续数据处理任务时调用运行，包括“数据标准化算子”、...
IDMapping在离线一体化解决方案
（一）背景介绍 对于几乎所有的互联网企业，对于识别、追踪用户身份都有强烈的需求，精准识别用户身份后，就可以收集用户个性化的行为、身份数据，比如用户浏览了什么商品，看了什么视频，去了哪个餐厅等等，从而可以对搜索，广告，推荐...
常见问题
任务并行度 在Partition数量和BE数量较多时，您可以调大以下参数来加速任务执行。但是，增加并行度可能会带来更多的CPU资源消耗。max_routine_load_task_concurrent_num desired_concurrent_number 单个Routine Load任务会根据Kafka Topic ...
什么是AI通信加速库Deepnccl
针对PCIe互连拓扑的通信优化特点，理论上，可以采用基于流水线的PS（Parameters Server：参数服务器）模式梯度规约算法CPU-Reduce大幅降低通信耗时。该算法按照GPU到CPU再到GPU的顺序构建流水线，将梯度规约的计算分散到多个设备上运行，来...
计算资源
异步：对于耗时较长的任务做异步执行处理，可以充分利用计算资源，加快任务处理，避免阻塞整个任务执行流程。优先级：根据任务的重要性和紧急程度，设置不同的任务优先级。优先执行高优先级的任务，避免其被阻塞或堆积，保证系统的响应性和...
创建向量索引
在处理大型数据集或需要快速访问和检索数据的场景（数据库查询优化、机器学习和数据挖掘、图像和视频检索、空间数据查询等）中，创建向量索引是加速向量检索的有效方式，可以提高查询性能、加速数据分析和优化搜索任务，从而提高系统的效率...
K均值聚类算法（K-Means）
例如：使用K-Means算法可以将电信预付费客户的付费方式分为充值模式、发送短信和浏览网站几个类别。对客户进行分类有助于公司针对特定客户群制定特定的广告。欺诈检测 K-Means算法在欺诈检测中也扮演着一个至关重要的角色，被广泛应用于...
创建任务工作负载Job
2+1 固定结束次数的并行Job 多个Pod同时处理工作队列 依次创建多个Pod运行直至Completions个成功结束 2+2+并行Job 多个Pod同时处理工作队列 创建一个或多个Pod直至有一个成功结束 1 2+操作步骤 说明 本例中创建的任务属于固定结束次数的...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
OOM常见问题排查指南
比较宽的列有比较大的scan并行度 若是已经调整过大宽表的导入参数，但是仍然出现OOM，可以排查业务是否有比较宽的列，若有可以通过调整以下参数解决。调整宽列的shuffle并行度，减少宽列数据量的堆积 set hg_experimental_max_num_record_...
如何通过图算法能力获取OneID高质量人
（一）背景 对于几乎所有的互联网企业，对于识别、追踪用户身份都有强烈的需求，精准识别用户身份后，就可以收集用户个性化的行为、身份数据，比如用户浏览了什么商品，看了什么视频，去了哪个餐厅等等，从而可以对搜索，广告，推荐等等...
快速入门
并发控制策略 当两个任务流中的一个任务流中已有正在运行的实例时，再次运行时您可以选择如下策略：跳过：不运行该任务流，直接跳过。忽略：直接运行该任务流（请确认之前的执行实例不会收到影响）。并行：并行运行两个任务流。并行模式1：...
性能测试工具-图形工具
您可以将数据结果复制到Excel或者Numbers等数据分析软件中做进一步对比分析。CSV文件结果如图所示。常见问题 如果测试中遇到错误退出，请检查如下事项：Java和Python是否安装，版本是否正确。被测实例地址以及专用配置是否填写正确。被测...
技术原理
PolarDB-X 1.0 控制台上创建 PolarDB-X 1.0 数据库时，在选定一个数据库实例的情况下，可以选择将底层数据库实例下的一个逻辑数据库直接引入 PolarDB-X 1.0 做读写分离，不需要做数据迁移。分布式事务 分布式事务通常使用二阶段提交来保证...
媒体转码
产品优势 对比项 阿里云转码 自建转码 转码能力 高速稳定的并行转码系统，按需动态调整转码资源，自动扩容/缩容，应对高并发转码需求无缝扩展集群资源。难以支撑大规模高并发转码任务。转码算法 强大的计算资源，先进的视频处理算法。依赖...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
性能测试工具-图形工具
您可以将数据结果复制到Excel或者Numbers等数据分析软件中做进一步对比分析。CSV文件结果如图所示。常见问题 如果测试中遇到错误退出，请检查如下事项：Java和Python是否安装，版本是否正确。被测实例地址以及必填配置是否填写正确。被测...
美颜特效SDK通用问题
SDK内置了智能自动检测当前画面最佳输入参数的算法，通过如下两个步骤，可以开启查看当前所预期需要的输入参数。创建engine时，指定算法输入模式为自动模式。config.algInputMode=AlgInputMode.kModeAutomatic;开启debugLog模式，即engine...
PyAlink脚本
您可以使用PyAlink脚本调用Alink的分类算法做分类、调用回归算法做回归、调用推荐算法做推荐等。PyAlink脚本也支持与其他Designer的算法组件无缝衔接，完成业务链路的搭建及效果验证。本文为您介绍如何使用PyAlink脚本。背景信息 PyAlink...
查询执行器介绍
parallel=true)可以看出，并行执行计划中Gather算子的位置被拉高了，这也意味着Gather下方的算子都会以并行方式执行，直到Gather时才被汇总成在一起。执行时，Gather下方的算子会实例化出多个执行实例，分别对应一个并行度。并行度默认...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
梯度提升决策树算法（GBDT）
同时，GBDT算法相比于其它算法需要更少的特征工程，可以不用做特征标准化，也不必关心特征之间是否相互依赖，能很好的处理字段缺失的数据，健壮性好。使用场景 GBDT通常被应用在二分类、多分类以及排序等场景。例如，在个性化商品推荐场景...
使用多机MPP对海量数据分析提速
其他操作 判断当前SQL语句是否可以使用列存索引的多机并行能力 您可以通过在SQL语句中添加HINT语法 SET_VAR(imci_plan_use_mpp=forced)来查看SQL语句的执行计划，以此来判断该SQL语句是否可以使用多机并行能力。示例如下：EXPLAIN SELECT/*...
路由算法
定义 路由算法是减少路由时开销的一种算法，可以通过给逻辑库配置路由算法，实现条件定位查询，提高操作效率。说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
选型介绍
算法配置版：建议想要补全或增强推荐算法能力，希望可以便捷快速的接入算法来使用，并且有专门的算法同学来做效果调优、或希望有更大的调优空间的客户使用。算法运营版可以支持对算法进行个性化定制。冷启动版 新用户冷启动版是AIRec智能...
负载均衡调度算法介绍
优点 灵活性：加权轮询算法可以根据服务器的性能和处理能力设置不同的权重，实现对不同服务器的灵活调度，使得性能较好的服务器能够处理更多的请求。均衡性：加权轮询算法仍然能够保持请求的均衡性，将请求按照权重进行分配，使得各个...
异常检测
功能说明“异常检测”功能通过人工智能算法，可以识别您在云上消费费用的波动异常。同时，您还可对检测的结果进行评估反馈，从而辅助训练检测算法，提升算法检测的准确率。操作说明 登录“用户中心”，进入“成本管理-异常检测”，可以查看...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
ganos.parallel.transaction
指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit（默认值）：支持并行事务和主事务一起进行提交或回滚。fast_commit：不支持并行事务和主事务一起进行提交或回滚。示例 SET ganos....
ganos.parallel.transaction
指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit（默认值）：支持并行事务和主事务一起进行提交或回滚。fast_commit：不支持并行事务和主事务一起进行提交或回滚。示例 SET ganos....
ganos.parallel.transaction
指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit（默认值）：支持并行事务和主事务一起进行提交或回滚。fast_commit：不支持并行事务和主事务一起进行提交或回滚。示例 SET ganos....
快速开始
并行查询推荐设置以及相关说明如下：多机并行引擎可以根据查询代价以及集群实时负载情况自适应弹性调度，建议开启多机并行以获得更优的加速效果。并行度参数从低到高逐渐增加，建议不要超过CPU核数的四分之一。例如，刚开始使用并行查询时...
如何设置初始化时间窗口数量？
日志异常分析算法从创建任务时开始运行，其中算法模型需要经过一段时间的初始化训练后才能进行异常检测。您需要通过时间窗口数量和时间窗口长度指定合适的初始化时间。合适的初始化时间，可以使算法模式在初始化阶段分析到大多数的日志类别...
负载均衡
设置负载均衡 要使用某种特定的负载均衡算法，可以按照以下的方式进行设置：XML 方式 如果使用 XML 的方式引用服务，可以通过设置 sofa:global-attrs 标签的 loadBalancer 属性来设置负载均衡。以下示例以设置负载均衡算法为 roundRobin 为...
AutoML使用限制及规格
TPE：Tree-structured Parzen Estimator，是一个无需附加依赖的轻量级算法，可以支持所有的搜索空间类型，为HPO中使用的默认算法。它可以处理复杂、非线性、高纬度且计算代价较大的问题。TPE的缺点是无法发现不同参数之间的联系。参考文献...
- 产品推荐
- 这些文档可能帮助您