使用float2类型压缩存储向量
当前float2的数组类型转换，实现了两种转换算法：针对数组中的每个float2的数据，使用C程序进行转化，每次只转换一个float2数据。对于特定的硬件（支持AVX和SSE2指令集的硬件），调用硬件特定的接口函数，每次可以支持同时转换4个float2...
ClickHouse控制台查看监控
数据库使用连接数 数据库使用中的连接数目。TPS 每秒处理的事务数目。每秒写入行数 各节点每秒写入的行数。每秒写入大小 各节点每秒写入的大小。单位：MB。QPS 每秒处理的查询数目。ZK的平均等待时长 反映当前ZooKeeper的响应性能。单位：...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
GBase8a数据源
使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性索引冲突时，无法写入冲突的行。目的表所在数据库必须是主库才能写入数据。说明 整个任务需要至少具备 insert into.的...
ClickHouse数据源
是 无 splitPk ClickHouse进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。说明 当配置了splitPk时，fetchSize参数为必填项。否 无 ...
如何不间断地进行时序异常检测
anomaly_detect_statement 数据写入语句，语法中使用ANOMALY_DETECT函数实现异常查询检测，具体请参见 时序异常检测函数。示例 创建不间断查询语句：指定每分钟对 tsdb.some_table 最近一分钟的数据进行esd异常检测，并将检测结果写入 tsdb...
工业视觉智能基本概念
数据集 工业视觉智能产品的视觉智能模型通过深度学习来获得，而深度学习依赖于用户上传的样本数据，样本数据以数据集的形式进行组织与管理，避免对海量非结构化数据的查找。并能灵活的进行数据集的交叉组合及数据集内的数据筛选。用户可以...
K均值聚类算法（K-Means）
本文介绍了K均值聚类算法（K-Means Clustering Algorithm，以下简称K-Means）相关内容。简介 K-Means算法是一种迭代求解的聚类分析算法。该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚...
算法建模
本文以逻辑回归二分类算法为例，为您介绍如何使用PAI Designer训练模型。前提条件 完成数据可视化，详情请参见 数据可视化。操作步骤 登录 PAI控制台，进入工作流页面。操作详情请参见 step1：进入工作流页面。构建逻辑回归二分类节点并...
CONCAT
将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组，或将多个字符串连接在一起，生成一个新的字符串。命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])参数说明 a、b：必填。ARRAY数组...
smlar
您可以通过在数据库内使用smlar插件来高效计算数据相似度，smlar插件还提供了支持GiST和GIN索引的相似度运算符。简介 smlar是 PolarDB PostgreSQL版（兼容Oracle）的一款开源第三方插件，提供了可以在数据库内高效计算数据相似度的函数，并...
性能数据
密钥管理服务KMS（Key Management Service）根据调用的API不同提供的性能数据不同，性能数据越高费用也越高。本文介绍KMS的具体性能数据。概述 KMS提供了两种API，KMS API和KMS实例API。需要注意的是，KMS API请求配额是针对每个阿里云账号...
smlar
您可以通过在数据库内使用smlar插件来高效计算数据相似度，smlar插件还提供了支持GiST和GIN索引的相似度运算符。注意事项 由于smlar插件的%操作符与RUM插件的%操作符冲突，因此smlar与RUM两个插件无法同时创建在同一个schema中。简介 smlar...
smlar
您可以通过在数据库内使用smlar插件来高效计算数据相似度，smlar插件还提供了支持GiST和GIN索引的相似度运算符。注意事项 由于smlar插件的%操作符与RUM插件的%操作符冲突，因此smlar与RUM两个插件无法同时创建在同一个schema中。简介 smlar...
视频分类训练
本示例中，您需要按照以下流程配置组件：使用两个 读OSS数据 组件分别读取视频数据文件作为训练数据和评估数据，即配置 读OSS数据 组件的 OSS数据路径 参数为视频数据文件的OSS路径。视频数据文件的格式如下图所示。该文件的每一行为一个...
smlar
您可以通过在数据库内使用smlar插件来高效计算数据相似度，smlar插件还提供了支持GiST和GIN索引的相似度运算符。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1....
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
如何解决关于表结构的报错？
本文介绍如何解决DTS实例运行过程中，关于表结构报错的问题。目标库为MySQL 报错：Specified key was too long;max key length is 767 bytes 可能原因：MySQL的InnoDB引擎支持的表索引字段最大长度为767字节。解决方法：对于5.6和5.7版本的...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
JSON类型
根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为 text，但是 JSON 数据类型的优势在于能强制要求每个被存储的值符合 JSON 规则。也有很多 JSON 相关的函数和操作符...
使用DataV可视化应用展示数据返回结果
本文为您介绍如何在DataV中调用DataWorks的数据服务API，并将数据返回结果展示在DataV可视化应用中。前提条件 在开始本案例前，您需要首先完成 准备工作，并已经 生成了数据服务API。背景信息 警告 您必须使用HTTP协议进入DataV控制台，...
GBDT二分类V2
梯度提升决策树(Gradient Boosting Decision Trees)二分类，是经典的基于梯度提升（Gradient Boosting）的有监督学习模型，可以用来解决二分类问题。支持计算资源 支持的计算引擎为MaxCompute。算法简介 梯度提升决策树(Gradient Boosting ...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
GBDT二分类预测V2
GBDT二分类预测V2组件提供了针对GBDT二分类V2组件的预测功能，使用梯度提升决策树(Gradient Boosting Decision Trees)算法，对数据进行二分类问题的预测。本文介绍GBDT二分类预测V2组件的配置方法。支持计算资源 支持的计算引擎为...
源库连接性检查
源数据库服务器设置了防火墙 检测方法 如果安装源数据库的服务器为Windows，那么在控制面板中查找到Windows防火墙，查看是否配置了防火墙。如果安装源数据库的服务器为Linux，那么使用 iptables-L 命令检查服务器是否配置了防火墙。修复...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
PS-SMART二分类训练
如果您在训练过程中，使用相同数据和参数，多次得到的结果不一致，属于正常现象。如果需要加速训练，可以增大 计算核心数。因为PS-SMART算法需要所有服务器获得资源后，才能开始训练，所以集群忙碌时，申请较多资源会增加等待时间。组件...
选型指导
推荐全链路深度定制开发平台PAIREC选型主要包括如下两个部分：一、服务选型 为便于开发者更加便捷地使用服务，将为企业开发者提供3种不同的推荐算法服务。序号 服务类型 说明 目录价 1 标准版服务 推荐引擎配置 服务发布管理 指标注册与...
横向聚类
一、组件说明 横向聚类组件是横向场景下的一种无监督机器学习算法，用于将n个数据点分成k个簇，使得簇内的数据点具有高度相似性。聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系，将相似的数据点划分到同一簇中。适用于...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
基于Alink框架的FM推荐
Alink框架的算法组件支持合并运行，具体的使用方法及优劣势，详情请参见 高级功能：Alink组件成组执行。方式二：使用PyAlink进行FM训练和预测。使用自定义算法PyAlink组件通过Python代码实现和方式一相同的功能。配置 FM训练-1 组件参数。...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
XGBoost预测
XGBoost算法在Boosting算法的基础上进行了扩展和升级，具有较好的易用性和鲁棒性，被广泛用在各种机器学习生产系统和竞赛领域，该算法支持分类和回归。XGBoost预测组件是在开源社区的基础上进行包装，您可以使用该组件对XGBoost训练组件...
IForest异常检测
IForest异常检测使用sub-sampling算法，降低了算法的计算复杂度，可以识别数据中的异常点，在异常检测领域有显著的应用效果。本文为您介绍IForest异常检测的参数配置。组件配置 您可以通过以下任意一种方式，配置IForest异常检测参数。方式...
什么是工业大脑AICS
工业数据建模集成数据处理、统计分析、特征提取、模型训练和模型管理等多项数据智能算法开发服务，开发完成且评估通过的模型还可在控制流程编排中无缝对接使用。产品功能 云边协同能力：支持云和端一体化，在“云”上提供了海量数据处理...
Lasso回归训练
可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 数据 无 读数据表 特征工程 数据预处理 是 模型 Lasso模型（用做增量训练）读数据表（模型数据表）Lasso回归训练 否 组件参数 页签 参数 描述 字段设置 标签...
组件参考：所有组件汇总
分层采样 给定一个分组列，该组件按照这些列的不同值，将输入数据分成不同的组，并在每组中分别进行随机采样。JOIN 该组件将两张表通过关联信息，合成一张表，并确定输出的字段，与SQL的JOIN语句功能类似。合并列 该组件将两张表的数据按列...
- 产品推荐
- 这些文档可能帮助您