Python内置资源包
Dataphin无法对用户做鉴权，可以绕开Dataphin的权限体系。无法查询使用逻辑表。PyHive和 PyOdps语法使用范围 支持查询物理表。支持查询逻辑表。支持调用系统Function和UDF。支持空间变量名称替换，${project_name} 或${LD_name} 替换为真实...
文档更新动态（2022年）
更新说明 什么是Dataphin 添加派生指标和衍生指标 新建注册上挂标签 2022年07月19日 增加回收站功能 可以将删除的数据处理任务还原。新增说明 管理回收站的资源对象 2022年07月19日 实时研发新增支持Ververcia Flink引擎 支持Flink SQL流批...
支持向量机
直观地看，借助超平面去实现一个好的分割，能在任意类别中使最为接近的训练数据点具有最大的间隔距离（即所谓的函数余量），这样做是因为通常更大的余量能有更低的分类器泛化误差。计算逻辑原理 支持向量机分类：就是找到一个平面，让两个...
安全联邦学习-工作流FL
一、什么是安全联邦学习-工作流模式 功能介绍：通过工作流的模式，在原始数据不出域的前提下，通过交换各个参与方的算法训练的中间结果梯度、参数信息，或完全在密文条件下进行计算，从而发挥参与多方数据样本更丰富、更全面的优势，得出更...
热搜和底纹
目前的算法模型只依赖搜索日志，按照一定算法做统计，暂不支持设定其他训练目标，因此仅需创建模型一次。系统接收到模型创建请求后，会立刻开始训练模型。一旦创建模型成功，系统会每天自动重新训练模型，不再需要人为干预。热搜/底纹模型...
OpenSearch产品选型
扩展支撑千亿级数据规模，查询毫秒级响应，数据毫秒级更新 内置多种向量检索算法，支持标签、文本倒排索引与向量索引混合检索 支持丰富的SQL自定义函数、引擎插件、算法模型，可以灵活定制业务处理逻辑 可使用标准化SQL开发语言和IDE，降低...
向量介绍
那么什么是向量，又如何通过向量检索呢？将物理世界产生的非结构化数据，转化为结构化的多维向量，用这些向量标识实体和实体间的关系。再计算向量之间距离，通常情况下，距离越近、相似度越高，召回相似度最高的TOP结果，完成检索。向量...
Dataphin新手引导
创建维度逻辑表 维度逻辑表是一个业务对象的具体明细表实现，包含普通维度逻辑表、层级维度逻辑表、枚举维度逻辑表和虚拟维度逻辑表四种类型。如何创建，请参见 创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建枚举维度逻辑表、...
工况识别-训练
计算逻辑原理 使用聚类、降维等无监督学习方法对工业数据进行分析，对不同工况数据分别建模。参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 用于建立训练模型的特征变量。是 整数或浮点数（说明：...
AddLogicTableRouteConfig-逻辑表中配置路由算法
为逻辑表添加路由算法配置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层...
快速创建TPP场景
您可以在自定义参数中指定参数，参数如下：参数 说明_sid_指定方案ID，读取方案默认配置，执行方案代码 abid 指定abId，读取ab实验配置，执行ab实验关联的方案代码 不指定方案ID和abId，会按照用户定义的分流逻辑命中ab实验，并执行对应的...
纠删码
单击 集群存储详情，在EC文件逻辑数据区域查看EC数据写入情况。FAQ Q1：为什么无法成功写入EC格式的数据？A1：请逐一检查以下内容：版本是否符合要求 节点数量是否符合要求 是否触发了 major compaction 如果以上均无问题，请联系Lindorm...
配置消费者鉴权
即 claims.setClaim("uid","11215ac069234abcb8944232b79ae711")，该消费者标识为创建消费者时控制台默认生成，也可以根据自身逻辑进行修改。您也可以在创建消费者后，在消费者基础配置页获取消费者标识。设置加密算法。即 jws....
操作流程
通过操作流程图及说明，您可以直观且全局了解自定义函数和数据基础库的操作流程。本文介绍自定义函数和数据基础库的操作流程。自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用...
操作流程
通过操作流程图及说明，您可以直观且全局了解自定义函数和数据基础库的操作流程。本文介绍自定义函数和数据基础库的操作流程。自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用...
基本概念
本文介绍数据资源平台的基本概念。任务实例说明 任务（Task）：数据处理作业单元，任务定义了...数据API：API的源头为数据表，可以是单表也可以是多表，请求后最终以类SQL的形式到数据库查询并返回符合条件的数据，将数据组装成报文格式返回。
添加限流规则
限流后置操作 限流后操作 配置限流后进行的后续操作，可选值：空配置：限流后不做任何处理，返回空值。抛出异常：限流后返回异常信息。异常信息为填写的输入框内容。仅当 限流类型 为 接口方法 时，支持配置。跳转到指定页面：限流后跳转到...
如何通过图算法能力获取OneID高质量人
（一）背景 对于几乎所有的互联网企业，对于识别、追踪用户身份都有强烈的需求，精准识别用户身份后，就可以收集用户个性化的行为、身份数据，比如用户浏览了什么商品，看了什么视频，去了哪个餐厅等等，从而可以对搜索，广告，推荐等等...
JOIN优化和执行
基本概念 JOIN是SQL查询中常见的操作，逻辑上说，它的语义等价于将两张表做笛卡尔积，然后根据过滤条件保留满足条件的数据。JOIN多数情况下是依赖等值条件做的JOIN，即Equi-Join，用来根据某个特定列的值连接两张表的数据。子查询是指嵌套...
什么是Deepytorch Training（训练加速）
针对PCIe互连拓扑的通信优化，可以采用基于流水线的PS（Parameters Server：参数服务器）模式梯度规约算法CPU-Reduce来降低通信耗时，该算法按照GPU到CPU再到GPU的顺序构建流水线，将梯度规约的计算分散到多个设备上运行，来减少通信瓶颈。...
为自定义域名配置JWT认证鉴权
签名算法 alg取值 RSASSA-PKCS1-V1_5 RS256，RS384，RS512 RSASSA-PSS PS256，PS384，PS512 Elliptic Curve(ECDSA)ES256，ES384，ES512 HMAC HS256，HS384，HS512 EdDSA EdDSA 重要 HMAC签名算法为对称加密，安全性相对较低，建议使用安全...
DeleteLogicTableRouteConfig-删除逻辑表路由算法
删除逻辑表路由算法配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例...
美颜特效SDK通用问题
SDK内置了智能自动检测当前画面最佳输入参数的算法，通过如下两个步骤，可以开启查看当前所预期需要的输入参数。创建engine时，指定算法输入模式为自动模式。config.algInputMode=AlgInputMode.kModeAutomatic;开启debugLog模式，即engine...
应用场景
高效免运维：AI工程师可以专注于算法模型的训练和业务逻辑的开发，将集群的运维交予函数计算处理，提高工作效率。弹性高可用：根据请求量进行毫秒级弹性扩容，快速调动上万核的计算资源，计算力不再是瓶颈。稳定高可靠：提供多版本功能，...
应用场景
高效免运维：AI工程师可以专注于算法模型的训练和业务逻辑的开发，将集群的运维交予函数计算处理，提高工作效率。弹性高可用：根据请求量进行毫秒级弹性扩容，快速调动上万核的计算资源，计算力不再是瓶颈。稳定高可靠：提供多版本功能，...
消息堆积和延迟问题
消费逻辑中的复杂耗时的操作是否可以做异步化处理，如果可以是否会造成逻辑错乱（消费完成但异步操作未完成）。设置消息的消费并发度 逐步调大线程的单个节点的线程数，并观测节点的系统指标，得到单个节点最优的消费线程数和消息吞吐量。...
ListLogicTableRouteConfig-获取逻辑表的路由算法列表
获取逻辑表的路由算法配置列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 ...
K均值聚类算法（K-Means）
本文介绍了K均值聚类算法（K-Means Clustering Algorithm，以下简称K-Means）相关内容。简介 K-Means算法是一种迭代求解的聚类分析算法。该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚...
异常检测
功能说明“异常检测”功能通过人工智能算法，可以识别您在云上消费费用的波动异常。同时，您还可对检测的结果进行评估反馈，从而辅助训练检测算法，提升算法检测的准确率。操作说明 登录“用户中心”，进入“成本管理-异常检测”，可以查看...
基于外卖评论实现舆情风控
然后将训练集通过逻辑回归算法，训练生成二分类模型，该模型可以判断评论的正反导向。⑤ 通过混淆矩阵算法，验证模型的实际效果。运行工作流并查看输出结果。单击画布上方的 运行。工作流运行结束后，右键单击画布中的 混淆矩阵，在快捷...
梯度提升决策树算法（GBDT）
同时，GBDT算法相比于其它算法需要更少的特征工程，可以不用做特征标准化，也不必关心特征之间是否相互依赖，能很好的处理字段缺失的数据，健壮性好。使用场景 GBDT通常被应用在二分类、多分类以及排序等场景。例如，在个性化商品推荐场景...
如何设置初始化时间窗口数量？
日志异常分析算法从创建任务时开始运行，其中算法模型需要经过一段时间的初始化训练后才能进行异常检测。您需要通过时间窗口数量和时间窗口长度指定合适的初始化时间。合适的初始化时间，可以使算法模式在初始化阶段分析到大多数的日志类别...
新建普通维度逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将 来源字段 拖入计算逻辑中，您也可以单击 同名字...
新建普通维度逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将 来源字段 拖入计算逻辑中，您也可以单击 同名字...
新建事实逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将来源字段拖入计算逻辑中。您也可以单击 同名字段...
新建事实逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将来源字段拖入计算逻辑中。您也可以单击 同名字段...
选型介绍
算法配置版：建议想要补全或增强推荐算法能力，希望可以便捷快速的接入算法来使用，并且有专门的算法同学来做效果调优、或希望有更大的调优空间的客户使用。算法运营版可以支持对算法进行个性化定制。冷启动版 新用户冷启动版是AIRec智能...
负载均衡
负载均衡算法 SOFARPC 目前支持以下五种算法：类型 名称 描述 random 随机算法 默认负载均衡算法。localPref 本地优先算法 优先发现是否本机发布了该服务，如果没有再采用随机算法。roundRobin 轮询算法 方法级别的轮询，各个方法间各自...
- 产品推荐
- 这些文档可能帮助您