表格信息抽取
应用场景 支持 列表（List）型表格和键值对（KV）型表格，适用于版式少量变化或可枚举的有线表格，半框表格，无框表格，需要结构化信息抽取的图片或单页PDF文件。模型有持续优化的需求，且有较多的数据样本可用于模型训练进行效果优化的...
LightGBM算法
本文介绍了LightGBM算法相关内容。简介 LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的分布式梯度提升框架。设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据...
部署及微调Mixtral-8x7B MoE模型
from pai.common.oss_utils import upload#查看模型微调算法的使用的输入信息#获取算法的输入数据，包括模型和供测试的公共读数据集.training_inputs=m.get_estimator_inputs()print(training_inputs)#{#"model":"oss:/pai-quickstart-...
PS-SMART回归
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
技术类问题
参数 flipAxis 是个枚举值，Queen-engine内有定义，决定了最终渲染画面是否需要对称翻转，沿x轴还是y轴翻转；上述几个参数，对算法识别特别关键，且又和当前相机角度/前后摄像头密切相关，为方便处理，特地封装与整理到了相关处理工具类 ...
技术类问题
参数 flipAxis 是个枚举值，Queen-engine内有定义，决定了最终渲染画面是否需要对称翻转，沿x轴还是y轴翻转；上述几个参数，对算法识别特别关键，且又和当前相机角度/前后摄像头密切相关，为方便处理，特地封装与整理到了相关处理工具类 ...
美颜特效SDK通用问题
参数 flipAxis 是个枚举值，Queen-engine内有定义，决定了最终渲染画面是否需要对称翻转，沿x轴还是y轴翻转；上述几个参数，对算法识别特别关键，且又和当前相机角度/前后摄像头密切相关，为方便处理，特地封装与整理到了相关处理工具类 ...
通用行业/电商行业算法版对比
电商行业算法版介绍 搜索效果的好坏在电商行业中直接决定着GMV的转化，这也是电商企业不断深耕突破的技术难题。行业算法版根据多年积累的行业经验打造了特有的电商行业垂直解决方案，借助达摩院先进的智能语言处理技术，贴合行业痛点与需求...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
产品简介
隐私求交服务基于隐私求交（Private Set Intersection，简称 PSI）算法，保证了在不泄露多余信息的前提下，满足了数据合作的各参与方获取和分析数据求交结果的需求。隐私求交控制台是面向需要应用隐私求交技术的数据工程师或业务运营人员的...
JOIN优化和执行
当（未下推的）表的数量较多时，采取Zig-Zag（锯齿状）或Left-Deep（左深树）的枚举策略，选出最优的Zig-Zag或Left-Deep执行计划，以减少枚举的次数和代价。PolarDB-X 使用基于代价的优化器（Cost-based Optimizer，CBO）选择出总代价最低...
什么是向量检索服务
超大规模索引构建和检索：引入复合性检索算法，精于工程实现和算法底层优化，低成本实现高效率的检索方法，单片索引可达几十亿的规模。标签+向量检索：在索引算法层实现了“带条件的向量检索”，解决了传统多路归并召回结果不理想的情况，...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
GetLoginDetails-获取登录信息
802001:1656406628862"Signature2 string 签名信息，使用非对称加密算法生成，注册 SIP 服务器时需要使用该信息进行鉴权。zi31STIMtIfa/UN2l+6lww*DeviceExt string SIP 设备分机号，使用 SIP 话机时需要用到该字段。8033*DeviceState ...
维度层（DIM）
维度层简介 建立一致数据分析维表，可以降低数据计算口径和算法不统一风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑和雪花模型，完成属性定义的过程并建立一致的数据...
设置TLS版本
删除了一些不安全的加密算法，增加了更强大的密钥交换算法和加密算法，减少了握手过程的延迟，还提供了更好的前向保密和身份验证机制。对安全性要求较高、希望获得更好性能和隐私保护的场景，如金融机构、大型互联网公司、政府机构等。...
召回定制词权重
OpenSearch-行业算法版提供了丰富的面向特定领域的词权重模型，用户可以基于对应的行业分析器，经过简单的配置训练得到专属的定制词权重模型。整个定制过程无需进行额外的数据对接，词权重模型训练会自动抽取已有数据进行适配。定制召回...
重排配置
配置示例："SortConfs":[{"Name":"","SortType":""}]字段名 类型 是否必填 描述 Name string 是 自定义重排名称，可以在 SortNames 中引用 SortType string 是 排序类型，枚举值 ItemRankScore BoostScoreSort DiversityRuleSort DPPSort ...
DLC MNIST训练最佳实践
算法详情说明，请参见 支持的搜索算法。最大搜索次数 配置为3。表示该实验允许运行的最多Trial个数为3个。最大并发量 配置为2。表示该实验允许并行运行的最多Trial个数为2个。开启earlystop 打开开关。如果一个Trial在评估一组特定的超参数...
创建安全联邦学习任务（任务模式）
枚举值：即直接给出判断结果，支持自定义阈值，可不填。Score：输出预测评分。单击 下一步，配置数据处理参数。参数 描述 算法分类 支持的算法分类为FL决策树、FL线性回归、FL逻辑回归、FL深度学习。FL决策树支持的算法为 XGBoostWithDp:...
查询优化器介绍
查询优化器通过优化逻辑计划从而输出物理计划，其主要阶段包含查询改写和计划枚举。PolarDB-X 1.0 接收到一条SQL后的执行过程大致如下：语法解析器（Parser）将SQL文本解析成抽象语法树（AST）。语法树被转化成基于关系代数的逻辑计划。...
DT-PID V2.1.0
正作用/反作用 误差的正反作用 是（反作用）是、否[7]算法开关 算法开关打开时算法输出，否则控制量输出锁定不变并且是quality=0的坏值 是（打开）是、否[4]手自动开关 自动为PID算法输出，手动为直接调用dcs信号输出 是（自动）是、否[4]...
PAI-REC推荐算法定制的最佳实践文档
阅读指引：为方便用户快捷体验PAI-REC产品，本文提供了一份公开数据集，用户可按照文档说明按步体验PAI-REC推荐算法定制的召回、特征工程、精排等关键功能的配置，生成代码并部署到 DataWorks 相应的业务流程中。1.克隆公开数据集 我们在可...
拒绝推断
算法简介 以信贷场景为例，用评分卡模型对用户的偿还、违约情况进行建模时只用到了被放贷的用户数据，而缺少未得到贷款的用户数据，导致模型对全量数据的风险估计不准确，往往过于乐观。拒绝推断可以解决此类样本偏差问题。算法原理 拒绝...
DLC LoRA训练最佳实践
搜索空间：单击，增加3个枚举值，分别为constant、cosine和polynomial。rank：约束类型：choice。搜索空间：单击，增加3个枚举值，分别为4、32和64。adam_beta1：约束类型：choice。搜索空间：单击，增加2个枚举值，分别为0.9和0.95。adam_...
基础术语
A APK/AAB 包加固（Android）对 APK/AAB 包，整体进行安全保护，提供 APK/AAB 包防反编译保护、DEX 文件整体加壳保护、DEX 文件防篡改保护、防白盒攻击、壳加密算法保护、防调试保护、防内存篡改保护、防 Hook 保护、防模拟器保护、APK/AAB...
技术分析函数
技术分析的函数将广泛使用的算法应用在您的数据中。虽然这些函数主要应用在金融和投资领域，但是它们也适用于其它行业和用例。本文档主要介绍了技术分析函数的语法结构、语法说明以及使用示例。通用参数说明 除了 field key 参数，技术分析...
文档更新动态（2022年）
自定义掩码算法优化，新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。更新说明 项目安全策略 脱敏算法 2022年07月19日 资产质量新增全局角色定义 新增系统管理员、数据源管理员、安全管理员、资产质量负责人等。更新说明 添加、...
使用aliyun-codec插件
背景信息 aliyun-codec插件支持多种压缩算法，同时支持source_reuse_doc_values特性。本文介绍如何使用aliyun-codec插件，包括：使用索引压缩功能 使用source_reuse_doc_values特性 aliyun-codec插件的性能测试信息如下：测试环境 数据集：...
JOIN与子查询的优化和执行
当（未下推的）表的数量较多时，采取Zig-Zag（锯齿状）或Left-Deep（左深树）的枚举策略，选出最优的Zig-Zag或Left-Deep执行计划，以减少枚举的次数和代价。PolarDB-X 1.0 使用基于代价的优化器（Cost-based Optimizer，CBO）选择出总代价...
纠删码
它能通过一定的算法将k个原始数据块计算出m个冗余数据块，只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4，m=2 时，在存储效率上等价于1.5副本，并可以允许最多2个数据块损坏。因此纠删码相比于多副本，可以...
什么是公钥和私钥？
公钥（Public Key）与私钥（Private Key）是通过加密算法得到的一个密钥对（即一个公钥和一个私钥，也就是非对称加密方式）。公钥可对会话进行加密、验证数字签名，只有使用对应的私钥才能解密会话数据，从而保证数据传输的安全性。公钥是...
CreateFlow-创建一个流程
您发起请求的签名与我们计算不一致，请检查您的签名算法及AccessKey Secret。409 FlowAlreadyExists Flow%s already exists.已存在同名流程。415 UnsupportedMediaType The content type must be"application/json".请求消息体类型错误。...
行业算法版介绍
行业算法版简介 快速接入教程 OpenSearch-行业算法版 是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，目前为包括淘宝、天猫在内的阿里集团核心业务提供搜索服务支持。通过内置各行业的查询语义理解、机器...
分解类算法参数调优
本文介绍分解类算法（ostl-esd、istl-esd和istl-nsigma）的参数调优方法。背景信息 分解类算法（ostl-esd、istl-esd和istl-nsigma）适用于周期性数据，常见于QPS类数据，如每天或每周在相对固定的时刻出现峰值或者谷值的数据。在使用分解类...
自主排查IPsec-VPN连接问题
如果对端网关设备在 IKE配置 阶段和 IPsec配置 阶段配置了多种 加密算法、认证算法 或 DH分组，则建议修改对端网关设备的配置，使对端网关设备的 加密算法、认证算法 以及 DH分组 的配置与IPsec连接的配置相同。说明 在阿里云侧配置IPsec...
概述
日志服务机器学习功能为您提供多种功能丰富的算法和便捷的调用方式，您可以在日志查询分析中通过分析语句和机器学习函数调用机器学习算法，分析某一字段或若干字段在一段时间内的特征。针对时序数据分析场景，日志服务提供了丰富的时序分析...
基于回归算法实现农业贷款发放预测
Designer预置了线性回归算法模板，便于您通过农业贷款的历史发放情况，快速实现贷款发放预测。本文为您介绍Designer线性回归算法预置模板的具体使用方法。背景信息 农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过历史贷款数据...
对称加密概述
阿里云支持主流的对称密钥算法并且提供足够的安全强度，保证数据加密的安全性。对称密钥的类型 KMS支持的对称密钥算法类型如下：算法 密钥长度 密钥规格 数据加密模式 保护级别 AES 256比特 Aliyun_AES_256 GCM Software HSM SM4 说明 128...
- 产品推荐
- 这些文档可能帮助您