PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
基于图算法实现金融风控
与常规结构化数据不同，图算法将数据整理为首尾相连的关系图谱，需要考虑边和点。PAI提供了丰富的图算法组件，包括K-Core、最大联通子图及标签传播聚类等。本实验以人物通联关系图（如下图所示）为例，基于图算法实现金融风控。两人之间的...
数据智能概述
算法模板 物联网平台提供算法模板供您使用，您可以查看算法模板的详情信息，如：算法详细介绍、运行算法所需数据、算法产出的数据等。实例管理 您可以在算法实例页面，根据实际业务需求购买算法实例和对已购买的算法实例进行续费和升配。...
数据脱敏
背景信息 数据脱敏是指对某些敏感信息，例如姓名、身份证号码、手机号、固定电话、银行卡号、邮箱等个人信息，通过脱敏算法进行数据变形，以保护敏感隐私数据。概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将...
算法说明
目前智能巡检使用流式图算法、流式分解算法进行数据巡检。本文介绍流式图算法、流式分解算法的适用场景、参数配置、预览说明等内容。流式图算法 流式图算法基于Time2Graph系列模型中的原理进行研发，可对数据进行整体降噪，分析异常数据...
人群预测
选择要保存的受众ID类型，可以保存算法模型使用的行为数据集的用户标识，也可以保存行为数据集或预测任务的人群来源受众的其他ID类型，请选择便于后续营销的ID类型。若某个用户无该ID类型数据，则不能被保存到生成的受众。输入受众名称和...
哈希分片全链路测试
算法对比：对每个数据集，通过执行不同算法（Graph、HC、Linear），得到Proxima CE结果和C++ baseline的结果，对比各自的召回率，此处设置的TopK为100。Proxima CE的recall是通过从query表中采样100条query数据做的召回，主要是与Linear...
商品推荐任务
选择要保存的受众ID类型，可以保存算法模型使用的行为数据集的用户标识，也可以保存行为数据集或预测任务的人群来源受众的其他ID类型，请选择便于后续营销的ID类型。若某个用户无该ID类型数据，则不能被保存到生成的受众。输入受众名称和...
引用物理表质量规则
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
引用物理表质量规则
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
加密与签名数据的格式
加密上下文 加密上下文数据，作为对称加密算法的额外认证数据。头部认证初始向量 计算头部认证信息的初始向量值，为随机数。头部认证信息 通过GMAC计算头部认证信息，校验失败时返回加密消息格式异常。消息体 初始向量 初始化向量IV...
创建安全联邦学习任务（任务模式）
场景描述 A有一张数据表demo_fl_alice_train_original用于记录人群属性（学历、工作经历等），标签是income；B有一张数据表demo_fl_bob_train_original用于记录人群属性（关系、民族等）。需求是 A想联合B数据，使用XGB，进行联合建模。可...
数据安全
在IPsec-VPN连接传输数据的过程中，将使用AES、DES等算法加密数据，使用SHA、MD5等哈希函数进行身份认证，使用DH分组进行密钥交换。您在创建IPsec连接时可以指定加密算法、认证算法和DH分组，关于IPsec-VPN连接具体支持的加密算法、认证...
限制说明
数据过期策略 和开源 Memcached 策略一致，采用 LRU 算法过期数据，但已过期数据不会被立即删除回收空间，回收空间操作由后台程序定期执行。连接处理 云数据库 Memcache 版服务端不会主动关闭空闲的客户端连接。数据过期 Key 过期时间建议...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
CREATE TABLE
支持多种表属性，例如数据有效期TTL、压缩算法COMPRESSION等。您可以灵活搭配各种表属性和数据类型，设计出更贴合业务场景的表。引擎与版本 CREATE TABLE适用于宽表引擎和时序引擎。时序引擎自3.4.32版本开始支持标准CREATE TABLE语法。...
名词解释
算法（AlgoLib）平台内置或者用户自建的算法库信息。算法能力集（Capability）算法输出结构化数据的能力，如行人、非机动车等。资源配置参数（ResourceProfile）资源配置参数指定了计算工作组运行依赖的各项系统默认配置参数。视频流...
新建洞察分析
洞察分析可自动通过一系列AI算法对数据内容进行洞察分析，自动生成分析结论。本文介绍如何新建洞察分析。前提条件 已完成新建数据集。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 洞察。在顶部菜单栏，选择 洞察分析...
调整实例WRITESET相关参数
开启 WRITESET 后，将使用此算法计算出的数据行哈希值，判断事务之间是否修改了相同的数据行。默认值：XXHASH64 可选值及含义：OFF：不计算数据行的哈希值，要求 WRITESET 处于关闭状态。XXHASH64：使用64位的 Hash 算法计算数据行的哈希值...
操作流程
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求。具体操作，请参见 引用物理表质量规则。订阅物理表的质量预警 对物理表最新的质量规则运行结果进行预警订阅，您可以便捷地获取到物理表质量的异常等...
操作流程
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求。具体操作，请参见 引用物理表质量规则。订阅物理表的质量预警 对物理表最新的质量规则运行结果进行预警订阅，您可以便捷地获取到物理表质量的异常等...
索引重建导数原理
不同操作触发的索引重建，根据用户配置的数据源的不同，其导入数据的来源以及继承老版本数据的方式也大有区别，为防止用户因误操作导致的部分数据无法同步引起的线上问题，在此进行详细说明。说明 触发索引重建的操作：手动/定时索引重建、...
访问列存数据
低成本 通过列格式高压缩比算法、高密度低成本介质、冷热分离、多压缩编码和数据冷归档等技术，Lindorm列存相比自建系统存储成本显著降低，满足海量数据归档留存等低成本存储需求。高可用 通过纠删码等技术，Lindorm列存保证了分布式数据集...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
兼容PostgreSQL 14版本公测结束，正式版上线
支持LZ4压缩算法 PostgreSQL 14版本支持用户选择LZ4算法进行数据列压缩的能力，提高压缩性能，同时仍保留对原来pglz压缩方式的支持。安全特性增强 PostgreSQL 14版本可以通过使用 pg_read_all_data 和 pg_write_all_data 两个预定义的角色...
数据模型
插值（Interpolation）时间线中间缺失部分数据点时，可通过插值算法进行数据点自动填充。数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
Teradata应用迁移至AnalyticDB PostgreSQL
本指南在将TD数仓应用迁移至 AnalyticDB PostgreSQL 云化数仓过程中，秉承充分复用旧系统架构、ETL算法、数据结构和工具的原则，需对原加工脚本进行转换，另外，需对历史数据进行迁移，并保证数据的准确性，完整性。对数据仓库基础数据平台...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
Cassandra数据建模
分布式层面主要依靠一致性Hash算法把数据分布在整个集群中，单机主要实现了基于LSM-Tree的引擎。集群中的每个节点将整个Hash范围均匀地分担，每个节点即当做proxy节点，接受client的请求，也负责集群的Primary key range的数据。依赖集群的...
概览
访问控制 仅允许查看和访问已被授权的数据库、实例，减小不必要的数据接触。自定义申请权限的审批流程 自定义配置不同权限的审批流程。数据开发解决方案 DMS提供强大的内核功能，助您轻松实现数据开发、分析、挖掘、可视化等需求。功能项 ...
管理数据源权限
注意事项 若要对数据源下某张表进行数据输出与写入控制。您可以选择使用审批中心自定义数据集成审批策略功能。审批中心支持管理员按源端、目的端数据源的组合来定义需要被审批的数据集成任务。详情请参见 数据集成审批策略。进入数据源管理...
数据查询与分析管控
该功能仅对数据源查询权限进行管控，若要对数据源的读写操作进行权限管控，请参考 数据集成任务审批流程。数据源查询结果的操作权限管控 DataWorks支持对查询结果进行展示、复制、下载、分享等操作，并设置数据分析模块中针对该类操作的...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
规格计算器
向量数据情况：向量数据条数：用户要写入引擎向量数据doc数。向量维度：用户写入引擎的向量维度。向量算法：可根据需求进行选择，目前支持三种算法：HNSW：基于图的向量检索算法，召回率极高且性能很好，内存及存储占用与Linear相当，在低...
Designer使用案例汇总
基于组件化EasyRec框架快速搭建深度推荐算法模型 组件化EasyRec框架可以帮助你以“搭积木”的方式快速构建想要的模型结构。使用ALS算法实现音乐评分预测（旧版）介绍如何使用ALS矩阵分解算法预测用户对音乐的评分。智能风控解决方案 案例...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
逻辑库
背景信息 分库分表场景下，业务数据按照路由算法分散到多个物理库的若干张表中，通常存在以下问题：对数据进行查询、分析比较困难，通常需要遍历查询所有的表才能找到想要的数据。在分库分表中，增加、减少一个字段的工作量很大。DMS提供的...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
机器学习开发示例
数据展示，打印schema%pyspark data.show(5)data.printSchema()数据打印 步骤三：准备ML算法数据 说明 在监督学习（例如回归算法）中，通常需要定义标签(lable)和一组要素(features)。在此线性回归示例中，标签为2015年中位数销售价格...
- 产品推荐
- 这些文档可能帮助您