排序策略配置
搜索引擎对于检索性能要求比较高，为此，系统开放了两阶段排序过程：基础排序 和 业务排序，即粗排和精排。基础排序即是海选，从检索结果中快速找到质量高的文档，取出TOP N个结果再按照精排进行精细算分，最终返回最优的结果给用户。...
排序策略配置
搜索引擎对于检索性能要求比较高，为此，系统开放了两阶段排序过程：基础排序 和 业务排序，即粗排和精排。基础排序即是海选，从检索结果中快速找到质量高的文档，取出TOP N个结果再按照精排进行精细算分，最终返回最优的结果给用户。...
性能优化
本文介绍优化图数据库GDB性能的方法，帮助您快速定位图数据库GDB的性能问题，提升查询效率。设置查询范围 图数据库GDB的查询分析引擎程序能够根据数据输入提供适合需求的查询方式。当查询数据量大时，您可以指定查找数据的范围（特定的...
时空数据库版本发布记录
Raster SQL 增强 ST_MosaicFrom 函数，支持按照gamma矫正方法实现匀色。增强 ST_ImportFrom 函数，支持指定chunk_table所在的schema。SfMesh SQL 增强 ST_AsGltf 和 ST_AsGlb 函数。支持将userdata信息导入到glTF或GLB结构中node的extras...
时空数据库版本发布记录
Raster SQL 增强 ST_MosaicFrom 函数，支持按照gamma矫正方法实现匀色。增强 ST_ImportFrom 函数，支持指定chunk_table所在的schema。SfMesh SQL 增强 ST_AsGltf 和 ST_AsGlb 函数。支持将userdata信息导入到glTF或GLB结构中node的extras...
时空引擎版本发布记录
Raster SQL 增强 ST_MosaicFrom 函数，支持按照gamma矫正方法实现匀色。增强 ST_ImportFrom 函数，支持指定chunk_table所在的schema。Bug修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_...
功能概览
权重配置 权重配置实现加权轮询效果，也就是指将解析流量按照权重进行分配，在DNS查询请求时，IP地址按照预先设置的权重进行返回。您可以参阅 权重配置 操作文档。请求量统计 云解析DNS为客户提供域名或子域名的解析请求量数据汇总和报表...
创建多元索引
PrimaryKeySort表示按照主键排序，包含如下设置：order：排序的顺序，可按升序或者降序排序，默认为升序（SortOrder.ASC）。FieldSort表示按照字段值排序，包含如下设置：只有建立索引且开启排序与统计聚合功能的字段才能进行预排序。...
INSERT INTO
本文介绍如何用INSERT INTO 语句向 云数据库 ClickHouse 数据表中插入数据。基本语法 INSERT INTO 语句基本格式如下：INSERT INTO[db.]table[(c1,c2,c3)]VALUES(v11,v12,v13),(v21,v22,v23),.对于存在于表结构中但不存在于插入列表中的列，...
K近邻
暴力搜索：使用蛮力搜索，即或相当于KNN算法，需遍历所有样本数据与目标数据的距离，进而按升序排序从而选取最近的K个值，采用投票得出结果 否 自动 球树 KD树 暴力搜索 自动 测试集比例 测试模型的数据占总输入数据的比例，用于计算模型的...
视频个性化推荐（协同过滤）
本案例将 以视频社交平台的'猜你喜欢'和'详情页相关推荐'为例，通过推荐算法为用户呈现最符合其兴趣的视频内容为背景，为您介绍在DataWorks中如何使用阿里云PAI的协同过滤算法 挖掘深层次的数据关联性，实现视频的个性化推荐。背景信息 ...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
如何创建自定义PPT应用
本教程主要以数据集为数据源，用分析模式来实现可交互的可视化应用。视频链接 DataV小课堂直播视频：数据源管理-自定义PPT应用。可视化应用直播案例功能说明 在可视化应用中，需要通过键盘的↑和↓方向键来控制 柱状图 的数据钻取、地图...
数据拆分
数据拆分可以通过随机抽样或按照一定比例划分的方法进行。常用的数据拆分比例是将数据集按照 80%训练集和 20%测试集的比例进行拆分。组件截图 二、参数说明 参数名称 参数说明 拆分比例 选择数据集1的比例，剩余部分为数据集2。比例取值为...
支持向量机
支持向量机（SVM）是在分类分析中分析数据的监督式学习模型与相关的学习算法，也被拓展运用于回归问题。支持向量机在高维度或无穷维度空间中，构建一个超平面或者一系列的超平面，可以用于分类、回归或者别的任务。直观地看，借助超平面去...
读写分离
本文介绍了读写分离类的Hint语法。本文适用于 PolarDB-X 1.0 5.3及以上版本。...PolarDB-X 1.0 针对/*+TDDL:slave()*/自定义HINT，会从只读实例中按照权重随机选取一个下发SQL语句执行。若只读实例不存在时，不会报错，而是选取主实例执行。
排序、去重、采样、数据变换
您可以对DataFrame对象执行排序、去重、采样、数据变换操作。前提条件 您需要提前完成以下步骤，用于操作本文中的示例：准备示例表 pyodps_iris，详情请参见 Dataframe数据处理。创建DataFrame。from odps.df import DataFrame iris=...
通过SDK使用多元索引
多元索引按照数据表主键进行预排序且数据永不过期。private static void createSearchIndex(SyncClient client){ CreateSearchIndexRequest request=new CreateSearchIndexRequest();设置数据表名称。request.setTableName("<TABLE_NAME>")...
排序数据集
本文为您介绍如何对数据集进行排序。您可以根据名称、创建时间和修改时间这三种排序方式，对数据集进行排序。操作步骤 登录 DataV控制台。...在排序方式下拉列表中，选择您想要的排序方式，即可将已添加的数据集按照要求进行排序。
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
全文检索
全文检索（Full Text Search）指数据库将自然语言文本转换为可被查询数据的能力。云原生数据仓库AnalyticDB PostgreSQL版 使用PostgreSQL内核，提供完善的全文检索功能。本文介绍 AnalyticDB PostgreSQL版 如何实现“一站式全文检索”业务...
排序和翻页
使用场景 分类 使用方式 功能 使用场景 排序 创建时指定排序方式 IndexSort（索引预排序）多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，用于确定数据的默认返回顺序。查询时指定排序方式 ScoreSort（分数排序）按照查询...
开通并配置数据库代理服务
MyBase MySQL提供数据库代理服务，支持读写分离，本文介绍配置方法。前提条件 实例为主实例。已创建只读实例。具体操作，请参见 创建只读实例（MySQL）。费用说明 请参见 数据库代理费用。操作步骤 步骤一：开启数据库代理服务 登录 云数据...
评分卡训练
例如指定某个bin所对应的分数为固定值，两个bin的分数满足一定比例，对bin之间的分数进行大小限制，或设置bin的分数按照bin的WOE值排序等。约束的实现依赖于底层带约束的优化算法，可以在分箱组件中通过可视化方式设置约束，设置完成后分箱...
搜索增强
对OSS文件数据源,离线数据处理流程会自动对离线数据进行文本chunk分析，必须针对标题或者内容字段勾选文本快切分功能才能触发离线文本分析流程 对数据库数据源，数据库中保存用户已处理数据，这里文本块切分chunk功能可以不勾选 分析器 在...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
深度解析PolarDB数据库并行查询技术
显然并行IO是一个简单易行的方法，如果多个线程可以同时发起IO，每个线程只读取部分数据，这样就可以快速的将数据读到数据库的缓冲区中。并行读取数据的示意图如上所示，每个worker代表一个线程，如果数据已经有partition分区，可以每个...
推荐解决方案综述
获得足够的User和Item数据后，您可以通过协同过滤etrec算法或矩阵分解算法计算得到Item-Item数据，详情请参见 组件配置 或 使用ALS算法实现音乐评分预测（旧版）。说明 etrec算法中可以设置权重 weight。例如，对点击、收藏及购买设置不同...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
高效向量检索（PASE）
本文介绍RDS PostgreSQL如何通过PASE插件（基于IVFFlat或HNSW算法）实现高效向量检索。说明 PASE插件已不再维护，建议您使用 高维向量相似度搜索（pgvector）插件。前提条件 实例为RDS PostgreSQL 11或以上版本。背景信息 近年来，深度学习...
高维向量检索（PASE）
本文介绍 PolarDB PostgreSQL版 如何通过PASE插件（基于IVFFlat或HNSW算法）实现高维向量检索。背景信息 近年来，深度学习领域内的表示学习技术，作为人工智能的代表性技术，取得了长足性进展，在工业界中已经被大量应用，例如广告投放、...
高维向量检索（PASE）
本文介绍 PolarDB PostgreSQL版（兼容Oracle）如何通过PASE插件（基于IVFFlat或HNSW算法）实现高维向量检索。背景信息 近年来，深度学习领域内的表示学习技术，作为人工智能的代表性技术，取得了长足性进展，在工业界中已经被大量应用，...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
组件参考：所有组件汇总
条件随机场 条件随机场CRF（conditional random field）是给定一组输入随机变量条件下，另一组输出随机变量条件的概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。文章相似度 文章相似度是在字符串相似度的基础上，基于词，...
数据倾斜调优
本文为您介绍使用MaxCompute过程中常见的数据倾斜场景以及对应的解决方案。MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题...
产品功能
模型训练 运行自动机器学习 GDB Automl提供运行自动机器学习功能，您可以配置实验基本参数（包括训练数据帧、验证数据帧和目标特征列，用于排行榜对模型排序的第一指标等）和训练参数（例如K折交叉验证折数，指定训练权重列、排序指标、...
排序和翻页
使用场景 分类 使用方式 功能 使用场景 排序 创建时指定排序方式 IndexSort（索引预排序）多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，用于确定数据的默认返回顺序。查询时指定排序方式 ScoreSort（分数排序）按照查询...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
Datagen
rows-per-second 生成随机数据的速率。Long 否 10000（条/秒）无。number-of-rows 生成数据的总条数。Long 否 无 默认生成的是无界数据源表。如果任意字段生成器类型为序列生成器，则当某一字段的序列全部生成后，Source结束，生成有界表。...
列存表使用排序键和粗糙集索引加速查询
数据按照l_shipdate排序。创建表时定义排序键 样例 create table test(date text,time text,open float,high float,low float,volume int)with(APPENDONLY=true,ORIENTATION=column)ORDER BY(volume);语法 CREATE[[GLOBAL|LOCAL]{TEMPORARY...
- 产品推荐
- 这些文档可能帮助您