查询计划概述
通用物理算子 Lindorm SQL实现了一套通用物理算子供优化器生成物理计划，包括查询中诸如排序、聚合、投影、运算等通用计算行为。以下是查询中常见的物理算子：EnumerableLimit算子 通用LIMIT算子，基于用户指定的OFFSET和LIMIT对结果集数据...
排序优化和执行
MemSort PolarDB-X 中通用的排序实现为MemSort算子，表示在内存中运行快速排序（Quick Sort）算法。如下示例使用了MemSort算子：explain select t1.name from t1 join t2 on t1.id=t2.id order by t1.name,t2.name;返回信息如下：Project...
快速开始
模型中文名 模型英文名 最大token长度 单次请求最大doc数量 单行最大输入字符长度 通用文本排序 text-rerank 4000 500 30000 模型说明：最大token长度:模型处理的单条(Query+Document)的token数量最大长度，超过最大长度的文本会进行截断 ...
优化聚合与排序
MemSort PolarDB-X 1.0 中的通用的排序实现为MemSort算子，即内存中运行快速排序（Quick Sort）算法。下面是一个用到MemSort算子的例子：>explain select t1.name from t1 join t2 on t1.id=t2.id order by t1.name,t2.name;Project(name=...
发展历程
2016年 在CloudSort竞赛中，MaxCompute以$0.82/TB的成绩获得Indy（专用目的排序）和Daytona（通用目的排序）两个子项的世界冠军，打破了AWS（Amazon Web Services）在2014年保持的纪录$4.51/TB。打破全球Sort Benchmark排序竞赛的两项纪录...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
API详情
documents 是["文本排序模型广泛用于搜索引擎和推荐系统中，它们根据文本相关性对候选文本进行排序","量子计算是计算科学的一个前沿领域","预训练语言模型的发展给文本排序模型带来了新的进展"]取值:字符串列表 说明:待排序的候选doc列表 ...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
Hudi
WITH参数 基础参数 通用 参数 说明 数据类型 是否必填 默认值 备注 connector 表类型。String 是 无 固定值为hudi。path 表存储路径。String 是 无 支持阿里云OSS、HDFS和OSS-HDFS和三种路径。OSS：路径格式为 oss:/<bucket>/。HDFS：路径...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
多路召回实战
基于对话式搜索服务配置召回引擎实例 根据以往用户的问题，本文中会举出一些通用的配置方法和排序表达式，用户可以直接使用。整个配置流程分3部分：表结构的设计：此处将介绍对话式搜索服务需要的必选字段，以及这些字段如何在召回引擎版中...
多路召回实战
基于对话式搜索服务配置召回引擎实例 根据以往用户的问题，本文中会举出一些通用的配置方法和排序表达式，用户可以直接使用。整个配置流程分3部分：表结构的设计：此处将介绍对话式搜索服务需要的必选字段，以及这些字段如何在召回引擎版中...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
通用行业/电商行业算法版对比
二者功能差异 功能列表 通用版 行业模板 一站式配置 创建应用后，需要手动创建并配置查询分析、排序策略和下拉提示模型。结合电商行业常见搜索场景，选择所需能力及功能，同时提供应用结构模板和索引结构模板，实现一键式配置，降低新用户...
通用行业/教育行业算法版对比
教育行业算法版介绍 教育行业算法版基于最新算法功能，贴合搜题场景的痛点和需求，提供了教育行业专属的搜题智能语义理解能力、向量召回、排序算法，为在线教育行业搜题业务的搜索性能和效果准确性提供双重保障，并有效的解决了超大题库...
通用行业/游戏行业算法版对比
游戏行业算法版介绍 游戏行业算法版基于最新算法功能，贴合游戏搜索场景的痛点和需求，提供了游戏行业专属的智能语义理解能力、向量召回、排序算法，为游戏行业的搜索性能和效果准确性提供双重保障，并有效的解决了超大词库数据导致的搜索...
通用行业/内容社区行业算法版对比
内容行业算法版介绍 内容行业算法版基于最新算法功能，贴合IT内容搜索场景的痛点和需求，提供了内容行业专属的智能语义理解能力、向量召回、排序算法，为内容行业的搜索性能和效果准确性提供双重保障，并有效的解决了超大词库数据导致的...
内容社区行业
1、功能差异 功能列表 通用版 内容行业增强版 一站式配置 创建应用后，需要手动创建并配置查询分析、排序策略和下拉提示模型。结合内容行业常见搜索场景，选择所需能力及功能，同时提供应用结构模板和索引结构模板，实现一键式配置，降低新...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
计算抵扣包
优先抵扣排序靠前的计费项：按量付费的通用型实例和只读从实例的计算资源。按量付费的通用型实例和只读从实例的计算资源：100CU*H。计算抵扣包具有使用效期。到期后剩余的计算抵扣包容量会自动失效。在计算抵扣包有效期内，每小时从计算...
OpenSearch文档排序实践
排序策略说明 排序策略打分原理 对于排序策略的算分分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序表达式海选出文档得分较高的文档，然后取出TOP N个结果再按照业务排序表达式...
使用MapReduce处理JindoFS上的数据
具体命令如下：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort<in><out>替换输入和输出路径，即可处理JindoFS上的数据：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/...
OpenSearch-行业算法版文档排序实践
排序策略说明 排序策略打分原理 对于排序策略的算分分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序表达式海选出文档得分较高的文档，然后取出TOP N个结果再按照业务排序表达式...
文件存储HDFS版
文件存储 HDFS 版（Apsara File ...适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。
资源包抵扣规则
例如，如果您购买了3个华东1（杭州）地域的通用型NAS资源包，到期时间（按时间先后排序）：A=B>（晚于）C，下单时间（按时间先后排序）：A（早于）>B，则抵扣顺序为：C、A、B。同种类型的资源包的额度全部抵扣完后，若仍有超出部分则自动...
对话排序
对话排序模板可以对对话内容进行分类排序。数据格式示例 说明 CSV 及 XLSX 格式中每一列数据；Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。CSV 及 XLSX 格式...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
MapReduce常见问题
设置字段的排序顺序（这里设置i1为正序排序，i2为逆序排序）。job.setOutputKeySortOrder(new SortOrder[]{ SortOrder.ASC,SortOrder.DESC });setOutputKeySortOrder方法的用法，如下所示。public void setOutputKeySortOrder(JobConf....
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
- 产品推荐
- 这些文档可能帮助您