功能更新动态（2023年）
FTP输入组件支持通过指定来源文件中的起始字符和结束字符的位置来添加需输出的字段。SQL Server输入组件支持Hint语法。OSS输入与输出组件功能优化，支持读取Excel文件及支持配置文件前缀冲突处理策略等。通过单条管道创建集成任务 配置OSS...
值表达式
一个聚集函数将多个输入减少到一个单一输出值，例如对输入的求和或平均。一个聚集表达式的语法是下列之一：aggregate_name(expression[,.][order_by_clause])[FILTER(WHERE filter_clause)]aggregate_name(ALL expression[,.][order_by_...
使用FM-Embedding实现推荐召回
其中 维度（默认值为 1,1,10）的第三个参数（默认值中的 10）表示生成的Embedding维度。③ 生成User特征编码。该组件的输入（选择二值化列）为 userid、gender 及 age，附加列 为 userid。④ 生成Item特征编码。该组件的输入（选择二值化列...
MapReduce常见问题
Label是给不同的输出处打上的一个标签，当输出的时候可以识别是从哪里输出的。MapReduce中是否可以只有Map？可以，MapReduce支持Map-Only。如果是Map-Only作业，需要显式指定Reducer数量为0，即 job.setNumReduceTasks(0)。Mapper中输入表...
产品简介
500个字符 简历抽取 基于阿里内部海量已标注数据训练的模型和规则引擎，实现高准确率的中英文简历抽取等27个中文常见字段和10个英文常见字段。若有其他自定义字段，可自行补充标注数据，定制训练。招中标信息抽取 智能化完成招标文件解析，...
排序插件开发-Cava语言
Cava脚本单文件大小限制为10K，单个Cava排序策略最多可以创建5个脚本文件，单个应用实例最多支持50个Cava排序策略；Cava脚本发布后不可编辑，如需修改可在策略管理页复制创建Cava脚本类排序策略；SDK中配置的Cava脚本必须是已发布的，未...
排序插件开发-Cava语言
Cava脚本单文件大小限制为10K，单个Cava排序策略最多可以创建5个脚本文件，单个应用实例最多支持50个Cava排序策略；Cava脚本发布后不可编辑，如需修改可在策略管理页复制创建Cava脚本类排序策略；SDK中配置的Cava脚本必须是已发布的，未...
LLM-特殊字符占比过滤（MaxCompute）
LLM-特殊字符占比过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据特殊字符占比过滤样本，保留特殊字符个数占文本总长度比例在指定范围内的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 遍历文本中的每个字符，并统计...
向量检索
如果需要根据距离降序排序，或在使用向量索引后，再根据其他列排序输出，请将向量查询作为子查询，在父查询中添加需要的 ORDER BY 语句。在使用向量索引时，ORDER BY语句必须包含、或等操作符，否则不能有效使用向量索引的加速能力。同时、...
CREATE TYPE
一般而言，这些函数需要使用C语言或其他低级语言编写，因为他们必须能够在底层与数据库系统紧密配合，以处理数据类型的输入、输出、接收、发送和分析等操作。这些函数的编写和注册是创建新基础类型过程中最为技术性的部分，他们确保了新...
CREATE TYPE
一般而言，这些函数需要使用C语言或其他低级语言编写，因为他们必须能够在底层与数据库系统紧密配合，以处理数据类型的输入、输出、接收、发送和分析等操作。这些函数的编写和注册是创建新基础类型过程中最为技术性的部分，他们确保了新...
SELECT
RECURSIVE 的另一个效果是 WITH 查询不需要被排序：一个查询可以引用另一个在列表中比它靠后的查询（循环引用或者互递归没有实现）。如果没有 RECURSIVE，WITH 查询只能引用在 WITH 列表中位置更前面的兄弟 WITH 查询。当 WITH 子句中有多...
概述
行为 和 输入输出 是所有算子都有的属性，描述了算子可以做什么及相应的接口。对于不可解释算子（如图像识别），仅需定义行为和输入输出即可；对于可解释算子（如算术运算、条件判断等），则需要定义 表达式 以及表达式之间的 关系。数据...
Python 3 UDTF
arg_type_list 还支持星号（*）或为空（''）：当 arg_type_list 为星号（*）时，表示输入参数为任意个数。当 arg_type_list 为空（''）时，表示无输入参数。说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的...
计算成本控制
对输入表列裁剪 对于列数特别多的输入表，Map阶段处理只需要其中的某几列，可以通过在添加输入表时明确指定输入的列，减少输入量。例如只需要c1，c2列，可以参考如下设置。InputUtils.addTable(TableInfo.builder().tableName("wc_in")....
Python 2 UDTF
arg_type_list 还支持星号（*）或为空（''）：当 arg_type_list 为星号（*）时，表示输入参数为任意个数。当 arg_type_list 为空（''）时，表示无输入参数。说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的...
创建自定义组件
管道及参数配置与Designer组件界面化参数对应关系如下图所示：具体参数配置说明如下：参数 描述 输入 自定义组件通过输入管道获取输入数据或finetune的模型，支持配置以下参数：输入名称：参照界面提示配置输入管道名称。输入来源：指定...
使用EXPLAIN
本数据库为每个收到查询产生一个 查询计划。选择正确的计划来匹配查询结构和数据的属性对于好的性能来说绝对是最关键的，因此系统包含了一个复杂的 规划器 来尝试选择好的计划。你可以使用EXPLAIN命令察看规划器为任何查询生成的查询计划。...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
Python 2 UDAF
arg_type_list 还支持星号（*）或为空（''）：当 arg_type_list 为星号（*）时，表示输入参数为任意个数。当 arg_type_list 为空（''）时，表示无输入参数。type：表示返回值的数据类型。UDAF只返回一列。支持的数据类型为：BIGINT、STRING...
管控台概览
集成全自研多语言query分析能力（分词、NER、纠错、改写、分类等），多模型结构的预训练向量表示能力（encoder-only、decoder-only），混合召回和多因子排序能力（文本匹配、深度语义匹配）等，相对比纯向量检索，提升为行业领先搜索效果。...
控制台操作指南
关联输入源后，参考下表需完成对输入源自动进行抠像处理设置，且一个直播间支持多个抠像输入源。设置项 描述 输入源 在下拉框选择对应输入源。人像类型 支持全身人像和半身人像两种类型。抠像色域 支持自动识别绿幕背景、蓝幕背景、自然...
数据加工
说明 最多可添加10个需要转置的列。转置效果。转置前 转置后 查看数据详情。支持查看 数据探查、数据详情 和 字段列表。关联 将两张表关联为一张宽表，并进行需要的数据处理，关联的数据在列上扩展。从左侧的节点操作区，拖拽 关联 至画布...
UDT示例
SELECT new Integer[10],-创建一个包含10个元素的数组。new Integer[]{c1,c2,c3},-通过初始化列表创建一个长度为3的数组。new Integer[][]{ new Integer[]{c1,c2},new Integer[]{c3,c4} },-创建多维数组。new Integer[]{c1,c2,c3}[2],-通过...
配置算法实例
实例名称支持中文字符、英文字母、数字和下划线（_），不能以数字、下划线开头，长度不超过30个字符，1个中文字符占2个字符位。单击 确定。配置算法实例 您可根据算法模板配置对应算法实例，通过算法模型获取对应算法检测结果。I-V曲线诊断...
Python脚本
组件参数 脚本设置 参数 描述 任务输出路径 选择任务输出的OSS路径。配置好的OSS目录会挂载到作业容器的/ml/output/路径下，任务写出到/ml/output/路径下的数据，会被持久化保存到对应的OSS目录。组件的输出端口 OSS输出-1 和OSS输出-2分别...
UDF开发（Python2）
arg_type_list 还支持星号（*）或为空（''）：当 arg_type_list 为星号（*）时，表示输入参数为任意个数。当 arg_type_list 为空（''）时，表示无输入参数。type：表示返回值的数据类型。UDF只返回一列。支持的数据类型为：BIGINT、STRING...
exZset
通过TairZset（exZset）可实现256维度的double类型的分值排序，适用于游戏、直播、音乐、电商等行业的排行榜场景，可极大提升数据处理效率，且客户端适配简易，无需任何编解码封装。TairZset简介 原生Redis支持的排序结构Sorted Set（也称...
算子介绍
本文介绍了一些基本的算子含义和实现。算子介绍 含义 算子 可下推至DN的算子 LogicalView，LogicalModifyView，PhyTableOperation,IndexScan 连接（Join）BKAJoin，NLJoin，HashJoin，SortMergeJoin，HashSemiJoin，SortMergeSemiJoin，...
交互式涂抹分割
应用场景 图片编辑：可对图像中的任意涂抹元素进行选择并智能分离，实现图像后续的二次编辑。特色优势 图片元素识别：根据涂抹区域的位置和大小，自动对涂抹目标进行识别和分割。自由开放选择：允许用户通过鼠标涂抹操作自由选择和排除所需...
多元索引
Aggregations 否 统计聚合功能配置，可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数等功能。更多信息，请参见 统计聚合。Name：统计聚合功能类型，例如min、max、sum、avg、count等。Aggregation：统计聚合参数配置...
PolarDB PostgreSQL 14版相对于PolarDB PostgreSQL 11...
在PG 11版本中，包含多个相邻已丢弃令牌的引号内文本被视为多个令牌，导致输出不正确的 tsquery。例如，websearch_to_tsquery('"aaa:bbb"')在PG 11版本输出 'aaa'<2>'bbb'，但在PG 14版本输出 'aaa'<->'bbb'。修复无限窗口函数范围的处理。...
电商行业
第四步：创建之后，可在查询分析界面，单击“搜索测试”进行效果验证：第五步：调试无误后，可返回查询分析界面，在切换到“索引视角”后，将其设置为默认查询分析：配置排序表达式：排序表达式允许用户为应用自定义搜索结果排序方式，通过...
使用MapReduce处理JindoFS上的数据
作业的输入和输出 MapReduce作业通常会指明输入或输出的位置（路径），并通过实现合适的接口或抽象类提供map和reduce函数。Hadoop的job client再加上其他作业的参数提交给ResourceManager，进行调度执行。这种情况下，我们直接修改作业的...
交叉表
交叉表可以显示表中某个字段的汇总值，并对同类数据合并。其中一组列在表的左侧，另一组列在表的上部。行和列的交叉处可以对数据进行多种汇总计算，例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。...
输入与输出
本文向您介绍MapReduce的输入与输出。MaxCompute MapReduce的输入、输出，支持MaxCompute内置类型的Bigint、Double、String、Datetime和Boolean类型，不支持您自定义数据类型。接受多表输入，且输入表的Schema可以不同。在Map函数中，您...
输入和输出
云工作流 的各种状态（State）之间需要传递数据，每个状态（State）将接受前一状态的输入（Input），并返回输出（Output）并将此输出传递给下一个状态（State）。本文介绍输入和输出的基础知识。流程和状态 流程（Flow）的多个状态（State...
功能简介
数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组规范。在实际的业务系统中，数据来源多种多样的，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同...
功能简介
数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组规范。在实际的业务系统中，数据来源多种多样的，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同...
Python 3 UDTF读取MaxCompute资源示例
此时，您需要自己编写代码判断输入的个数和参数类型，然后对它们进行相应的操作（您可以对比C语言里面的 printf 函数来理解此操作）。说明*用在返回值列表中时，表示的是不同的含义。UDTF的返回值可以使用*，表示返回任意个STRING类型。...
- 产品推荐
- 这些文档可能帮助您