名词术语
安全多方计算（MPC）MPC是密码学中的定义，意为在无可信计算方的情况下，多个参与方各自持有秘密输入完成对某个函数的计算，但每个参与方最终只能得到计算结果和能从自己输入和计算结果中推出的信息，其他信息均可得到保护。数据使用方 ...
CREATE TABLE AS（CTAS）语句
计算列可以使用系统函数或自定义函数，允许指定新增列的位置，并将其作为结果表的物理列，实时地将计算列的结果同步到结果表中。多CTAS语句 支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并支持对Source节点的合并复用，...
SELECT
COUNT DISTINCT子句 命令简介 COUNT DISTINCT 支持计算去重之后的某一个column的个数，对于该列中出现多次的值只会被计算一次，和COUNT的计算类似，如果该列包含NULL值，它将不会计算在内。语法说明 精确计算的语法示例如下：SELECT c1,...
ORDER BY子句
当排序的目标列中存在相同的值时，每次排序结果可能不同。如果您希望每次序列结果相同，可指定多个列进行排序。参数说明 参数 说明 列名 列名即为日志字段名称或聚合函数计算结果列，即支持按照日志字段名称（KEY）或聚合函数计算结果列...
物化视图自动查询改写
支持查询SQL中的SELECT列不在物化视图SQL的SELECT列中，但是可以由物化视图SQL的SELECT列组合计算得到。不支持查询SQL中的SELECT列不在物化视图SQL的SELECT列中，且无法由物化视图SQL的SELECT列组合计算得到。GROUP BY列 当SQL查询的GROUP ...
SELECT
FROM 列表中的所有元素都会被计算（FROM 中的每一个元素都是一个真实表或者虚拟表）。如果在 FROM 列表中指定了多于一个元素，它们会被交叉连接在一起。如果指定了 WHERE 子句，所有不满足该条件的行都会被从输出中消除。如果指定了 GROUP ...
表基础
数据类型约束着一组可以分配给列的可能值，并且它为列中存储的数据赋予了语义，这样它可以用于计算。例如，一个被声明为数字类型的列将不会接受任何文本串，而存储在这样一列中的数据可以用来进行数学计算。反过来，一个被声明为字符串类型...
快速创建函数
函数计算 中的服务对应于软件应用架构领域中的微服务。在 函数计算 平台构建应用时，首先根据需求将业务逻辑抽象为微服务，然后再实现为 函数计算 中的服务。前提条件 您已成功注册阿里云账号，并完成实名认证。具体信息，请参见 账号注册...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
拆分
ID列（ID列相同的不会被拆分）ID列中，内容相同的行数据不会被拆分，会被全量随机分配到 输出表1 或 输出表2 中。说明 勾选 高级选项 时展示，仅支持选择单列。阈值列 选择某个列名，对该列内容按阈值拆分，不支持String列。阈值 参考 阈值...
VALUES
当多于一行被指定时，所有行都必须具有相同数量的元素。结果表的列数据类型由出现在该列的表达式的显式或者推导类型组合决定，决定的规则与 UNION 相同。在大型的命令中，在语法上允许 VALUES 出现在 SELECT 出现的任何地方。因为语法把它...
数据转换
此时可以通过数据转换中的分类功能，将查询分析结果按照 kind 字段的值（producer、consumer、server、client、internal）分为5类，然后通过线图展示各个类别对应的数量。查询分析配置 数据转换前的结果 表格 线图 数据转换配置 数据转换后...
列存索引行列融合基础组件介绍
行列融合执行 纯列式执行 纯行式执行 0.33 2.56 232.48 由测试结果可以看出，对于混合型工作负载中的长尾请求，通过“行列融合”执行架构和Hybrid算子两种方式可以实现最优的性能，相对于纯列式执行或纯行式执行时间都有数量级的提升。
多元索引限制
表属性列中String长度（索引成Text）2 MB 一般情况下，与数据表中属性列的长度限制相同。当对索引成Text类型的字段使用模糊分词方式进行模糊查询时，原文内容会限制最大1024字符或者汉字，超过后会截断，只保留前1024个字符或者汉字。...
表表达式
说明 USING 对于连接关系中的列改变是相当安全的，因为只有被列出的列会被组合成连接条件。NATURAL 的风险更大，因为如果其中一个关系的模式改变会导致出现一个新的匹配列名，就会导致连接将新列也组合成连接条件。为了解释这些问题，假设...
UPDATE
对于生成的列，允许指定此项，但仅指定从其生成表达式计算列的正常行为。sub-SELECT：SELECT 子查询，它产生和在它之前的圆括号列列表中一样多的输出列。被执行时，该子查询必须得到不超过一行。如果它得到一行，其列值会被赋予给目标列。...
表表达式
注意 USING 对于连接关系中的列改变是相当安全的，因为只有被列出的列会被组合成连接条件。NATURAL 的风险更大，因为如果其中一个关系的模式改变会导致出现一个新的匹配列名，就会导致连接将新列也组合成连接条件。为了解释这些问题，假设...
K近邻
选择预测表特征列 如果未配置该参数，则表示其与训练表特征列相同。产出表附加ID列 用于标识该列的身份，从而获得某列对应的预测值。系统默认使用预测表特征列，作为附加ID列。输入表数据是稀疏格式 使用 KV 格式表示稀疏数据。kv间的分隔...
文本摘要预测
返回候选答案数量 表示返回结果的数量，INT类型，默认值为5。重要 该参数配置需要与 集束搜索数量 相同。执行调优 GPU机型类型 计算资源的GPU机型，默认值为 gn5-c8g1.2xlarge。使用示例 您可以使用文本摘要预测组件构建如下工作流，存在...
规划器使用的统计信息
多元可区分值计数 单列统计信息存储每一列中可区分值的数量。在组合多个列（例如 GROUP BY a,b）时，如果规划器只有单列统计数据，则对可区分值数量的估计常常会错误，导致选择不好的计划。为了改进这种估计，ANALYZE 可以为列组收集可区分...
同比和环比函数
AS today,diff[2]AS yesterday,diff[3]AS ratio FROM(SELECT compare(PV,86400)AS diff FROM(SELECT count(*)AS PV FROM log))compare函数计算结果为数组形式，其中 diff 为compare函数计算结果的别名，diff[1]表示获取数组中的第一个值。...
电子表格支持函数说明
LOOKUP 在已排序的一行或一列中查找某个键，然后根据搜索到的键在该行或列中的位置，返回结果范围中位于相同位置的单元格的值。MATCH 返回与指定值相匹配的项在范围中的相对位置。OFFSET 给定某范围的起始单元格引用以及该范围涵盖的行列...
HTAP中的行列混存查询优化
随后，优化器会根据采样的数据计算列的基数。在IMCI中，首先会根据上述公式计算出采样的行数，随后通过采样率选择不同的基数估计公式，尽可能减少基数估计的误差。这类公式通常都要求采样是均匀的随机采样，但在列存储上，通常不会以page为...
Hive作业调优
default_split_size=max(mapred.min.split.size,min(mapred.max.split.size,dfs.block.size))上述公式中的 mapred.min.split.size 和 mapred.max.split.size，分别为Hive计算的时Split的最小值和最大值。将数据按照计算出来的size划分为...
操作手册
ii.OSS数据映射 OSS 数据映射（或者称 OSS 数据挂载），可以将 OSS 上的数据映射到计算节点的本地路径（windows 是盘符），一个作业中的所有计算节点可以共享访问到相同的数据。OSS 数据挂载有如下功能或限制：映射的目的路径必须根据计算...
百分位
百分位计算是对从数据库返回的结果进行百分位形式的排名，便于用户观察某个数据在整组数据中的位置。本文为您介绍如何配置百分位。前提条件 您已创建仪表板，请参见 新建仪表板。您已选定目标数据集，并配置好图表字段。请参见 配置图表...
特征管理
如果待更新的列与特征中已存在的列的列名相同但含义不同，则待更新的列名不能与特征中已存在的列的名称相同，您可以通过起别名的方式来区分列名。table_reference 用于更新已创建的特征的列所在的表的名称。示例 将特征 test_subgraph_1 的...
聚合函数
说明 仅当需要使用 GROUP_CONCAT 函数进行连接的列中所有取值均为NULL时，才会输出 NULL。输入值类型：字符串。返回值类型：字符串。示例 本示例以 person 表为例介绍如何使用 GROUP_CONCAT 函数，person 表创建语句如下：CREATE TABLE ...
读取数据
当ColumnsToGet和Filter同时使用时，执行顺序是先获取ColumnsToGet指定的列，再在返回的列中进行条件过滤。MaxVersion 最多读取的版本数。重要 MaxVersion与TimeRange必须至少设置一个。如果仅设置MaxVersion，则最多返回所有版本中从新到...
读取数据
当columnsToGet和columnFilter同时使用时，执行顺序是先获取columnsToGet指定的列，再在返回的列中进行条件过滤。maxVersions 最多读取的版本数。重要 maxVersions与timeRange必须至少设置一个。如果仅设置maxVersions，则最多返回所有版本...
CREATE DATABASE AS（CDAS）语句
创建的结果表Schema会使用源表的Schema，包括主键以及物理字段的字段名和字段类型，不包括计算列、meta字段、Watermark。其中源表到结果表的字段类型会经过类型映射，详见对应 连接器 文档中的类型映射。示例 示例一：整库同步 CDAS通常会...
函数概览
reduce函数 根据Lambda表达式中的定义，对数组中的各个元素进行相加计算，然后返回计算结果。reverse函数 对数组中的元素进行反向排列。sequence函数 通过指定的起始值返回一个数组，其元素为起始值范围内一组连续且递增的值。递增间隔为...
内建函数概述
partition_clause：[partition by[,.]]-orderby_clause：[order by[asc|desc][nulls {first|last}][,.]][]在SELECT语句中加入窗口函数，计算窗口函数的结果时，数据会按照窗口定义中的 partition by 和 order by 语句进行分区和排序。...
PolarDB HTAP实时数据分析技术解密
最后，列存中的大块存储结构，结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极大的提升了IO的效率。在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据...
计算成本控制
由于MaxCompute的查询响应是分钟级，不适合直接用于前端查询，计算出的结果数据同步到外部存储中保存，对于大部分用户来说，关系型数据库是最优先的选择。轻度计算推荐使用MaxCompute，重度计算（即直接出最终结果。前端展示时，不做任何...
查看监控信息
节点不可用数监控 数值 监控如下信息：计算节点掉线数 存储节点掉线数 计算内存使用率%监控如下信息：存储节点最大计算内存使用率 存储节点平均计算内存使用率 计算节点平均计算内存使用率 计算节点最大计算内存使用率 查询 查询QPS 数值 ...
值表达式
值表达式被用于各种各样的环境中，例如在 SELECT 命令的目标列表中、作为 INSERT 或 UPDATE 中的新列值或者若干命令中的搜索条件。为了区别于一个表表达式（是一个表）的结果，一个值表达式的结果有时候被称为一个 标量。值表达式因此也被...
PS-SMART多分类
如果您在训练过程中，使用相同数据和参数，多次得到的结果不一致，属于正常现象。如果需要加速训练，可以增大 计算核心数。因为PS-SMART算法需要所有服务器获得资源后，才能开始训练，所以集群忙碌时，申请较多资源会增加等待时间。注意...
列存索引技术架构介绍
用户可以使用集群中的一个RO节点作为分析型节点，在该RO节点上配置生成列存索引，复杂查询运行在列存索引上并使用所有可用CPU的计算能力，在获得最大执行性能的同时不影响该集群上的TP型负载的可用内存和CPU资源。以上几个关键技术的结合，...
读取数据
当columns_to_get和column_filter同时使用时，执行顺序是先获取columns_to_get指定的列，再在返回的列中进行条件过滤。max_version 最多读取的版本数。重要 max_version与time_range必须至少设置一个。如果仅设置max_version，则最多返回...
- 产品推荐
- 这些文档可能帮助您