概述
查询响应较慢，响应速度随MaxCompute Project的表数量线性增加。数据类型 支持基本类型、DECIMAL2.0、DATETIME及ARRAY类型。支持基本类型、DECIMAL2.0、DATETIME及ARRAY类型。仅支持基本类型。引擎优化 不涉及 较Lightning的查询性能大幅...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
特征重要性过滤
否 weightTable 特征重要性的权重表（即线性特征重要性、GBDT特征重要性、随机森林特征重要性的输出表）。是 outputTable 过滤出TopN特征的输出表。是 modelTable 特征过滤产出的模型文件。是 selectedCols 默认输入表的所有字段列名。否 ...
深度解析PolarDB数据库并行查询技术
以HASH JOIN为例，对于串行执行的HASH JOIN来说，首先选择一个表创建HASH表称之为Build表，然后读取另一个Probe表，计算HASH，并在Build表中进行HASH匹配，若匹配成功，输出结果，否则继续读取。如果改为并行HASH JOIN，并行优化器会对串行...
迁移HBase至Hologres
基于分布式文件系统Pangu/HDFS，存储能力与集群规模有关，支持线性扩展，单表最大容量3PB+；多种存储模式和多种压缩算法赋能存储。查询及分析能力 原生仅支持点查(GET)和扫描(SCAN)。点查每秒查询率（QPS，Queries per second）高，SCAN...
某互联网保险公司保险订单迁移MySQL到Lindorm
客户价值 从MySQL上千张物理分库分表到Lindorm单表，整个业务从1万+的物理分库分表减少到10+物理表，大幅度降低了运维成本 Lindorm分布式架构具备完全线性扩展及存储计算分离的能力，从容应对业务请求峰值和数据量的快速增长 Lindorm压缩...
通过文件管理优化性能
具体来看，当整张表的大小小于2.56TB时，会以256MB作为目标表文件大小，当表的大小介于2.56TB-10TB之间时，目标文件大小线性增长，当表的大小大于10TB后，以1GB作为目标表文件大小。需要注意的是，如果设置了表属性：delta.targetFileSize ...
ALTER TABLE
当被设置为一个负值（必须大于等于-1）时，ANALYZE 将假定可区分非空值的数量与表的尺寸成线性比例，确切的计数由估计的表尺寸乘以给定数字的绝对值计算得到。例如，值-1 表示该列中所有的值都是可区分的，而值-0.5 则表示每一个值平均出现...
定义向量列（2.0版）
算法 适用场景 适用数据 Native_FLAT（SSE线性计算）适用于单表数据量小于10万条、向量维度为256左右的小数据量场景。int[]、short[]、byte[]、float[]GRAPH_HNSW 适用于单表数据量在百万级别到千万级别之间，对向量维度敏感的中等规模数据...
示例项目使用说明
MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS数据实例 Spark SparkPi：计算Pi SparkWordCount：单词统计 LinearRegression：线性回归 OSSSample：OSS使用示例 MaxComputeSample：MaxCompute...
DBLE与PolarDB多主集群（库表）结合使用最佳实践
QPS与MPS：TPS与CPU使用率：如果业务的写入以显式事务（autoCommit=0）为主，PolarDB多主集群（库表）结合DBLE可以实现仅次于线性的性能提升。以256个线程进行写入测试，弹性扩容效果如下：QPS与MPS：TPS与CPU使用率：
2021年
该参数在低QPS场景下，对于执行时间较长（超过3秒）的计算密集型查询有线性提升，典型场景为单表聚合查询（TPCH Q1、Q6）、大表与小表的JOIN。对于I/O密集型查询和性能瓶颈为落盘的场景，提升有限。对于网络密集型查询，可能会影响性能。无...
数据导入性能优化
解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据倾斜时，集群部分节点负载过高，影响导入性能。此时，集群CPU使用率、磁盘IO使用率处于较低水位，...
数据导入性能优化
解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据倾斜时，集群部分节点负载过高，影响导入性能。此时，集群CPU使用率、磁盘IO使用率处于较低水位，...
线性模型特征重要性
线性模型特征重要性组件用于计算线性模型的特征重要性，包括线性回归和二分类逻辑回归，支持稀疏和稠密数据格式。本文为您介绍该组件的配置方法。使用限制 支持的计算引擎为MaxCompute。组件配置 您可以使用以下任意一种方式，配置线性模型...
one-hot编码
输出节点：该组件有两个输出节点，一个是编码后的结果数据表（左），另一个是模型表（右），该模型表用于对同类型的新数据进行one-hot编码。one-hot编码组件预测功能 one-hot组件的第二个输入节点（右）是one-hot的模型输入，可以利用已有...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for ...
Proxy与PolarDB多主集群（库表）结合使用最佳实践
QPS与MPS：TPS与CPU使用率：如果业务的写入以显式事务（autoCommit=0）为主，PolarDB多主集群（库表）结合ShardingSphere-Proxy可以实现仅次于线性的性能提升。以256个线程进行写入测试，弹性扩容效果如下：配置较短的超时时间。QPS与MPS：...
多主集群（库表）商业化
PolarDB MySQL版 多主集群（库表）正式商业化。简介 随着 PolarDB MySQL版 客户的不断增加，大规模头部客户不断涌入，部分头部客户业务体量规模庞大，使得目前 PolarDB MySQL版 的单写（一写多读）架构在特定场景下，写性能出现瓶颈。...
PS线性回归
线性回归（Linear Regression）是分析因变量和多个自变量之间的线性关系模型，参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务。PS线性回归支持千亿样本、十亿特征的大规模线性训练任务。组件配置 您可以使用以下...
概述
在流计算中每个分区和RDD的Partition一一绑定，通过扩展表的分区，可以完成数据吞吐量的线性扩展。场景案例 Tablestore结合Spark的流批一体SQL实战 海量结构化数据的冷热分层一体化 Tablestore+Delta Lake（快速开始）使用方式 根据业务...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的...
申通快递迁移Oracle到Lindorm
客户感言 物流订单、巴枪等业务为非强事务要求的业务，最初选择Oracle是出于性能、稳定性的考虑，但基于菜鸟使用Lindorm，我们对Lindorm宽表引擎+搜索引擎经过充分测试后发现Lindorm的线性扩展能力更适合快递业务，0代码0迁移即可轻松应对...
表的创建和使用
在HybridDB for MySQL中可以通过如下语法来创建表。创建表 CREATE TABLE db_name.table_name(auto_id bigint[NOT NULL]AUTO_INCREMENT,col1 boolean[NULL|NOT NULL][DEFAULT ...目前支持的最大表数目为单节点2000张，可随节点数目线性扩展。
测试结果参考
测试所用的数据量及相关集群规格说明如下：基于100GB数据集性能参考 测试所用的数据量及相关集群规格说明如下：测试数据量说明：表名称 表中包含的数据行数 LINEITEM 600,037,902 ORDERS 150,000,000 PARTSUPP 80,000,000 PART 15,000,000 ...
组件参考：所有组件汇总
读数据表 该组件用于读取MaxCompute表数据，默认读取本项目的表数据。写数据表 该组件支持将上游数据写入MaxCompute中。数据预处理 随机采样 该组件按照给定的比例或者数目，对输入进行随机独立采样。加权采样 以加权方式生成采样数据。...
线性支持向量机
方式一：可视化方式 输入框 线性支持向量机算法组件仅一个输入桩，需要接入读数据表组件，为必选项。在工作流页面配置组件参数。页签 参数 是否必选 描述 字段设置 特征列 是 输入列，根据输入数据表的特征选择特征列，支持BIGINT和DOUBLE...
2000W FLOAT512 量化
具体数据如下：Build耗时（秒）Seek耗时（秒）总时间（分钟）CE hash 17811 8298 435分钟 CE hash with int8 quantize 19730 3699 390分钟 由于2000W*2000W数据跑线性结果时间过长，因此此处使用100W数据，doc表得到的召回如下：说明 ...
产品和业务限制
S2n 3个 没有高配 表或分区单次导入最大数据量 min(系统最大值,ecuCountdiskSize 0.2)联系技术支持 单个分析型数据库MySQL版最多表数 256 联系技术支持 单个表组总表数 256 联系技术支持 单表最大列数 1024 暂无高配 最大一级分区数 255 暂...
皮尔森系数
皮尔森系数是一种线性相关系数，用于反映两个变量线性相关程度的统计量。机器学习中，皮尔森系数用于计算输入表或分区两列（数值列）的Pearson相关系数，计算结果输出至输出表。组件配置 您可以使用以下任意一种方式，配置皮尔森系数组件...
表操作篇
如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
联邦预处理
对特征做归一化处理后，最小值被线性映射到 0，最大值被线性映射到 1。如果最大值和最小值相同，则所有值都被映射到 0。独热编码 函数路径 fascia.biz.preprocessing.onehot 函数定义 def onehot(fed_df:HDataFrame,columns:List[str]=None...
评分卡预测
线性模型中特征值和模型权重值直接相乘相加的结果，对应到评分卡模型中，如果模型进行了分数转换，则该分数输出转换后的得分。prediction_prob DOUBLE 二分类场景中预测得到的正例概率值，原始得分（未经分数转换）经过Sigmoid变换后得到该...
多主集群（库表）概述
本文将详细介绍 多主集群（库表）的相关信息。随着 PolarDB MySQL版 客户的不断增加，大规模头部客户不断涌入，部分头部客户业务体量规模庞大，使得目前 PolarDB MySQL版 的单写（一写多读）架构在特定场景下，写性能出现瓶颈。PolarDB ...
线性规划-专题多篇
优化求解器的线性规划学习案例。数学规划求解-线性规划 我们有提供6个案例讲解线性规划（LP）的概念和应用场景，讲解遇到不同问题时，如何分析问题，建模，然后调用优化求解器求解，再利用求解器的结果去解决问题。并提供了10+源代码供参考...
线性回归
本文为您介绍线性回归组件。功能说明 线性回归（Linear Regression）是分析因变量和多个自变量之间的线性关系模型。计算逻辑原理 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性...
线性回归
一、组件说明 线性回归模型通过找到一条最佳拟合直线（或超平面），将输入特征映射到一个连续数值输出。在模型训练过程中，采用最小二乘法（least squares）估计模型参数，即最小化输出结果与预测值之间的误差平方和。线性回归模型具有简单...
分区设计
分区键（Partition Key）用户的分区表必须按照一种维度进行数据划分，用户在按照分区键维度进行查询时，就能做到线性性能增长，分区键通常有如下选择方法：按业务ID切分，如用户ID、商品ID等，适合每个业务ID的数据较均匀且查询简单的场景...
一站式HTAP服务
oid：表 OID relschema：表所属 schema 的名称 relname：表名 relkind：表类型 dist_policy/dist_cols：表在 OLAP 引擎上的分布模式和分布列 sync_status：表数据的同步状态 sync_start_time：表数据同步的开始时间 sync_end_time：表数据...
- 产品推荐
- 这些文档可能帮助您