线性规划-专题多篇
线性回归通常可以用线性函数 y=,x>+b 来描述，我们可以估计出 a 和 b 的值。本地版Python代码>|C/S版C++代码>6.机器学习：带有L1正则项的SVM多分类问题 分类是机器学习领域中最基本的任务之一。其目的是建立输入向量x与分类变量y之间的映射...
Quick BI如何创建报表，来获取每日新建的表数据？
创建图表引用的数据集（下文称为数据集A），该数据集用来展示每日新增的数据源表数据，表名用占位符形式填写，并在参数设置中设置默认表名month1。创建一张数据源表，存储每日新增的表名称，并以此表创建数据集（下文称为数据集B）。通过...
概述
在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的数据存储大部分是不相同的。类型 描述 源表 流式数据存储，驱动流数据分析的运行。每个流数据分析任务必须提供至少一个流式数据存储。边缘...
表的创建和使用
在HybridDB for MySQL中可以通过如下语法来创建表。创建表 CREATE TABLE db_name.table_name(auto_id bigint[NOT NULL]AUTO_INCREMENT,col1 boolean[NULL|NOT NULL][DEFAULT default_value],col2 tinyint[NULL|NOT NULL][DEFAULT default_...
表实用程序命令
删除Delta表不再引用的文件 您可以通过在表上运行vacuum命令来删除Delta表不再引用且早于保留阈值的文件。vacuum 不会自动触发。文件的默认保留阈值为7天。警告 vacuum仅删除数据文件，而不删除日志文件。检查点操作后，日志文件将自动异步...
ALTER TABLE
当被设置为一个负值（必须大于等于-1）时，ANALYZE 将假定可区分非空值的数量与表的尺寸成线性比例，确切的计数由估计的表尺寸乘以给定数字的绝对值计算得到。例如，值-1 表示该列中所有的值都是可区分的，而值-0.5 则表示每一个值平均出现...
明细粒度事实层（DWD）
累积快照事实表用来表述过程开始和结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点。当累积快照事实表随着生命周期不断变化时，记录也会随着过程的变化而被修改。明细粒度事实表设计原则 明细粒度...
明细粒度事实层（DWD）
累积快照事实表用来表述过程开始和结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点。当累积快照事实表随着生命周期不断变化时，记录也会随着过程的变化而被修改。明细粒度事实表设计原则 明细粒度...
表操作篇
为了解决这种问题，可以用不同的表来区分冷热数据，并设置不同的预留读/写吞吐量。例如，将消费记录按月份分表，每一个新的自然月就换一张新的表。当月的消费记录表需要不停写入新的消费记录，同时有查询操作。当月的消费记录表可以设置...
Lasso回归训练
可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 数据 无 读数据表 特征工程 数据预处理 是 模型 Lasso模型（用做增量训练）读数据表（模型数据表）Lasso回归训练 否 组件参数 页签 参数 描述 字段设置 标签...
组件参考：所有组件汇总
读数据表 该组件用于读取MaxCompute表数据，默认读取本项目的表数据。写数据表 该组件支持将上游数据写入MaxCompute中。数据预处理 随机采样 该组件按照给定的比例或者数目，对输入进行随机独立采样。加权采样 以加权方式生成采样数据。...
参考：Proxima CE全量参数说明
重要 创建的表名不能使用半角点号.，这是MaxCompute的特殊字符，会导致MaxCompute表解析失败，引用其他工程的表名可以用 project_name.table_name 的方式。doc_table_partition 底库表的MaxCompute分区。query_table 输入查询表...
依赖跟踪
我们也可以用 RESTRICT 代替 CASCADE 来获得默认行为，它将阻止删除任何被其他对象依赖的对象。说明 根据 SQL 标准，在 DROP 命令中指定 RESTRICT 或 CASCADE 是被要求的。但没有哪个数据库系统真正强制了这个规则，但是不同的系统中两种...
使用须知
覆盖索引需要将查询返回字段加入到索引表中，这样在命中索引时，只需要查询一次索引表即可，非覆盖索引，要想拿到完整结果则需要回查主表。不难理解，覆盖索引查询性能更好，但是会浪费一定存储空间，影响一定写性能。非覆盖索引使用时，...
如何优化Batch Insert
测试环境 本文档的测试环境见下表：环境 参数 PolarDB-X 版本 polarx-kernel_5.4.11-16279028_xcluster-20210802 节点规格 16核64 GB 节点个数 4 测试的表用例：CREATE TABLE `sbtest1`(`id` int(11)NOT NULL,`k` int(11)NOT NULL DEFAULT ...
CREATE INDEX
通常 PolarDB会锁住要被索引的表，让它不能被写入，并且用该表上的一次扫描来执行整个索引的构建。其他事务仍然可以读取表，但是如果它们尝试在该表上进行插入、更新或者删除，它们会被阻塞直到索引构建完成。如果系统是一个生产数据库，这...
开发运维建议
临时表建议以 tmp_开头，子表建议根据业务场景以规则结尾，例如按年分区的主表如果为tbl，则子表为tbl_2016、tbl_2017等。索引 B-Tree索引字段至多2000字节，如果存在超过2000字节的字段需要新建索引，建议使用函数索引（例如哈希值索引）...
功能发布记录
License管理新设计，增加createEnv等相关API，可支持大批量高并发和低时延需求下调用。2021年11月 求解器SDK更新V0.15.x版本（V0.15.1下载）：新增网络流单纯形法、多线程单纯形法；提升了单纯形法和内点法稳定性；并更新数据读取模块和API...
CREATE TABLE
CREATE TABLE 用于在当前数据库中创建一个新的、初始为空的表。简介 CREATE TABLE 将在当前数据库中创建一个新的、初始为空的表。该表将由发出该命令的用户所拥有。如果给定了一个模式名（例如 CREATE TABLE myschema.mytable.），那么该表...
PolarDB并行查询
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
GBDT回归
梯度渐进回归树GBDT（Gradient Boosting Decision Tree）是一种迭代决策树算法，适用于线性及非线性回归场景。组件配置 您可以使用以下任意一种方式，配置GBDT回归组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 ...
索引类型
本数据库提供了多种索引类型：B-tree、Hash、GiST、SP-GiST、GIN和BRIN。每一种索引类型使用了一种...对于具有线性排序顺序的数据类型，被索引的数据对应于每个块范围的列中值的最小值和最大值，使用这些操作符来支持用到索引的查询：< <= = >=>
HBase Shell使用介绍
查询指定表的数据 scan 是一种访问HBase数据的方式，它非常的灵活，scan 操作可以用它来扫描全表，也可以用它查询固定范围。查询速度会比查询单条（使用 get）数据略慢一些，这里因为我们的demo数据库数据并不多，所以我们全部取出来。执行...
概述
PolarDB 优化器只会选择一个自认为最优的表进行并行扫描，而除了该表外，其他表都是一般扫描。每个Worker会将连接结果集返回给Leader线程，Leader线程通过Gather操作进行汇总，最后将结果返回给客户端。并行排序 PolarDB 优化器会根据查询...
表表达式
如果一个表引用是一个简单的表名字并且它是表继承层次中的父表，那么该表引用将产生该表和它的后代表中的行，除非你在该表名字前面放上 ONLY 关键字。但是，这种引用只会产生出现在该命名表中的列—在子表中增加的列都会被忽略。除了在表...
表表达式
最简单的表表达式只是引用磁盘上的一个表，一个所谓的基本表，但是我们可以用更复杂的表表达式以多种方法修改或组合基本表。表表达式里可选的 WHERE、GROUP BY 和 HAVING 子句指定一系列对源自 FROM 子句的表的转换操作。所有这些转换最后...
表设计规范
表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，...
表分区
分区可以使用表继承来实现，这能够带来一些声明式分区不支持的特性，例如：对声明式分区来说，分区必须具有和分区表正好相同的列集合，而在表继承中，子表可以有父表中没有出现过的额外列。表继承允许多继承。声明式分区仅支持范围、列表...
概述
查询响应较慢，响应速度随MaxCompute Project的表数量线性增加。数据类型 支持基本类型、DECIMAL2.0、DATETIME及ARRAY类型。支持基本类型、DECIMAL2.0、DATETIME及ARRAY类型。仅支持基本类型。引擎优化 不涉及 较Lightning的查询性能大幅...
明细数据层（DWD）
基于阿里巴巴方法论最佳实践，事实表（事实模型，又称事实逻辑表）作为数据仓库维度建模的核心，紧紧围绕着业务过程进行设计。业务过程是通过事实表的度量、引用的维度与业务过程有关属性的方式获取。Dataphin支持两种类型的事实表：事务型...
概述
汇总表 您可以结合业务数据分析和数仓分层，将一些明细的事实数据和维度数据先进行汇总分析，创建汇总表，后续数据分析时直接取用汇总表中的数据即可，无需再取用明细表和维度表中的数据。逆向建模 逆向建模主要用于将其他建模工具生成的...
CREATE TABLE AS
CREATE TABLE AS 创建一个表，并且用由一个 SELECT 命令计算出来的数据填充该表。简介 CREATE TABLE AS 创建一个表，并且用由一个 SELECT 命令计算出来的数据填充该表。该表的列具有和 SELECT 的输出列相关的名称和数据类型（不过可以通过...
CREATE RULE
CREATE RULE 用于定义一条应用于指定表或视图的新规则。简介 CREATE RULE 定义一条应用于指定表或视图的新规则。CREATE OR REPLACE RULE 将创建一条新规则或者替换同一个表上具有同一名称的现有规则。PolarDB规则系统允许我们定义针对数据...
特征重要性过滤
特征重要性过滤组件为线性特征重要性、GBDT特征重要性和随机森林特征重要性等组件提供过滤功能，支持过滤TopN的特征。组件配置 PAI命令 PAI-name fe_filter_runner-project algo_public-DselectedCols=pdays,previous,emp_var_rate,cons_...
权限
对于表空间，允许在表空间中创建表、索引和临时文件，并允许创建将表空间作为默认表空间的数据库。注意，取消该特权不会改变现有对象的存在或位置。CONNECT 允许受让者连接到数据库。此权限在连接启动时进行检查（加之 pg_hba.conf 施加的...
机器学习开发示例
在机器学习中我们用计算测试值和预测值之间出现的误差的均方根的平均值来查看模型的准确性。pyspark from pyspark.ml.evaluation import RegressionEvaluator#使RegressionEvaluator用来计算均方根误差。evaluator=RegressionEvaluator...
数据埋点指南
如下图中每个tag页为一个不同场景：总结来说：召回用什么场景ID，回传行为的时候就回传什么ID TAGS埋点 什么是tags TAGS对应的是user表和item表中的tags字段，是指您对内容（item）提炼的特征的文本描述，多个tags之间直接以英文逗号分隔。...
TRUNCATE
TRUNCATE 不能被用在被其他表外键引用的表上，除非那些表也在同一个命令中被阶段。这些情况中的可行性检查将会要求表扫描，并且重点不是为了做扫描。CASCADE 选项可以被用来自动地包括所有依赖表—但使用它时要非常小心，否则你可能丢失...
继承
简介 本数据库实现了表继承，这对数据库设计者来说是一种有用的工具。让我们从一个例子开始：假设我们要为城市建立一个数据模型。每一个州有很多城市，但是只有一个首府。我们希望能够快速地检索任何特定州的首府城市。这可以通过创建两个...
测试结果参考
测试所用的数据量及相关集群规格说明如下：基于100GB数据集性能参考 测试所用的数据量及相关集群规格说明如下：测试数据量说明：表名称 表中包含的数据行数 LINEITEM 600,037,902 ORDERS 150,000,000 PARTSUPP 80,000,000 PART 15,000,000 ...
- 产品推荐
- 这些文档可能帮助您