相关性分析

皮尔逊相关系数:用于衡量两个数据集是否在一条线上面,即针对线性数据的相关系数计算,针对非线性数据便会有误差。肯德尔相关系数:用于反映分类变量的相关性,即针对无序序列的相关系数计算,非正太分布的数据。斯皮尔曼相关系数:用于非...

线性回归

线性回归模型具有简单、易于理解和解释的特点,同时可以通过多项式扩展等方法处理非线性数据,具有较高的泛化能力和预测准确率。但是,线性回归模型对于离群点、噪声数据和非线性关系的数据比较敏感,需要进行特征标准化和正则化处理。组件...

概念解释

Validation Loss Validation Loss代表针对验证集学习的拟合程度,曲线一般呈现先下降后上升趋势,Loss越小,表示验证数据拟合程度越高,优秀的模型效果往往出现Validation Loss的最小值节点,此时拟合程度最佳,训练效果最好。Validation ...

模型训练最佳实践

Training Loss Trianing Loss 代表针对训练数据学习的拟合程度,曲线一般呈现下降趋势,Loss越小,表示训练数据拟合程度越高,过小的Loss易导致数据过拟合,需要根据实际训练过程进行判断 Validation Loss Validation Loss代表针对验证集...

应用场景

敏感数据识别与打标 DSC 能从海量数据中发现和锁定保护对象,精准区分敏感数据敏感数据。通过内置算法规则和自定义敏感数据识别规则,对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级,并根据结果做进一步的...

登录数据库

相关操作 在您成功登录数据库后,可能需要进行如下操作:在SQL Console中,针对该数据库进行创建表、查询表数据、变更表数据等操作。具体操作,请参见 SQL Console初体验。导出数据库中已有的数据。具体操作,请参见 数据库导出。创建数据...

分段多项式回归

参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在数值数据,则会抛出异常。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件...

高斯过程回归

功能说明 高斯过程回归是使用高斯过程先验对数据进行回归分析的参数模型。计算逻辑原理 高斯过程回归中支持三种核函数:高斯核:,其中尺度因子,尺度 是高斯核函数的参数。线性核:,其中偏移 和尺度因子,是线性核函数的参数。二次有理...

调试实时任务

调试方式说明 本地调试方式:即不通过集群进行调试,调试的数据非流式数据。该方式调试速度较快,但操作较为繁琐,需要手动上传或填写数据,仅支持特定的数据源进行自动采样。Session集群调试方式:即通过Session集群进行调试,调试的数据...

数据传输预检查

启动数据迁移项目时,为确保项目的顺利运行,OceanBase 数据传输功能会自动启动预检查环节,针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...

日志备份时报:The transaction log for database xx ...

如果 tempdb 数据库总空间大于等于5 GB,且可以重启数据库实例:重启数据库实例,具体操作请参见 重启实例。在目标实例控制台左侧导航栏中,单击 备份恢复。在 备份恢复 页单击 备份并收缩事务日志。在弹出的对话框中单击 确定。如果 ...

重启节点

PolarDB 提供了重启节点功能,您可以在控制台上手动重启节点解决数据库连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点,您可以...

重启节点

PolarDB 提供了重启节点功能,您可以在控制台上手动重启节点解决数据库连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点,您可以...

重启节点

PolarDB 提供了重启节点功能,您可以在控制台上手动重启节点解决数据库连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点,您可以...

逻辑回归

参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在数值数据,则会抛出异常。CSV组件。IGateInOffline组件。平台上其他数据处理组件。按照平台规范开发的自定义...

动态特征提取

线性趋势:对采样数据序列进行线性拟合,取线性模型的系数,作为输出。变化趋势:对采样数据序列做Mann-Kendall测试(曼肯德尔检验),若“无趋势”,则输出0;反之,则取slope参数,作为输出。曼肯德尔检验:Mann-Kendall 趋势检验(有时...

独享资源组

独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时,需要使用独享调度资源组,独享调度资源组的使用详情请参见 新增和使用独享调度资源组。独享数据集成资源组使用场景 如果您需要同步VPC...

功能特性

数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...

如何将冷存数据进行预热

本文介绍将冷存数据进行预热的最佳实践。场景描述 冷存中的数据首次查询时延迟会比较高,可以提前预热将其加载到持久化缓存...如果希望增加缓存比例,可通过控制台界面调大 polar_smgrcache_size 参数,调整完后立即生效,无需重启数据库。

敏感数据溯源

DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务,并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则,详情请参见 配置...

版本管理

PolarDB 集群架构共三层:数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎,也可以绑定一起升级。注意事项 版本升级一般不超过30分钟,升级过程中会重启数据库代理Proxy或内核引擎...

版本管理

PolarDB 集群架构共三层:数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎,也可以绑定一起升级。注意事项 版本升级一般不超过30分钟,升级过程中会重启数据库代理Proxy或内核引擎...

小版本升级

PolarDB 集群架构共三层:数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎,也可以绑定一起升级。关于版本或者主动运维升级的相关问题,可加钉钉群咨询,群号:51685000218。注意...

如何快速定位及解决数据库问题

本文介绍了数据库发生故障时的快速判断方法和解决办法。如何定位系统瓶颈是否在数据库上 通过Processlist来判断 执行以下语句,显示 PolarDB-X 上所有正在执行的SQL语句。...方法四:重启数据库 以上方法都无效的情况下,请重启数据库。

组件参考:所有组件汇总

推荐方法 FM算法 FM(Factorization Machine)算法兼顾特征之间的相互作用,是一种非线性模型,适用于电商、广告及直播的推荐场景。ALS矩阵分解 交替最小二乘ALS(Alternating Least Squares)算法的原理是对稀疏矩阵进行模型分解,评估...

滤波

是 整数或浮点数 说明 若存在数值数据,则会抛出异常 不限 OUT端口-输出参数 参数名 参数描述 输出数据类型 OUT 滤波后的输出,与IN端口配置的输入参数一致。浮点数 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 滤波类型 ...

开启和使用冷数据分层存储

本文介绍如何开启冷数据分层存储功能,以及开启功能后的使用方式。使用限制 仅 14.9.13.0及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后,无法关闭该功能,只能删除冷数据。如果没有存储数据,开启该功能本身不会产生费用。...

开启和使用冷数据分层存储

本文介绍如何开启冷数据分层存储功能,以及开启功能后的使用方式。使用限制 仅 PolarDB PostgreSQL版(兼容Oracle)2.0.14.13.0 及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后,无法关闭该功能,只能删除冷数据。如果没有...

配置数据质量监控

表的行数0校验(强规则)主键唯一性校验(弱规则)3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,即通过关联调度节点触发数据质量校验规则执行。...

离线同步数据质量排查

如果写出数据和目标存储已有数据发生数据约束(主键冲突、唯一键约束、外键约束等),数据库则使用来源数据update更新目标表已有数据行,在目标表存在多个数据约束的情况下,数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...

配置数据质量监控

表的行数0校验(强规则)主键唯一性校验(弱规则)3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,即通过关联调度节点触发数据质量校验规则执行。...

同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...

目标端表对象存在记录时处理策略 选择 忽略:目标端表对象存在数据时,如果原数据与写入数据冲突,数据传输采用将冲突数据记录日志,保留原数据不变的策略进行数据写入。重要 选择 忽略,全量校验将使用 IN 模式拉取数据,无法校验目标端多...

PS线性回归

线性回归(Linear Regression)是分析因变量和多个自变量之间的线性关系模型,参数服务器PS(Parameter Server)致力于解决大规模的离线及在线训练任务。PS线性回归支持千亿样本、十亿特征的大规模线性训练任务。组件配置 您可以使用以下...

单值查询数据

算子 描述 插值方法 avg 平均值 线性插值(斜率拟合)count 数据点数 插0 mimmin 最小值 插最大值 mimmax 最大值 插最小值 min 最小值 线性插值 max 最大值 线性插值 none 不做计算 插0 sum 求和 线性插值 zimsum 求和 插0 Filters说明 有...

多值数据查询

多值模型数据查询 mquery 请求路径和方法 请求路径 请求方法 描述/api/mquery POST 查询数据 重要 多值模型数据和原来写入的单值模型数据不兼容。单值模型数据需要通过原有的/api/put 接口进行写入。同时多值写入数据需要通过/api/mquery ...

一站式HTAP服务

在重度OLAP的业务场景中,通常需要将数据从OLTP数据库中导出,然后将数据迁移并导入到专业的OLAP数据仓库,在数据仓库中进行大规模的分析型查询。专业的数据仓库通常会把每个列的数据以连续的形式保存在存储介质上,并提供向量化模型的执行...

新功能发布记录

WLM 新增AI_GENERATE_TEXT函数 数仓版(3.0)支持使用AI_GENERATE_TEXT函数分析结构化数据,并输出结构化数据。无 Multi-Statement 支持连续执行多个SQL语句,SQL语句之间使用半角分号;分隔。该功能默认关闭,您需执行 SET ADB_CONFIG ...

导入与导出

数据同步过程中,可以修改源表中的字段类型,目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改,并且只能将取值范围小的数据类型更改为取值范围大的数据类型,或者将单精度数据类型更改为双精度数据类型。整型数据类型:支持...

如何将一棵LSM-Tree塞进NVM

对于256 MB的内存表,将仅持久化叶子结点时重启恢复叶子结点的开销小于10毫秒,其恢复时间相对于所研究的数据库系统已足够快。其次,该索引的设计中采用序列号以及用户键分离的方式用于加速键的查找以及满足内存表的MVCC(Multi-Version ...

使用须知

在大数据量下,原始数据和索引数据放在一起会加剧region分裂,且分裂后索引数据的本地性也会丧失。因此,在阿里云HBase SQL服务中 LOCAL INDEX功能已经被禁止。索引表最多可以创建多少个?索引会保证实时同步,也会引来写放大问题,一般...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 DBS 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用