设置列存数据压缩算法
为了提高列存模式下的压缩效率，降低存储成本，您可以为创建的列存索引设置压缩算法。本文介绍如何设置和修改列存索引的压缩算法。支持的压缩算法 当前 PolarDB MySQL版 支持两种IMCI的压缩算法：LZ4压缩、ZSTD压缩。LZ4：一种无损数据压缩...
开发数据服务API
物联网数据分析的数据开发任务是使用标准的SQL语句对设备进行数据分析，而API服务可将数据开发任务封装成API，方便开发者调用。API服务既可以直接响应设备端请求，也可以用于服务端数据对接。创建数据分析任务 登录数据分析控制台，单击 ...
DAO 存储
基本工作原理如下：定义一个 xml 格式的配置文件，描述各 sqlite 操作的函数、返回的数据类型、需要加密的字段等。定义一个 DAO 对象的接口 DAOInterface（@protocol），接口方法名、参数与配置文件里的描述一致。业务将 xml 配置文件传给 ...
使用Grafana进行异常检测算法调优
Lindorm Machine Learning提供了Grafana插件，支持以可视化的方式进行时序异常检测，您可以通过该插件调试出合适的异常检测算法与参数。操作流程 整体操作流程如下。步骤一：创建Grafana工作区 您可以在阿里云 应用实时监控服务ARMS 中快速...
使用Grafana进行异常检测算法调优
Lindorm Machine Learning提供了Grafana插件，支持以可视化的方式进行时序异常检测，您可以通过该插件调试出合适的异常检测算法与参数。操作流程 整体操作流程如下。步骤一：创建Grafana工作区 您可以在阿里云 应用实时监控服务ARMS 中快速...
云产品依赖与授权：Designer
当授权RAM用户提交训练任务到与工作空间关联的通用计算资源时，您需要在对应工作空间中为RAM用户添加 算法开发、算法运维 或 管理员 角色，操作详情请参见 管理工作空间成员。依赖的其他云产品：MaxCompute Designer中提供上百种基于...
JOIN优化和执行
它的工作方式如下：拉取内表（右表，通常是数据量较小的一边）的全部数据，缓存到内存中。遍历外表数据，对于外表的每行：对于每一条缓存在内存中的内表数据。构造结果行，并检查是否满足JOIN条件，如果满足条件则输出。如下为Nested-Loop ...
列存索引中TopK算子的实现
动态选择内存磁盘算法 内存算法和磁盘算法不同，如果使用一个固定的阈值来作为选择内存算法或磁盘算法的依据（比如K小于阈值时使用内存算法，否则使用磁盘算法），那么针对不同的可用执行内存就需要设置不同的阈值，带来了人工干预的开销。...
配置算法任务
本文通过为LE-V-B015型号边缘一体机配置客流统计算法，演示配置算法任务的操作。前提条件 已激活Passenger开头的预装应用。详细操作，请参见 管理应用。已接入IPC设备到LE-V-B015型号边缘一体机。详细操作，请参见 接入终端设备。准备工作 ...
关键词抽取
基于 样条 曲线 建模 方法 流场 求解 模块 包括 有限 差分 求解器 有限元 求解器和面元法 求解器 其中 有限 差分 求解器 主要 包括 基于 有限 差分法 势流 数学 建模 基于 笛卡尔 网格 变 步长 差分 格式 推导 笛卡尔 网格 生成 索引 算法 ...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
错误代码
产生TDDL-4203错误表示SQL语句扫描了多个分库的数据并且执行时间超过900秒，建议进行如下优化：尽量在WHERE条件中添加分库键（Sharding key）条件，将SQL语句优化成单库执行。检查是否可以在后端RDS MySQL上创建适合的索引，提升扫描各个分...
HTAP中的行列混存查询优化
查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价的执行计划中选取最优计划执行。由于在执行查询时使用的执行计划好坏对性能的影响...
WITH查询（公共表表达式）
简介 WITH 提供了一种方式来书写在一个大型查询中使用的辅助语句。这些语句通常被称为公共表表达式或 CTE，它们可以被看成是定义只在一个查询中存在的临时表。在 WITH 子句中的每一个辅助语句可以是一个 SELECT、INSERT、UPDATE 或 DELETE...
用户流失预警风控
本文为您介绍如何通过PAI提供的用户特征算法，快速构建用户流失模型。背景信息 业务发展过程中的重要环节包括开拓新用户和保留老用户。通过建立用户流失预警风控模型，可以预测潜在流失用户，从而提前通过运营手段防范用户流失。对于用户...
什么是DSW
DSW（Data Science Workshop）是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，提供代码编写、调试及运行的沉浸式体验。DSW 提供丰富的异构计算资源，支持挂载OSS、NAS、CPFS类型的数据集...
TDE透明数据加密
前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.1及以上）PostgreSQL 11（内核小版本1.1.1及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号：PostgreSQL 14 select ...
TDE透明数据加密
前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.1及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：SHOW polar_version;背景信息 在中国，...
Cost-based SQL诊断引擎
其具体的工作过程如下：SQL解析与验证：引擎对查询语句做解析验证，验证输入查询语句是否符合标准，识别查询语句的组成形成语法树，例如：谓词以及谓词类型、排序字段、聚合字段、查询字段等，识别查询语句相关字段的数据类型。验证SQL使用...
公共节点
MaxCompute MR MaxCompute MR节点可通过上传算法包、编写Shell脚本以及SQL语句的方式处理MaxCompute中的数据，具体操作，请参见 新建MaxCompute MR类型的公共节点。RDS MySQL RDS MySQL节点运行于MySQL类型的云计算资源之上，可通过输入SQL...
错误码
示例：ERR-CODE:[PXC-1094][ERR_UNKNOWN_THREAD_ID]Unknown thread id:*说明：在 PolarDB-X 上执行 KILL 命令取消执行的SQL语句时，如果指定的会话ID不存在，或者对应的SQL语句已经结束执行，会提示PXC-1094错误。建议使用 SHOW ...
AUTO模式数据库与DRDS模式数据库
功能对比 与DRDS模式数据库相比，AUTO模式数据库新增了自动分区、热点分裂、分区调度和TTL表等新特性，并在很多其它方面（如分区管理、拆分变更等）做了大量工作以优化分布式体验。AUTO模式数据库与DRDS模式数据库主要功能对比：功能项 ...
新建Blink类型的公共节点
操作步骤 方式一：写SQL语句方式 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，...
扩展性原理
本文将介绍 PolarDB-X 1.0 的扩展性原理。并发和存储容量扩展性 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过 水平拆分（分库分表）和 垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平...
新建Blink类型的公共节点
操作步骤 方式一：写SQL语句方式 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，...
PREPARE
尽管预备语句主要是为了避免重复对语句进行解析分析以及规划，但是只要上一次使用该预备语句后该语句中用到的数据库对象发生了定义性（DDL）改变，PolarDB将会对该语句强制进行重新分析和重新规划。还有，如果 search_path 的值发生变化，...
随机森林
方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 选择特征列 默认为除标签列和权重列外的所有列。排除列 不参与训练的列，不能与 选择特征列 同时使用。强制转换列 解析规则如下：STRING、BOOLEAN及...
语义意图标注
所以除了在新建意图时添加意图的“包含语句”外，还可以通过建立 意图标注任务 完成有关意图“包含语句”的更新扩充，以此提高意图模型的准确率，并减轻相关工作人员对列举意图的“包含语句”的负担。新建标注任务 进入智能对话分析系统后...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
新建Blink DataStream类型的公共节点
操作步骤 方式一：写SQL语句方式 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
新建Blink DataStream类型的公共节点
操作步骤 方式一：写SQL语句方式 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，...
优化内部表的性能
Hologres原生引擎（HQE）不支持的函数 建议改写的函数 样例 备注 not in not exists select*from tmp where not exists(select a from tmp1 where a=tmp.a);不涉及。regexp_split_to_table(string text,pattern text)unnest(string_to_...
PageRank
PageRank算法用于衡量网页的重要性。它通过分析超链接，认为链接到某网页的数量和质量可以表明该网页的重要性。网页获得的链接越多，它的排名越高，同时，链接来源的权重也会影响最终的PageRank分数。PageRank组件能够输出各节点的权重。...
使用SmartMetrics
指标值在边界之内的则可以理解为算法判定的正常，超出上下边界的则可以理解为算法判定的异常。SmartMetrics 会对指标的正常变化范围做出预测，生成未来一段时间的上下边界，并自动写入Prometheus。但Prometheus不会提前显示未来数据，而是...
执行角色
授权的基本原理如下：策略 表示访问某个服务的能力，为 角色 绑定指定策略，那么角色就具有了访问该服务的能力。当有第三方需要访问这个服务的时候，只需要扮演具有访问能力的角色即可。从而避免使用长期密钥，让系统变得更加安全。创建...
多租户管理使用说明
技术原理如下图所示：术语 租户：租户（Tenant）为实现多租户模式所提出的概念，租户的层级结构在一个数据库实例之下，在数据库与用户之上。租户分为系统租户和普通租户：系统租户：系统租户是为了适配原有模式下用户的使用，原有数据库...
使用Smart Metrics创建预测任务和配置告警
在 工作区管理 页面，单击目标工作区右侧的 访问地址URL 链接进入Grafana。说明 如果需要登录Grafana，可以使用Grafana的Admin账号和创建工作区时设置的密码登录Grafana，或者单击 Sign in with Alibaba Cloud 直接使用当前购买工作区的...
QueryPublicModelEngine
调用QueryPublicModelEngine接口，使用FML语句查询数据建模引擎的信息。每次调用该接口均需使用FML语句请求获取查询信息。除了数仓分层、业务过程和数据域查询外，其他引擎信息查询均可使用分页查询方式。您可以在FML语句结尾增加offset ...
CREATE TABLE
CREATE TABLE语句用于在Lindorm宽表引擎或时序引擎中创建表，支持多种数据类型，例如VARCHAR、TIMESTAMP、BIGINT等；支持多种表属性，例如数据有效期TTL、压缩算法COMPRESSION等。您可以灵活搭配各种表属性和数据类型，设计出更贴合业务...
- 产品推荐
- 这些文档可能帮助您