元数据抽取
OSS路径 指定待抽取数据的OSS目录。排除模式 排查指定OSS目录下的文件，支持正则匹配。解析格式 支持json、csv、parquet、orc、hudi、delta、avro中某一类格式进行抽取，或采用自动识别模式会对数据文件自动解析。目标数据库 抽取获取的...
Quick BI关于图表查优的相关方法和功能实现介绍
二、Quick BI引擎（抽取加速）：抽取加速基于您的数据集查询结果集，将数据从用户数据库抽取到Quick BI引擎中内部存储，实现查询加速的效果（公共云SaaS环境不同版本对于抽取容量和单次抽取数量有不同限制，独立部署用户需单独购买该功能）...
Quick引擎概述
Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放到数据源上的查询，在技术实现上Quick引擎分为三条链路，数据库直连模式、数据库抽取模式和智能缓存，在这三条链路进行了技术层抽象。多模式BI计算引擎 Quick...
标注任务
自定义量：根据自定义的数量，从线上会话数据随机抽取对应量的数据。线下导入：即从本地导入待测评数据。说明 导入测评数据文件扩展名需为xls或xlsx，最大支持20MB；上传数据需要符合既定的格式，具体格式可参考规范模板。黄金测评集：即从...
流程控制-随机分组组件
例如：随机抽取20%、30%、50%的人群发不同的优惠券。配置步骤：单击随机分组组件，在右侧弹出的面板中进行配置，如下图所示。输入步骤名称。为每个分组设置分组名称和人数占比，单击 新建分组 可以增加一个分组。说明 支持设置2~30个分组，...
CLUSTER_SAMPLE
命令格式 boolean cluster_sample(bigint)OVER([partition_clause])boolean cluster_sample(bigint,bigint)OVER([partition_clause])命令说明 cluster_sample(bigint)：表示随机抽取N条数据。cluster_sample(bigint,bigint)：表示按比例（M...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
数据集拆分
其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 拆分方式 随机拆分：就是根据指定的拆分比例随机抽取样本形成一个数据集，剩下的样本形成另一个数据集；前后拆分：就是根据指定的拆分比例将样本前面的指定部分形成一个数据集，...
随机森林回归算法（Random Forest Regression）
随机森林回归模型通过随机抽取样本和特征，建立多棵相互不关联的决策树，通过并行的方式获得预测结果。每棵决策树都能通过抽取的样本和特征得出一个预测结果，通过综合所有树的结果取平均值，得到整个森林的回归预测结果。使用场景 随机...
Redis过期Key的逐出策略
概述 本文主要介绍阿里云云数据库Redis过期Key的逐出策略，且介绍了使用Redis的一些最佳实践。Redis过期Key清理策略 清理过期Key的算法 数据逐出算法 使用Redis的注意事项 详细信息 Redis过期Key清理策略 为了防止一次性清理大量过期Key...
哈希分片全链路测试
按类型生产随机数据集，数据集的基本信息如下表，其中每个数据集的query从doc数据中随机抽取100条。数据类型 维数 数量 数值范围 FLOAT 128 10W(0,1)INT8 128 10W(-128,127)BINARY 512 10W 0/1 参数设置。检索方式 参数 graph proxima.hnsw...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库...
模型配置
随机人群：从历史人群中随机抽取的M人，与高潜验证人群数量相等，作为对照组。然后，系统分别根据 高潜验证人群、随机人群 在复购周期内的购买情况计算准确率、召回率，作为预测是否成功的量化指标：准确率：预测用户（即 高潜验证人群 或 ...
拒绝推断
然后对拒绝样本进行同样的分组，以该组违约率为抽样比例，随机抽取该分组下的违约样本，指定其为负样本，剩下的则是正样本。两阶段法 两阶段法（Two-Stage）除了需要前置评分卡模型的预测分值（AcceptRejectScore），还需要一个前置模型...
标注中心
比例抽样：从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条，同时会展示实际抽取的比例。自定义量：从符合时间范围的最早数据开始抽取该数量的样本，总量不可超过1000。关闭或删除标注任务 含义：关闭：将一个未...
技术架构
数据库自治服务（Database Autonomy Service，简称DAS），一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、...
标注中心（通话标注）
比例抽样：从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条，同时会展示实际抽取的比例。自定义量：从符合时间范围的最早数据开始抽取该数量的样本，总量不可超过1000。关闭或删除 标注任务 含义：关闭：将一个未...
模型配置
随机人群：从历史人群中随机抽取的M人，与高潜验证人群数量相等，作为对照组。然后对每人推荐近一年销量TopN的商品。然后，系统分别根据 高潜验证人群、随机人群 在预测周期内的购买情况计算准确率、召回率，作为推荐是否成功的量化指标：...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
逻辑库
等于1 等于1时，仅存在分表的单个数据库会抽取成逻辑库。使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
PostgreSQL数据源
PostgreSQL Reader脚本Demo 配置一个从PostgreSQL数据库同步抽取数据作业，使用脚本开发的详情请参见 通过脚本模式配置离线同步任务。{"type":"job","version":"2.0",/版本号。steps":[{"stepType":"postgresql",/插件名。parameter":{...
使用说明
示例：在RW1上创建一个数据库 db1 CREATE DATABASE db1 POLARDB_WRITE_NODE 1;如果需要在RW2上创建数据库 db1，把上述示例中的1换成2即可。删除在指定RW节点上创建的数据库 删除在指定RW节点上创建的数据库。语法结构如下：DROP DATABASE ...
Quick BI中如何实现数据量很大日增超过百万的数据分析
之前试用过一个永洪BI系统，可以将数据抽取到内置的mpp数据库中，支持定时任务增量抽取。数据抽取后可以在系统中进行计算，并支持数据分析的加速。想确认Quick BI里面的缓存是不是可以实现相同的功能，缓存之后的数据集进行关联过滤时计算...
管理数据库
设置以下参数：参数 说明 数据库（DB）名称 长度为2~64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。说明 数据库名称中如果包含-，创建出的数据库的文件夹的名字中的-会...
创建数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
CREATE DATABASE
CREATE DATABASE 用于创建数据库。创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...
配置IBM DB2输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置IBM DB2输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库。本文为您介绍CREATE DATABASE的用法。使用限制 单个实例最多可创建64个数据库。语法 CREATE DATABASE db_name[[WITH][OWNER[=]user_name];参数说明如下表所示。参数 描述 db_name 创建的数据库名称，只...
管理数据库
设置以下参数：参数 说明 数据库（DB）名称 长度为2~64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。说明 数据库名称中如果包含-，创建出的数据库的文件夹的名字中的-会...
创建数据库
语法：CREATE DATABASE[IF NOT EXISTS]$db_name 参数说明：db_name：数据库名。以小写字符开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的下划线（_），长度不超过64个字符。说明 数据库名不能是analyticdb，...
数据库管理
参数 说明 数据库（DB）名称 长度最多64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。支持字符集 选择utf8、gbk、latin1或utf8mb4。授权账号 选中需要访问本数据库的...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
CREATE DATABASE
本文介绍创建数据库的基本语法。CREATE DATABASE基本语法如下：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER cluster];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
创建数据库
在进行数据写入和查询前，您需要先创建数据库。本文介绍如何使用DMS（Data Management Service）创建数据库。使用限制 每个 云数据库ClickHouse 集群最多可以创建256个数据库。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
创建账号和数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
- 产品推荐
- 这些文档可能帮助您