行级权限设置
由管理员、被授权数据集（除行为数据集外）的管理权限的用户进行数据集的行级权限设置，其他非管理员用户也...说明 若选择 所有，单击 添加 后，用户对该字段的所有值都有权限，包括未来增加的字段值，即用户获得的行权限将不受该字段限制。
功能更新动态（2024年）
支持是否批量合并审批任务：合并后，审批任务时可选中多个标准合并成一个审批单，整体通过或驳回。拆分后，审批任务时每个标准分别生成一个审批单，可分别审批。数据标准批量操作优化，支持批量下线、批量删除操作；支持批量查看操作记录及...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、获取统计聚合分组内的行、嵌套查询等；同时多个统计聚合功能...
文档更新动态（2024年）
支持是否批量合并审批任务：合并后，审批任务时可选中多个标准合并成一个审批单，整体通过或驳回。拆分后，审批任务时每个标准分别生成一个审批单，可分别审批。数据标准批量操作优化，支持批量下线、批量删除操作；支持批量查看操作记录及...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。说明 从Python SDK 5....
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
Quick BI查询控件中筛选条件显示的多个空值能否合并...
问题原因 查询条件配置的查询字段NAME和显示字段AREA不同，而显示字段中存在多个空值，当查询字段有值，而显示字段值为空时，查询下拉中就会存在空值筛选项。解决方案 查询字段和显示字段可以使用相同的字段AREA，这样多个空值可以合并显示...
实时数仓Hologres
对于此类非主键点查的维表（即一对多的查询），创建Hologres表时建议选择列存模式，并合理设置 分布键Distribution Key 以及 Event Time Column（Segment Key）以优化查询性能，详情请参见 表存储格式：列存、行存、行列共存。VVR 4.0以下...
定时SQL
Double类型的字段值位数 Double类型的字段值最多52位。如果浮点数编码位数超过52位，会造成精度损失。模糊查询 执行模糊查询时，日志服务最多查询到符合条件的100个词，并返回包含这100个词并满足查询条件的所有日志。查询不精确 结果不...
配置同步任务
如果需要再次添加已删除的字段，则执行单击 新建字段，根据弹框提示，填写 字段及描述、选择 数据类型，单击 新增，完成已删除字段的添加。调整字段：如果 来源字段 和 目标字段 的字段名一一对应，则系统默认匹配。如果 来源字段 和 目标...
CREATE TABLE AS（CTAS）语句
使用CTAS可以将这多张分库分表合并到一张Hologres表中，库名和表名会作为额外的两个字段写入到该表中，为保证主键唯一性，库名、表名和原主键一起作为该Hologres表的新联合主键。USE CATALOG holo;CREATE TABLE IF NOT EXISTS user WITH('...
使用限制
Double类型的字段值位数 Double类型的字段值最多52位。如果浮点数编码位数超过52位，会造成精度损失。模糊查询 执行模糊查询时，日志服务最多查询到符合条件的100个词，并返回包含这100个词并满足查询条件的所有日志。查询不精确 结果不...
updateMany
在 users 集合中查找所有 age 字段值大于18的记录，同时将该记录的 name 字段和 age 字段更新，其他字段默认保留。若没有找到符合条件的记录，就将 {name:"Smith",age:22} 作为新记录插入。mpserverless.db.collection('users').updateMany...
如何发布和调用JDBC数据服务
例如出参定义某个字段为Long型，但数据表中对应字段的某条记录为字符值，则在试图解析到此记录的字段值并转换为Long型时会抛出异常，导致此条记录生成失败，此时定义的业务结果字段为空，而此字段则会表达出生成记录的错误信息。...
开发运维建议
数据查询 不建议使用 COUNT(列名)或 COUNT(常量)来替代 COUNT(*)，COUNT(*)是SQL92定义的标准统计行数的语法，会统计NULL值（真实行数），而 COUNT(列名)不会统计。使用 COUNT(多列列名)时，多列列名必须使用括号，例如 COUNT((col1,col2,...
比较运算符
示例 对同一行中的 request_time 字段值和 status 字段值进行对比，获取其中的最大值。字段样例 request_time:38 status:200 查询和分析语句*|SELECT GREATEST(request_time,status)查询和分析结果 LEAST运算符 LEAST运算符用于获取 x、y ...
日志字段
本文将介绍 PolarDB-X 1.0 SQL审计日志中包含的日志字段详情。字段名称 字段说明_topic_日志主题，格式为 drds_audit_log_{instance_id}_{db_name}，例如 drds_audit_log_drdsxyzabcd_demo_drds_db。autocommit SQL执行时 autocommit 是否...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。流程 统计聚合的完整...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云...匹配成功后，返回RDS MySQL数据库表中的 name 字段和对应的三个字段值，多个字段值用逗号（,）分隔，生成一条新的日志。time:1563436326 data:123 city:nanjing province:jiangsu name:aliyun,Maki,vicky
findOne
示例 在 users 集合中查找 age 字段值大于18的记录，按照姓名升序排列，跳过10条记录后，返回符合条件的第一条记录的 name 字段（_id 字段也默认返回），并且搜索时不使用_id 字段作为索引，而是以 name 字段作为索引。mpserverless.db....
添加字段
参数 说明 添加字段 待添加的字段名和字段值，支持添加多个。忽略重复字段 存在相同的字段名时，是否忽略重复的字段。配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":...
数据管理
说明 对于Streaming入湖场景，通常每个batch较小，会导致小文件较多，可以定期执行Optimize命令合并小文件。对于查询模式相对固定的场景，例如，除分区字段外，仅指定几个列作为查询条件时，可以采用Zorder方式优化。VACUUM 该命令可以删除...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。流程 统计聚合的完整...
数据节点
取固定字段：将值相同的数据一次取出。重要 该固定字段必须与排序字段相同。散列字段：用于数据分片时进行散列计算的字段。当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列...
文字
使用方法 表达式.Enum.WdRulerStyle.wdAdjustNone 表达式：文档类型应用对象 参数 字段 值 描述 wdAdjustNone 0 调整一行或多行的左边缘，通过将所有列左移或右移来保持列宽度。默认值。wdAdjustProportional 1 调整第一列的左边缘，通过按...
日志字段
字段名称 字段值类型 字段说明_topic_string 日志主题，格式为 polardbx_sqlaudit。affect_rows int 若执行的是DML，表示受影响的行数。若执行的是查询语句，表示返回结果的行数。autocommit int SQL执行时 autocommit 是否打开，取值范围...
Sql与OpenSearch查询语法的对比
6.DISTINCT：SQL：根据某个字段值对比，删除重复的记录。OpenSearch：同样通过 distinct 子句实现该功能，并且在功能上比SQL的distinct更为丰富，不仅可以去重，还可以打散，有点像分组topN的概念。7.ORDER BY：SQL：用于根据某个字段，...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
日志报表
删除带宽峰值 单值 1小时（相对）每秒删除SQL删除的行数峰值 平均执行时间 单值 1小时（相对）SQL平均的执行时间 查询SQL 单值 1小时（相对）平均每秒查询SQL执行的条数 插入SQL 单值 1小时（相对）平均每秒插入SQL执行的条数 更新SQL 单值...
多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。FieldSchemas 是 FieldSchema的列表，每个FieldSchema包含如下内容：FieldName...
Sql与OpenSearch查询语法的对比
7.DISTINCT：SQL：根据某个字段值对比，删除重复的记录。OpenSearch：同样通过 distinct 子句实现该功能，并且在功能上比SQL的distinct更为丰富，不仅可以去重，还可以打散，有点像分组topN的概念。8.ORDER BY：SQL：用于根据某个字段，...
数据脱敏
赋权对象 参数说明 仅对TA们有效 指定用户或用户组后，后续查看上述指定字段的数值时：指定的用户或用户组：查看到的字段值会根据配置的权限规则而受限，只能看到脱敏后的字段值。指定的用户或用户组外的其他用户：不受权限规则限制，可...
统计表数据要求
本章节介绍对于导入Quick Audience的统计表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute，Quick Audience...表中无主键，相同的用户ID可以有多条记录，统计时间、维度字段中任一条件不同均需单独作为一行。支持分区表。
SQL代码编码原则和规范
CASE语句的编写 CASE语句可以用于SELECT语句中对字段值进行判断取值的操作。CASE语句编排的规则如下：WHEN子语在CASE语句的同一行，并缩进1个缩进量后开始编写。每个WHEN子句尽量在1行内编写，如果语句较长可以换行。CASE语句必须包含ELSE...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
内建函数常见问题
聚合函数 如何连接相同字段？字符串函数 MaxCompute是否支持MD5函数？如何实现对固定长度字符串，不足部分前面补零？MySQL支持的SUBSTRING_INDEX函数在MaxCompute中支持吗？REGEXP_COUNT函数的参数pattern是否支持嵌入查询语句？MaxCompute...
新建及管理质量规则模板
码表参照：根据此处选择的参照值和字段值进行比较，可选 代码值、代码名称、代码英文名。码表参照对比：数据源类型：选择数据源类型。数据源：选择对应数据源类型的数据源。说明 为了性能考虑，跨数据源最多只会读取1000条码表数据进行对比...
新建及管理质量规则模板
码表参照：根据此处选择的参照值和字段值进行比较，可选 代码值、代码名称、代码英文名。码表参照对比：数据源类型：选择数据源类型。数据源：选择对应数据源类型的数据源。说明 为了性能考虑，跨数据源最多只会读取1000条码表数据进行对比...
使用SQL查询时序数据
时序表的SQL映射关系 根据每个时间线每个时刻对应一个值或者多个值，时序模型分为“单值模型”和“多值模型”。对于同一个时序表，您可以建立三种SQL映射关系用于数据查询，详细说明请参见下表。映射关系类型 描述 创建方式 在SQL中的表名 ...
- 产品推荐
- 这些文档可能帮助您