动态过滤器(Dynamic Filter)

动态过滤器的使用方法 MaxCompute提供了如下打开动态过滤器的方式:方式一:在Session级别通过开关强制打开动态过滤器,与SQL语句一起提交执行。set odps.optimizer.force.dynamic.filter=true;说明 该属性也支持在Project级别设置,但推荐...

分区剪裁合理性评估

分区剪裁是指对分区列指定过滤条件,使得SQL执行时只用读取表分区的部分数据,避免全表扫描引起的数据错误及资源浪费。但是分区失效的情况会经常发生。本文将从以下两方面介绍分区剪裁:判断分区剪裁是否生效。分区剪裁失效的场景分析。...

概述

使用Spark计算引擎访问表格存储时,您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算,除了基础功能外,Tablestore On Spark提供了如下核心优化功能:索引选择:...

Sql与OpenSearch查询语法的对比

OpenSearch的主战场虽然在“搜索”上,但是对大部分的Sql用法也是有很好的支持的,虽然语法可能不尽相同,但是实现的效果大致一样,因此,下文将一一介绍Sql主流的功能,在OpenSearch里是如何实现的。常见用法对比 大部分的开发者应该对SQL...

Limit Offset下推

而对于SQL层无条件过滤的场景(包含SQL层谓词完全下推到引擎层),Limit操作处理OffSet的数据不需要经过任何计算就会被过滤掉,引擎层与SQL层的交互和回表的代价会导致分页查询随着分页数增加而越来越慢。PolarDB MySQL版 会把Limit Offset...

功能发布记录

Node.js SDK新增支持SQL查询功能。2022-08-16 华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、新加坡.NET SDK历史迭代版本 Node.js SDK历史迭代版本 2022年07月 功能名称 功能描述 发布时间 发布地域 相关...

Sql与OpenSearch查询语法的对比

OpenSearch的主战场虽然在“搜索”上,但是对大部分的Sql用法也是有很好的支持的,虽然语法可能不尽相同,但是实现的效果大致一样,因此,下文将一一介绍Sql主流的功能,在OpenSearch里是如何实现的。常见用法对比 大部分的开发者应该对SQL...

使用Java SDK创建定时SQL任务

背景信息 日志服务提供定时SQL功能,用于定时分析数据、存储聚合数据、投影与过滤数据。定时SQL支持标准SQL92语法、日志服务查询和分析语法,按照调度规则周期性执行,并将运行结果写入到目标库(Logstore或Metricstore)中。日志服务控制...

图表管理

筛选配置 筛选区域支持任意类型字段,DMS会对拖入的字段在SQL中进行条件过滤,支持固定值、条件和日期三种筛选方式。筛选区域中的字段会根据您在数据视图中设置的可视化类型来选择性地展示对应的筛选方式。筛选方式 说明 可视化类型 条件...

Quick BI数据集中过滤字段加载不出来

概述 本文主要讲述数据集中过滤字段加载不...解决方案 在数据源里面使用SQL创建数据集,把数据在SQL语句里面对不展示的数据进行筛选和过滤。然后在用SQL新建的数据集里面进行过滤的设置和操作。适用于 产品名称:Quick BI 产品模块:数据集

算子

Filter AnalyticDB MySQL版 支持两种数据过滤过程:数据源过滤:使用存储层数据的索引进行过滤。说明 没有独立的算子用于表示数据源过滤过程,该过程中的过滤条件会体现在TableScan算子中。关于TableScan算子的详情,请参见 TableScan。非...

配置Microsoft SQL Server输入组件

Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至其他数据源的场景中,您需要先配置Microsoft SQL Server输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍...

规则概述

规则说明 规则名称 应用场景 说明 过滤规则 无需审计部分SQL报文,希望节省存储空间,提升数据审计效率。过滤规则的功能是根据某些特定的条件过滤一些信任的操作,系统对这些操作不审计,从而节省设备的磁盘空间,将有限的资源用来存储更有...

添加过滤

在日志服务仪表盘中添加过滤器,即对整个仪表盘进行查询过滤或变量替换操作。本文介绍如何为仪表盘添加过滤器。前提条件 已采集数据。具体操作,请参见 数据采集概述。已配置索引。具体操作,请参见 创建索引。已添加统计图表到仪表盘。...

查找最耗费资源的 SQL(Top SQL

SQL 语句中的一些过滤条件在 pg_stat_statements 中会被替换成变量,可以减少重复显示的问题。pg_stat_statements 视图包含了一些重要信息,例如:SQL 的调用次数、总耗时、最快执行时间、最慢执行时间、平均执行时间、执行时间的方差...

Paimon表数据写入和消费

您可以根据业务需求,在SQL作业中添加WHERE 过滤条件对数据进行过滤。不设置任何SQL Hint,在启动作业时,选择 指定源表开始时间 并指定具体的时间信息。通过SQL Hint设置 scan.file-creation-time-millis 参数。SELECT*FROM t/*+OPTIONS('...

SPL与SQL的使用场景对照

场景 SQL语句 SPL语句 数据过滤 select*where Type='write'|where Type='write' 字段处理与筛选 精确选择字段,并将其重命名 select"_tag_:node"as node,path 精确选择字段,并重命名。project node="_tag_:node",path 按模式选择字段。...

通过Node.js SDK使用SQL独享版

本文介绍通过Node.js SDK使用SQL独享版的代码示例。前提条件 已创建RAM用户并完成授权。具体操作,请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见 在...

日志分析

SQL累计查询行数 您可以使用如下命令查询Select语句累计查询的行数:and sql_type:Select|SELECT sum(affect_rows)SQL类型分布 您可以使用如下命令查询SQL类型分布:|SELECT sql_type,count(sql)as times GROUP BY sql_type SQL独立用户IP...

批计算谓词下推配置

存在OR push.down.range.long=true push.down.range.string=false SQL语句中存在rangeString的过滤字段 select*from table where val_string1>'string1' or name like 'table%';此时自定义谓词配置不生效,谓词全部下推。

设置过滤条件

MongoDB过滤条件支持的语句与标准的SQL WHERE语句不同,更多信息,请参见 运算符 和 SQL语句与MongoDB语句的映射。源数据库为其他类型的数据库时:在弹出的 编辑表 对话框中,填入 过滤条件。说明 过滤条件 支持的操作符有:英文字符=、!...

工作原理

日志服务提供定时SQL功能,用于定时分析数据、存储聚合数据、投影与过滤数据。本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据(日志、指标)在日积月累后的数量是惊人的。...

通过C++ SDK使用SQL独享版

query String 是"select avg(latency),max(latency),count(1)as c from sample-logstore where status>200 and_time_>=1500975424 and_time_标准的SQL语句,即您的过滤条件和查询时间要写在SQL分析语句的WHERE语句中。日志服务默认返回100...

通过PHP SDK使用SQL独享版

query String 是"select count(method)from sls_operation_log where_time_>to_unixtime(now())-300 and_time_(now())"标准的SQL语句,即您的过滤条件和查询时间要写在SQL分析语句的WHERE语句中。日志服务默认返回100行结果,您也可以使用...

通过Java SDK使用SQL独享版

query String 是"select avg(latency),max(latency),count(1)as c from sample-logstore where status>200 and_time_>=1500975424 and_time_标准的SQL语句,即您的过滤条件和查询时间需要写在SQL分析语句的WHERE语句中。日志服务 默认返回...

自定义SQL

用文本筛选过滤 order_number,绑定SQL参数,传入一个条件。当仪表板查询时,会按照查询条件把对应内容传入值占位符和表达式占位符中。例如,仪表板查询条件如下图所示。则对应的SQL为如下:SELECT*FROM company_sales_record WHERE area='...

使用SQL模式创建数据服务API

SQL模式创建数据服务API适用于多表关联、复杂筛选过滤的查询,通过编写SQL代码的方式完成API封装。本文介绍如何用SQL模式创建数据API。前提条件 已创建云计算资源,具体操作,请参见 新建云计算资源。已创建应用,具体操作,请参见 新建...

SQL Console初体验

当您成功在DMS上登录数据库后,可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表,在上方选择地域,然后单击目标实例...

使用SQL模式创建数据服务API

SQL模式创建数据服务API适用于多表关联、复杂筛选过滤的查询,通过编写SQL代码的方式完成API封装。本文介绍如何用SQL模式创建数据API。前提条件 已创建云计算资源,具体操作,请参见 新建云计算资源。已创建应用,具体操作,请参见 新建...

通过Python SDK使用SQL独享版

该接口支持的查询和分析语法为标准的SQL92语法,即您的过滤条件和查询时间要写在SQL分析语句的WHERE语句中。说明 如果您执行分析操作时,需要先过滤一部分数据再分析,建议您使用 查询语句|分析语句 语法,效率更高,即推荐使用execute_...

RDS PostgreSQL慢SQL问题

在相同业务场景下,架构设计和库表索引设计会影响查询性能,良好的设计可以提高查询性能,反之会出现很多慢SQL(执行时间很长的SQL语句)。本文介绍导致慢SQL的原因和解决方案。查看慢SQL 控制台的 参数设置 中,可以找到名为 log_min_...

日志分析

SQL累计查询行数 您可以使用如下命令查询SELECT语句累计查询的行数:and sql_type:Select|SELECT sum(affect_rows)SQL类型分布 您可以使用如下命令查询SQL类型的分布情况:|SELECT sql_type,count(sql)as times GROUP BY sql_type SQL独立...

引用SQL组件

使用SQL代码处理数据表时,通过过滤、连接和聚合数据源表,获取结果表。您可通过创建数据开发(DataStudio)的SQL组件节点使用组件,基于组件快速新建数据处理节点,提高开发效率。本文为您介绍如何创建SQL组件节点并使用组件。前提条件 已...

引用SQL组件

使用SQL代码处理数据表时,通过过滤、连接和聚合数据源表,获取结果表。您可通过创建数据开发(DataStudio)的SQL组件节点使用组件,基于组件快速新建数据处理节点,提高开发效率。本文为您介绍如何引用组件。前提条件 已准备所需使用的...

质量规则参数配置

校验表数据过滤:默认关闭,开启后可配置校验表的过滤条件或分区过滤或普通数据过滤过滤条件将会直接追加至校验SQL中;如校验表有分区过滤需求,建议在调度配置中配置分区表达式,配置后会以校验分区为最小查看粒度查看质量报告。填写...

质量规则参数配置

校验表数据过滤:默认关闭,开启后可配置校验表的过滤条件或分区过滤或普通数据过滤过滤条件将会直接追加至校验SQL中;如校验表有分区过滤需求,建议在调度配置中配置分区表达式,配置后会以校验分区为最小查看粒度查看质量报告。填写...

2.0版SQL开发规范

在明确t2与t1表都有同样的time和type过滤条件情况下,建议修改为如下SQL:Select count(*)from t1 join t2 on t1.id=t2.id where t1.time between '2017-12-10 00:00:00' and '2017-12-10 23:59:59' and t1.type=100 and t2.time between '...

在DMS中执行SQL后提示“当前SQL不满足数据库性能安全...

问题描述 当前执行的SQL不满足数据库性能安全需求,请优化SQL并通过执行计划观察、降低性能开销后...修改执行计划 修改SQL:WHERE子句增加更多的过滤项,避免扫描无效数据。新增索引:给WHERE后面的列增加索引,优化执行计划,避免全表扫描。

创建指标质量规则

字段分组个数校验/字段重复值个数校验:校验表数据过滤:默认关闭,开启后可配置校验表的过滤条件或分区过滤或普通数据过滤过滤条件将会直接追加至校验SQL中;如校验表有分区过滤需求,建议在调度配置中配置分区表达式,配置后会以校验...

配置Microsoft SQL Server输入组件

Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至其他数据源的场景中,您需要先配置Microsoft SQL Server输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
Node.js 性能平台 云原生数据仓库AnalyticDB MySQL版 云备份 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用