脚本语法
您也可使用流程控制语句，设置数据流转的更多过滤条件，例如本文“脚本示例”中使用了 if 语句。脚本支持的控制语句，请参见本文下方的“流程控制语句”。脚本示例 本文以上报的属性数据为例，输入数据如下：{"deviceType":"CustomCategory...
查询语法
语句编写流程 查询语句的编写流程为：根据您想要查询的信息，确定查询方式进而确定查询语法，然后根据字段类型选择合适的运算符，并设置关键词及匹配模式。如何确定查询方式 了解当前日志库配置的索引类型，日志库支持配置全文索引、字段...
SQL审核最佳实践
本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在项目正式发布到线上之前，需要对涉及的SQL进行全面的审核，避免不符合数据库开发规范的SQL发布到线上影响生产服务。而所有...
步骤二：编写SQL分析语句
本文介绍编写SQL分析语句的操作流程。前提条件 已创建SQL分析任务：您需在SQL数据分析工作台，根据业务需求，编写SQL分析语句。背景信息 下列类型的数据存储表可作为SQL分析的查询对象，您可通过SQL分析语句来处理对应表的数据。平台系统表...
时序引擎版本说明
功能优化 修复SQL子查询语句中包含时序过滤属性的聚合结果未出现在父查询中时，查询失败的问题。修复查询内存释放问题。修复分区的TTL参数值被删除时元数据持久化的问题。实例默认开启tsproxy健康检查。实例默认开启慢查询管理。优化读写...
UDTF概述
本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务场景。即其输入与输出是一对多的关系，读入一行数据，输出多个值可视为一张表。MaxCompute支持您通过如下两...
CREATE DATABASE AS（CDAS）语句
启动流程 当执行CDAS语句时，阿里云Flink将会按照以下流程执行：检查目标存储中是否存在目标库和结果表。如果不存在目标库，则通过目标端Catalog去目标存储中创建相应的目标库。如果存在目标库，则跳过建库，并检查目标库是否存在该结果表...
CREATE TABLE AS（CTAS）语句
启动流程 当执行CTAS语句时，将会按照以下流程执行：检查目标存储中是否存在该结果表。如果不存在，则通过目标端Catalog去目标存储中创建相应的结果表，该结果表具有和数据源相同的Schema。如果存在，则跳过建表。如果已存在的结果表与源表...
AUTO OPTIMIZE语句
优化流程 当执行AUTO OPTIMIZE语句时，阿里云Flink将会按照以下流程执行：检查要优化的表或者数据库是否存在，如果不存在则会报错。持续监控对应的表，如果表满足对应的优化条件，则会对表进行优化。前提条件 执行AUTO OPTIMIZE语句来优化...
普通数据变更
本示例以设置DELETE语句为高风险SQL，并指定执行 DELETE 语句工单的审批流程举例。设置审批流程。以管理员账号登录 DMS数据管理服务。在顶部菜单栏中，选择 安全与规范>审批流程。说明 若您使用的是极简模式的控制台，请单击控制台左上角的...
SQL 检查规范
用户在 SQL 窗口/创建数据库变更/创建表场景下执行 SQL 语句时，ODC 会根据配置的 SQL 检查规范检测 SQL 语句。本篇文档旨在介绍如何编辑和执行 SQL 检查规范。概念介绍 规则级别：是指某个 SQL-Check 规则的等级。规则级别划分为以下 3 类...
慢SQL
RDS的自治服务功能通过记录并分析高消耗的SQL语句，将聚合结果（慢SQL统计）和慢SQL明细展示在慢SQL统计页面，帮助您快速定位影响系统性能的SQL语句，简化调优流程。操作步骤 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在...
配置SQL审核优化建议
数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MariaDB、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL Oracle PolarDB PostgreSQL版（兼容Oracle）OceanBase 系统行为动作 DMS预定义了三种系统行为动作：必须...：若不改进该语句...
服务编排设计器内节点说明
基础类型/修改$bw.name="123"/读取 String nameLocal=$bw.name#结构对象$bw.user.name="123"String nameLocal=$bw.user.name 当静态变量和流程变量重名时，脚本中对变量的调用顺序和服务编排中相同，优先调用流程变量。变量调用的注意事项 ...
配置do-while节点
DataWorks为您提供循环节点（do-while节点），您可以重新编排do-while节点内部的业务流程，将需要循环执行的逻辑写在节点内，再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过...
无锁结构变更
任务流程 在任务详情面板中，单击 任务流程 页签查看发起任务状态、审批状态、执行状态和执行结果等信息。执行记录 在任务详情面板中，单击 执行记录 页签查看新表和源表 DDL。任务日志 在任务详情面板中，单击 任务日志 页签查看任务的...
MaxCompute分区表数据导入
本文为您介绍如何将MaxCompute分区表数据导入到Hologres分区表。前提条件 已购买并开通Hologres实例，开通方法请参见 购买Hologres。已开通MaxCompute并创建项目，详情请参见 开通MaxCompute和...同时在手工作业流程中会出现相关的DDL语句。
查询流程和执行计划
SQL查询的执行计划生成流程如下：客户端将SQL语句提交到 AnalyticDB MySQL版 的前端接入节点（即Controller节点）。更多关于接入节点的详情，请参见 技术架构。Controller节点中解析器（Parser）会对SQL语句进行解析并生成语法树，然后生成...
如何正确处理DDL异常
概述 作为一款分布式数据库，PolarDB-X 中的一条DDL语句背后隐藏着复杂的数据处理流程。例如创建一张拆分表时，实际上会在多个数据节点上创建很多张物理MySQL表。PolarDB-X 的DDL处理框架拥有一定的容错能力，会保证DDL的正确性和一致性。...
设置优化器的Join Reorder
查询优化器工作流程如下：输入由数据库解析SQL语句获得的初始查询计划。通过应用查询变换规则，由初始状态的查询计划生成等价查询计划。优化器通过结合统计信息与代价模型，从等价查询计划中选择出执行代价最小的查询计划，作为最终的执行...
概述
PolarDB 的Proxy提供了SQL防火墙功能，该功能通过设置黑白名单规则来识别需要放行和拦截的SQL语句。本文主要介绍SQL防火墙功能相关内容。背景信息 在实际应用场景中，如果数据库被攻击者撞库成功，攻击者可能会通过批量拖库的方式获取所有...
扫描（Scan）分析概述
SELECT api,count(*)AS PV GROUP BY api 工作流程 日志服务接收到扫描请求后，执行流程主要分为如下两步。先执行对应的查询语句进行日志查询。重要 查询语句仍依赖于索引。例如执行 status:200|set session mode=scan;SELECT api,count(*)...
配置服务集成
说明 编排流程必须以开始组件作为流程的开始，以结束组件作为流程的终止。规则集：支持类似 CASE WHEN 语句的条件判断规则。脚本：支持加入 Java 代码作为变量的处理。模型：在“模型部署”中部署成功的模型，支持在此处引用。分叉：支持...
案例二：搭建文档检索系统
搭建流程 创建文档数据表 创建文档数据表的SQL语句如下：CREATE TABLE enterprise_context(id bigint(20)NOT NULL AUTO_INCREMENT COMMENT '主键id',content text DEFAULT NULL COMMENT '内容',PRIMARY KEY(id))ENGINE=InnoDB COMMENT='...
步骤一：创建SQL分析任务
本文介绍创建SQL分析任务的操作流程，以及SQL分析工作台的查询对象、SQL语句编写区域和操作栏的功能。前提条件 已购买物联网平台的企业版实例，具体操作，请参见 购买企业版实例。背景信息 您可以使用SQL分析工作台，配置SQL分析任务。更多...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
创建EMR Spark SQL节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWroks。创建EMR相关节点并开发EMR任务前，您需要先将...
特殊用法
如果您声明了 EXCEPTION 块，则会进入异常处理的流程。如果您想跳过抛出异常的SQL语句继续循环执行，您需要确认数据库已经打开 语句级事务，并使用 SAVE EXCEPTIONS 的语法。此时，FORALL 语句会遍历完所有的变量，执行完所有SQL，然后抛出...
版本发布说明
优化存储过程的创建和删除流程，避免出现元数据残留问题。降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库...
添加变量类型的过滤器
操作流程 为Nginx访问日志添加变量类型的过滤器的操作流程如下：步骤一：查询和分析 通过查询和分析语句查看每分钟的访问PV的操作步骤如下：登录 日志服务控制台。在Project列表区域，单击目标Project。在控制台左侧，单击 日志存储，在 ...
创建EMR Presto节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR相关节点并开发EMR任务前，您需要先将...
短语查询
日志服务接收到短语查询请求后，执行流程主要分为如下两步：先执行对应的非短语查询语句进行日志查询。例如执行#"abc def"语句，实际先执行"abc def"语句。说明 为避免查询量太大，目前执行短语查询时，限制步骤1最多返回10,000条结果。在...
添加过滤器类型的过滤器
操作流程 为Nginx访问日志添加过滤器类型的过滤器的操作流程如下：步骤一：查询和分析 通过查询和分析语句查看每分钟的访问PV的操作步骤如下：登录 日志服务控制台。在Project列表区域，单击目标Project。在控制台左侧，单击 日志存储，在 ...
案例一：搭建以图搜图系统
搭建流程 创建图片数据存储表 创建图片数据存储表的SQL语句如下：CREATE TABLE image(id bigint(20)comment '主键id',image_address varchar(255)comment '图片存储地址',type int(8)comment '图片类型',primary key(id));其中，image_...
SQL审核
数据管理DMS 的SQL审核功能，支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。前提条件 数据库类型如下：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、其他来源MySQL。RDS MariaDB。...
权限策略判定流程
最小单元判定流程如下：权限判定遵循Deny优先原则，优先检查访问请求是否命中Deny语句。是：判定结束，返回判定结果为Explicit Deny（显式拒绝）。否：继续下一步判定。检查访问请求是否命中Allow语句。是：判定结束，返回判定结果为Allow...
流程质检规则创建
功能概述 在智能对话分析中，有四种质检规则：普通质检规则、流程质检规则、人工质检规则、会话质检规则。其中 流程质检规则 检查坐席是否按照流程规范去执行动作，适用于检测流程规范性的质检规则。流程质检能力是为了检测一线坐席的行为...
BEGIN（开启事务）
begin 语句用于开启单次事务。对于连续 begin，若用户通过 begin/start transaction/set autocommit=0 开启第一个事务，稍后未进行提交而进行第二个begin/start transaction，那么分布式数据库将隐式地帮助用户 commit 上一个事务，这个 ...
开通操作日志功能
操作日志指用户通过DMS系统发起所有操作的流水账式日志，包含纯管理、配置类的操作行为，也包含SQL窗口产生的SQL语句列表、工单列表、登录列表。本文介绍如何将DMS操作日志导入到日志服务进行查询分析等操作。前提条件 已开通日志服务。更...
SQL 窗口规范
用户在 SQL 窗口中执行 SQL 语句时，ODC 会根据配置的 SQL 窗口规范检查 SQL 语句。本篇文档旨在介绍如何编辑和执行 SQL 窗口规范。原理介绍 执行流程 ODC 系统管理员按照 ODC 提供的配置模板启用 SQL 审核集成、设置访问外部 SQL 审核系统...
- 产品推荐
- 这些文档可能帮助您