Spark SQL
from pyspark.sql import SparkSession if_name_="_main_":#init pyspark context spark=SparkSession \.builder \.appName("Python SQL Test")\.getOrCreate()#create a database spark.sql("create database if not exists dlatest ...
SQL审核最佳实践
数据管理DMS 的SQL审核功能，支持对SQL语句进行批量审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...
慢 SQL 监控
数据访问代理中，慢 SQL 监控 是通过 阿里云日志服务 SLS 收集数据访问代理实例的 SQL 执行日志，将日志存储到用户空间中，在收集到 SQL 数据后，以图表的方式展示出收集到的 SQL 详情。其中，慢 SQL 是指执行耗时大于等于 500ms 的 SQL。...
配置Lindorm Spark节点
任务类型 选择任务类型：JAR Python SQL 在 作业配置 区域，配置JSON请求参数。作业的基本参数配置：参数 说明 示例值 mainResource 作业文件（.jar、.py、.sql）在OSS上的存储路径。oss:/bucket/path/spark-examples.jar mainClass.jar...
检测攻击类型说明和防护建议
SQL注入 SQL注入手段通过把SQL命令插入到页面请求或Web表单的查询字符串中，以达到欺骗服务器执行指定SQL语句的目的。它可以通过在Web表单中输入SQL语句，得到存在安全漏洞的网站上的数据。SQL注入是由拼接SQL语句引起的。请尽可能使用预...
查看数据报表
SQL质量监控 SQL质量监控 通过对用户SQL的多维度分析，提供概览、SQL服务指标、SQL Pattern、质量优化和建议等，帮助您监控和优化SQL，提升查询和分析的效率。报表的基本结构可以包括以下 5 个部分：概览。SQL服务指标。运行明细指标。SQL ...
查询管理SQL
监控慢SQL 监控慢SQL时控制台提供对选定时间区间内的慢SQL进行趋势统计、趋势监控和慢SQL详情。登录 云数据库ClickHouse控制台。在页面左上角，选择目标集群所在的地域。在 集群列表 页面，选择目标集群对应类型的 实例列表，单击目标集群...
SQL洞察
通过SQL洞察功能，可以实时监控SQL的运行状态，并基于这些数据做出有针对性的优化决策。MSE提供秒级的SQL洞察，具备完善的SQL审计能力，可以有效地评估系统的整体表现。背景信息 系统中出现慢SQL可能会导致CPU、负载异常和系统资源耗尽等...
SQL审核
数据管理DMS 的SQL审核功能，支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。前提条件 数据库类型如下：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、其他来源MySQL。RDS MariaDB。...
sql_firewall
SQL防火墙是数据库层面的防火墙功能，可以防止恶意SQL注入。可以用来学习一些定义好的SQL规则，并将这些规则储存在数据库中作为白名单，学习完成后，可以限制用户执行这些定义规则之外的风险操作。注意事项 sql_firewall插件需要使用共享...
sql_firewall
SQL防火墙是数据库层面的防火墙功能，可以防止恶意SQL注入。可以用来学习一些定义好的SQL规则，并将这些规则储存在数据库中作为白名单，学习完成后，可以限制用户执行这些定义规则之外的风险操作。前提条件 PolarDB PostgreSQL版 版本为...
使用前须知
提供丰富的可视化报表，包括全局概览、访问监控、采集监控、操作监控、作业监控、额度监控、SQL质量监控和计费资源监控这七大类报表。更多信息，请参见 查看数据报表。支持查看当前阿里云下符合条件的Project和Logstore的Quota信息。条件...
性能与 SQL 监控详情
监控指标项 监控指标名 指标说明 QPS sql_all_count sql_delete_count sql_insert_count sql_other_count sql_replace_count sql_select_count sql_update_count 租户数据库每秒处理的不同 SQL 语句数量，单位：times/s。响应时间 sql_all_...
SQL请求行为识别
SQL请求行为识别 是数据库自治服务DAS的一个功能，它可以帮助您在业务量多的情况下识别异常请求的SQL，提高问题定位的效率。本文将为您介绍 SQL请求行为识别 的使用场景及设置方法。前提条件 实例版本为：RDS MySQL 5.6、5.7、8.0 MyBase ...
功能特性
SQL注入 提供系统性的SQL注入库，以及基于正则表达式或语法抽象的SQL注入描述，发现数据库异常行为立即告警。黑白名单 通过准确而抽象的方式，对系统中的特定访问SQL语句进行描述，在这些SQL语句出现时立即告警。精细化报表 综合分析报表 ...
设置告警
危险SQL监控主要是通过监控SQL中是否包含注入语句关键词、是否存在访问元数据表information_schema。参数配置 告警名称：告警名称。行动策略：当前告警监控规则所绑定的行动策略，日志服务将通过该行动策略给指定用户发送告警通知。默认为 ...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
Python 3 UDAF
Python 2 UDAF迁移 Python 2官方即将停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDAF的MaxCompute项目。建议所有的Python UDAF都直接使用Python 3语言编写。存量项目：创建了大量...
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
安全审计
数据库自治服务DAS 提供安全审计功能，可以自动识别高危操作、SQL注入、新增访问等风险。本文介绍如何在SQL洞察和审计功能中进行安全审计。前提条件 数据库实例为：RDS MySQL PolarDB MySQL版 已在DAS中接入对应的数据库实例，并且接入状态...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
内置的安全审计规则
数据库审计规则按照以下攻击场景进行分类：异常操作 应用账号风险操作 运维人员风险操作 数据库探测 数据泄露 拖库攻击 数据库外联 大流量返回 漏洞攻击 缓冲区溢出 存储过程滥用 拒绝服务漏洞 隐通道攻击 SQL注入 SQL注入尝试利用 疑似SQL...
安全审计
说明 DAS会持续不断地监控和识别数据库中是否存在SQL注入的情况，并且发现访问来源。高风险 新增访问来源 DAS会与历史的访问来源纪录进行对比，自动识别新增的访问来源，帮助您确认是否存在未知的机器访问。说明 过去七天没有出现过的访问...
UDF（嵌入式）
本文为您介绍如何通过代码嵌入式UDF（Embedded UDF）将Java或Python代码...Python代码的缩进需要符合Python语言规范。由于注册Python UDF时 AS 后的类名需要包含Python源码的文件名，您可以通过 'filename'='embedded' 指定一个虚拟文件名。
SQLQuery
使用SDK Java SDK：SQL查询 Go SDK：SQL查询 Python SDK：SQL查询 Node.js SDK：SQL查询.NET SDK：SQL查询 PHP SDK：SQL查询 服务能力单元消耗 SQL本身不会有额外的费用，但是使用SQL查询数据过程中涉及到的表扫描、索引查询等操作会产生...
Python 2 UDAF
本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
Python 2 UDTF
本文为您介绍如何通过Python 2语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDTF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
UDF开发（Python2）
本文为您介绍如何通过Python 2语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
安装宽表SQL Driver
Python Lindorm面向Python语言应用开发提供了遵循Python语言 DB-API 接口规范的Driver。关于该Driver的安装和使用，请参见 使用Python DB-API的应用开发。SQL的开发与测试 需要编写在应用逻辑中的SQL语句建议在开发阶段先进行充分验证后再...
Flag参数列表
取值范围：0 MiB~8192 MiB JOIN SQL Session odps.sql.python.version 设置运行SQL句的Python版本。cp27 cp37 UDTF UDAF SQL Session odps.sql.select.output.format 设置是否在MaxCompute客户端的返回结果中显示表头信息。关于使用...
SETPROJECT
取值范围：0 MiB~8192 MiB JOIN SQL Session odps.sql.python.version 设置运行SQL句的Python版本。cp27 cp37 UDTF UDAF SQL Session odps.sql.select.output.format 设置是否在MaxCompute客户端的返回结果中显示表头信息。关于使用...
访问RDS SQL Server示例
function:name:sql_server description:visit sql server runtime:python3 codeUri:./code handler:index.handler memorySize:256 timeout:60 environmentVariables:MSSQL_SERVER:rm-bp1lbgwj1pw87*.sqlserver.rds.aliyuncs.com # 数据库接...
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
SQL查询
本文介绍了通过表格存储Python SDK使用SQL语句时支持的操作。重要 表格存储Python SDK从版本开始支持SQL查询功能。使用SQL查询功能时，请确保获取了最新的Python SDK版本。关于Python SDK历史迭代版本的更多信息，请参见 Python SDK历史...
UDF示例：获取URL中指定位置的字符
} } } 使用Java语言编写UDF代码必须继承UDF类，本例中 evaluate 方法定义了 string 类型和 bigint 类型的入参和 string 类型的返回值，输入参数和返回值的数据类型将作为SQL语句中UDF的函数签名Signature，其他代码规范和要求请参考：UDF...
性能监控
数据访问代理提供了 SQL 性能监控面，帮助业务实时监控业务 SQL 的执行情况。操作步骤 进入数据访问代理控制台，单击左侧导航栏上的 监控。在监控页面的左上角 实例名 的下拉菜单中，选择您想要查看的实例。在页面的右上角，选择您想要查看...
赋值节点
赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点引用。您可结合节点上下文配置，参考本文使用赋值节点。注意事项 部分节点可通过节点...
SQL诊断功能介绍
AnalyticDB MySQL版 集群提供了SQL诊断功能，支持通过多种条件检索出符合条件的SQL查询（如慢查询），并将检索结果以图形化的方式展示，您还可以将检索结果下载保存到本地进行查看。本文介绍如何进入SQL诊断页面以及支持的检索方式。进入...
RDS安全
RDS慢SQL检测 RDS大批量数据删除告警 RDS外网访问检测 RDS查询SQL平均执行时间监控告警 RDS数据库更新峰值监控告警 RDS数据库查询峰值监控告警 RDS实例释放告警 RDS高频访问IP检测 RDS更新SQL平均执行时间监控告警 RDS登录失败次数过多告警...
SQL 诊断概述
本文介绍 SQL 诊断页面的信息，包括 SQL 统计、性能监控、租户级请求分析、性能监控和 SQL 列表。统计信息 在统计信息区域，您可以根据时间进行筛选，查看当前实例内可疑 SQL、SlowSQL、高危 SQL 和 新增 SQL 的数量，以及各租户下的对应...
- 产品推荐
- 这些文档可能帮助您