SQL审核最佳实践
数据管理DMS 的SQL审核功能，支持对SQL语句进行批量审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...
SQL脚本模式
当您面对大数据集的ETL任务、自动化定期任务、复杂查询编排等场景时，可以使用MaxCompute当前SQL引擎支持的脚本模式（Script Mode SQL）。在脚本模式下，一个多语句的SQL脚本文件将被作为一个整体进行编译，无需对单个语句进行编译；提交...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
RDS PostgreSQL慢SQL问题
在相同业务场景下，架构设计和库表索引设计会影响查询性能，良好的设计可以提高查询性能，反之会出现很多慢SQL（执行时间很长的SQL语句）。本文介绍导致慢SQL的原因和解决方案。查看慢SQL 控制台的 参数设置 中，可以找到名为 log_min_...
开发PyODPS 2任务
使用调度参数 单击节点编辑区域右侧的 调度配置，在 参数 区域配置自定义参数，PyODPS节点与SQL节点定义变量的方式不同，详情请参见 调度参数配置。与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_...
DDL语句
本文为您介绍Hudi与Spark SQl集成后，支持的建表语句。背景信息 Spark SQL创建Hudi表时，可以通过options设置表配置信息，options参数如下表所示。重要 0.10版本之后options被替换为tblproperties。参数 描述 是否必选 primaryKey 指定主键...
开发ODPS Script任务
DataWorks为您提供ODPS Script节点，其SQL开发模式是MaxCompute基于2.0的SQL引擎提供的脚本开发模式。本文为您介绍ODPS Script节点的使用。前提条件 已创建ODPS Script节点，详情请参见 创建并管理MaxCompute节点。背景信息 MaxCompute当前...
开发ODPS Script任务
DataWorks为您提供ODPS Script节点，其SQL开发模式是MaxCompute基于2.0的SQL引擎提供的脚本开发模式。本文为您介绍ODPS Script节点的使用。前提条件 已创建ODPS Script节点，详情请参见 创建并管理MaxCompute节点。背景信息 MaxCompute当前...
创建EMR Impala节点
您可以创建EMR（E-MapReduce）Impala节点，对PB级大数据进行快速、实时的交互式SQL查询。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先...
SQL错误码（ODPS-01CCCCX）
触发条件：使用数据动态脱敏时，直接执行 install package aegis.aegis_package;命令，未将待脱敏的MaxCompute项目添加至 脱敏project中，会出现此错误。处理方法：执行 install package aegis.aegis_package;命令前，请先将待脱敏的...
任务编排
本文介绍如何使用 数据管理DMS 任务编排的单实例SQL节点，将源表中6个月前的数据（历史数据）迁移（归档）至目标表中，并删除源表中已迁移的数据。应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力，满足数据同步、数据归档、...
执行MaxCompute SQL语句
从Hologres V0.10版本开始，Hologres与MaxCompute集成性进一步提升，支持在Hologres中执行MaxCompute的SQL语句，方便您直接快速操作MaxCompute。本文将为您介绍，在Hologres中如何执行MaxCompute SQL语句。前提条件 已开通Hologres并连接...
SQL洞察
PolarDB MySQL版 的 SQL洞察 功能已升级为SQL洞察和审计。SQL洞察和审计由数据库自治服务DAS提供，在全量请求和安全审计的基础上，融合了搜索、SQL洞察、安全审计以及流量回放和压测等功能，帮助您更好地获取SQL语句的具体信息、排查各种...
ClickHouse SQL
ClickHouse SQL可实现分布式SQL查询及处理结构化数据，提高作业的执行效率。DataWorks的ClickHouse SQL节点可进行ClickHouse SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ClickHouse SQL节点进行任务开发的主要...
基于Python DB-API的应用开发
print(sql_upsert)stat.executemany(sql_upsert,[(2,2),(3,3)])#删除数据 sql_delete="delete from test_python where c1=2"print(sql_delete)statement.execute(sql_delete)#修改数据 sql_update="upsert into test_python(c1,c2)values...
删除分析存储
当不再需要使用分析存储来存储与分析时序数据时，您可以使用DeleteTimeseriesAnalyticalStore接口删除时序表下的分析存储。前提条件 已创建时序表和分析存储。具体操作，请参见 创建时序表 和 创建分析存储。已初始化TimeseriesClient。...
错误码
按性能分析报告与DBA建议优化业务SQL语句；使用 PolarDB-X 读写分离将跨库查询转发至读库处理；升级更高规格的 PolarDB-X，提升后端处理能力；联系技术支持调整 PolarDB-X 后端连接数。PXC-4104 ERR_ATOM_CREATE_CONNECTION_TOO_SLOW 描述...
时序引擎版本说明
3.4.4 2021年12月14日 新特性 SQL支持IF EXISTS语法。SQL支持SHOW PRIVILEGES和SHOW PARAMETER语法。降采样interval支持毫秒（ms）。CREATE TABLE语法必须指定TIME和FIELD列，并支持指定分区规则。限制最多Field列数为1024。删除默认结束...
创建压测场景
PTS的JDBC压测功能支持对MySQL（MySQL 5.x、MySQL 8）、SQL Server、PostgreSQL、MariaDB数据库进行压测。本文介绍如何使用JDBC压测功能。背景信息 JDBC（Java Database Connectivity，Java数据库连接）通过Java API访问关系型数据库，并可...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Go-SQL-Driver/MySQL 驱动和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 go-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置...
增强E-R
在任务节点的编写SQL区域，写入如下SQL：示例SQL/*DMS任务编排，每天重复调度一次*/drop table if exists ods_huiyuan_df;create table IF NOT EXISTS `ods_huiyuan_df` AS SELECT `user_name`,`tel_number` FROM `ods_huiyuan_t2` T+1日后...
批计算
spark-sql-jars/opt/apps/SPARK-EXTENSION/spark-extension-current/spark2-emrsdk/*启动界面如下所示。创建Spark外表同时连接全局二级索引。参数 参数 说明 endpoint 表格存储 实例访问地址，建议使用 VPC 地址。使用 VPC 时，请确保 EMR ...
搜索
前提条件 已单击 一键开启，开启 SQL洞察与压测 功能。如果是RAM用户，使用 搜索 功能时，需要为RAM用户授予 AliyunDRDSReadOnlyWithSQLLogArchiveAccess 权限。如何为RAM用户授权，请参见 为RAM用户授权。说明 您也可以通过自定义权限策略...
创建SA权限的数据库账号
SA（System Admin）角色是SQL Server中最强大的角色，该角色完全绕过所有安全检查，可以在SQL Server中执行任何操作。您可以在RDS SQL Server中创建具备SA权限的数据库账号（超级权限账号），可用于快速适配线下软件上云等场景。前提条件 ...
通过JDBC协议分析日志
status>200|select avg(latency),max(latency),count(1)as c GROUP BY method ORDER BY c DESC LIMIT 20 您可以将上述查询和分析语句中的分析语句与时间条件组合成为查询条件，变成标准SQL92语法，如下所示：select avg(latency),max...
通过Spark SQL读写OSS外表
本文以OSS Parquet格式为例介绍如何通过Spark SQL读写OSS外表。前提条件 已创建 湖仓版（3.0）集群。详情请参见 创建湖仓版集群。已创建Job型资源组。详情请参见 新建资源组。已创建数据库普通账号，并将RAM用户（子账号）绑定到 ...
SQL洞察
SQL Review：对选定区间与基准区间内的数据库实例进行workload分析，并且对数据库实例中运行的SQL进行深度分析，展示数据库实例的索引优化建议、SQL改写建议、TOP SQL、新增SQL、失败SQL、SQL特征分析、执行变化SQL、性能恶化SQL和TOP流量...
使用SSMS和BCP迁移SQL Server数据库
END EXEC sys.sp_MSforeachtable@sql-=Disable/Enable triggers on all tables DECLARE cur_triggers CURSOR LOCAL STATIC FORWARD_ONLY READ_ONLY FOR SELECT tb_schema=SCHEMA_NAME(tb.schema_id),tb_object_name=tb.name,tr_schema=...
通过脚本模式生成API
SQL模式 包括 基础SQL 和 高级SQL：基础SQL：通过基础SQL语法来编写查询逻辑，与旧版SQL的支持能力一致。高级SQL：通过支持MyBatis标签的SQL语法来编写查询逻辑。目前支持的标签类型包括：if、choose、when、otherwise、trim、foreach和...
Spark Connector
使用限制 目前Spark Connector只能使用独享Tunnel并发资源组，不能使用共享资源组，详情请参见 购买与使用独享数据传输服务资源组。不支持读写JSON数据类型的数据。不支持读写外部表、聚簇表、物化视图和视图的数据。操作步骤 部署Spark...
通过Spark SQL读写Delta外表
前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作，请参见 新建资源组。已创建湖仓版（3.0）集群的数据库账号。如果是通过阿里云账号访问，只需创建高权限账号。...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
前提条件 RDS SQL Server实例版本为2008 R2云盘、2012及以上，且实例中没有与待上云数据库名称相同的数据库。如需创建实例，请参见 创建RDS SQL Server实例。说明 RDS SQL Server 2008 R2云盘实例已停止新售，详情请参见【停售/下线】2023...
内置的安全审计规则
风险等级 拖库攻击 使用DUMPFILE导出 高 拖库攻击 使用PG_DUMP工具导出 高 拖库攻击 写文件（POSTGRESQL语法）高 拖库攻击 疑似利用UTL_FILE攻击 高 拖库攻击 工具导出操作（ORACLE语法）高 拖库攻击 使用MYSQLDUMP工具导出 高 拖库攻击 ...
高级查询的SQL语法
您可以在高级查询中使用SQL语法，查询或分析您通过跟踪投递到日志服务SLS的日志事件。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹或被双引号（""）包裹的字符表示字段名或列名。例如：'status' 表示...
查看审计日志
保存查询条件后，如果您后续需要使用相同查询条件，不需要重新设置，可以直接在查询条件下拉列表中选择已保存的查询条件。单击 搜索，执行查询。说明 一次查询最多可查询10,000条记录。完成查询后，在 审计日志 页面下方查看返回记录。可选...
采集SQL Server查询结果
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集SQL Server查询结果。前提条件 已在服务器上安装Linux Logtail 1.2.1及以上版本。更多信息，请参见 安装Logtail（Linux系统）。重要 请确保用于安装Logtail的服务器可连接目标数据...
NodeType参数说明
本文列举任务编排 与数仓开发 中任务节点类型与NodeType的取值关系。任务节点类型 NodeType 单实例SQL 1...32 DTS位点检查 33 Lindorm文件检查 35 跨库Spark SQL 36 离线数据集成 38 Lindorm Spark 41 ECS远程命令 42 ADB Spark 47 循环SQL 48
使用Java SDK创建定时SQL任务
displayName my-scheduled-sql-job 定时SQL任务的显示名称。在日志服务控制台，选择 任务管理>定时SQL，可以查看定时SQL显示名称列表。description this is a scheduled sql job.定时SQL任务描述。configuration scheduledSQLConfiguration...
通过直连数据源模式创建API
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连API模式生成API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 API创建方式选择 对话框。在 ...
- 产品推荐
- 这些文档可能帮助您