配置Spark SQL任务参数

Spark SQL任务参数 Spark SQL配置默认支持以下任务参数。参数名称 参数默认值 描述 spark.executor.instances 1 静态分配的执行器数量。spark.executor.cores 1 每个执行器上使用的核心数量。spark.executor.memory 1G 执行程序进程使用的...

执行离线评估

MyBatis 文件:将 MyBatis 中的一个或多个 SQL 配置文件,压缩为一个 zip 包后进行上传。iBatis 文件:将 iBatis 中的一个或多个 SQL 配置文件,压缩为一个 zip 包后进行上传。采集文件:您可以下载迁移评估采集器进行数据采集,采集完成后...

配置MaxCompute Studio

MaxCompute SQL配置选项 在 Settings 对话框左侧导航栏上,单击 MaxCompute Studio>MaxCompute SQL,进入MaxCompute SQL配置选项页。在MaxCompute SQL配置选项对话框配置如下信息:语法高亮 选中 Enable syntax coloring,启动语法高亮功能...

配置说明

配置说明 配置类别 对应于DataFrame API SQL配置格式 说明 是否必选 queryName writeStream.queryName(.)SET streaming.query.name=$queryName 每个Stream Query的名称,各个Query的配置项会根据名称来区分。是 option writeStream.option...

开发及提交SQL脚本

本文为您介绍如何在MaxCompute ...显示预估SQL费用依赖在 MaxCompute SQL配置选项 勾选 Show sql cost confirm dialog when script submitted 在控制台 结果 页签查看SQL运行结果。单句模式下存在多条语句时,系统会显示每条语句的运行结果。

风险审计报告

说明 该评估项依赖于SQL审核优化建议,具体SQL规范配置信息,请参见 配置SQL审核优化建议。自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、PolarDB分布式版。元数据 评估该实例下所有数据库的表结构存在的风险。例:整型自增...

从Logstore到MetricStore

SQL配置 指标列 日志服务 会根据您输入的查询和分析语句聚合数据,您可以选择查询和分析结果中列值为数值类型的一列或多列作为指标列。更多信息,请参见 时序数据(Metric)。Labels 日志服务 会根据您输入的查询和分析语句聚合数据,您...

从MetricStore到MetricStore

SQL配置 结果指标名 如果您要修改您所分析的指标名,您可以输入修改后的指标名。更多信息,请参见 时序数据(Metric)。重要 建议分析的对象为单个指标时,修改指标名,实现重命名。如果分析对象为多个指标,则修改指标名后,会将所有的...

配置跨库Spark SQL节点

可选:在跨库Spark SQL配置页面,单击 变量设置,配置SQL语句中需要引用的变量。您可以单击 变量设置 区域右上角的,查看配置变量的提示信息。单击 节点变量 页签,配置节点变量。具体配置,请参见 配置时间变量。单击 任务流变量 页签,...

配置循环SQL节点

循环SQL节点可循环生成SQL语句,再将其分批提交给DMS管理的任意关系型数据库执行,同时,还可以搭配变量,控制SQL循环次数,达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。本文介绍配置循环SQL节点的操作步骤。背景信息 任务编排...

SQL脚本

SQL脚本是自定义SQL组件,您可以通过SQL脚本编辑器编写SQL语句,并提交至MaxCompute执行。本文为您介绍SQL脚本的组件配置和使用场景。组件配置 Designer 仅支持通过可视化方式,配置SQL脚本组件的参数,组件参数配置如下所示。参数 描述 ...

配置SQL执行控制

本文介绍在安全规则中配置SQL执行任务时的参数、策略和无锁结构变更参数的方法。前提条件 系统角色为管理员或DBA。查看系统角色,请参见 查看我的系统角色。管控模式为安全协同的实例,支持SQL执行控制。查看管控模式,请参见 查看管控模式...

SQL洞察

Top SQL洞察:通过SQL执行的Top SQL洞察列表,直观地展示高RT的SQL语句,可以快速定位应用变慢的根因,并可以通过单击 操作 下方的 SQL防护 配置SQL防护规则。具体操作,请参见 慢SQL治理。Druid连接池统计数据:可以查看接口最大连接数、...

自定义SQL Console的使用规范

配置单次执行SQL的最大个数 本示例将配置SQL Console页面单次执行SQL的最大个数为5。配置安全规则。进入安全规则详情页。在 详情 页左侧的导航栏中,单击 SQL窗口,并单击 SQL执行数量规范。找到 控制单次执行SQL个数 规则名,单击右侧的...

超出备份空间免费额度怎么办

增加存储空间请参见如下文档:MySQL变更配置 SQL Server变更配置 PostgreSQL变更配置 MariaDB变更配置 减少备份保留天数:您可以设置数据备份和日志备份保留7天。超过7天的备份会被自动删除以减少空间占用。详细操作请参见如下文档:自动...

配置SQL赋值节点

本文介绍配置SQL赋值节点的方法。背景信息 SQL赋值节点赋予任务流获取表中数据作为下游节点的变量的能力。变量在任务节点中的应用如下:在单实例SQL节点中,变量可以作为表名,或用在筛选条件中。在脚本代码节点中,变量可以作为脚本的参数...

Spark SQL执行方式

线程级的配置可以通过配置SQL生效。应用级别的配置,需要重启ThriftServer引擎才能生效。如需修改应用级别的配置,需要先停止ThriftServer,参数配置完成后重新启动ThriftServer引擎。启动和停止ThriftServer的操作,请参见 启停...

步骤一:创建SQL分析任务

本文介绍创建SQL分析任务的操作流程,以及SQL分析工作台的查询对象、SQL语句编写区域和操作栏的功能。前提条件 已购买物联网平台的企业版实例,具体操作,请参见 购买企业版实例。背景信息 您可以使用SQL分析工作台,配置SQL分析任务。更多...

概述

配置循环SQL节点 跨库Spark SQL 基于Spark引擎,实现大规模跨库数据传输和数据加工,主要针对各类跨库数据同步和数据加工场景。配置跨库Spark SQL节点 Lindorm Spark 通过Lindorm计算引擎高效地完成分布式计算任务,满足用户在数据生产、...

设置黑名单规则

黑名单规则 Proxy提供的一种拦截能力,您可以通过配置黑名单规则来拦截指定类型的SQL语句或具体的SQL语句。当前支持通过以下三种方式配置黑名单规则:固定规则模式:在控制台设置的常见的黑名单规则模式,每一种规则可以设定对某个账号以及...

Sql与OpenSearch查询语法的对比

大部分的开发者应该对SQL是再熟悉不过了,因此这里反客为主,咱们以SQL执行逻辑的顺序去介绍OpenSearch是如何实现如下的操作单元的,如下是SQL的执行逻辑:(1)FROM(2)ON(3)JOIN(4)WHERE(5)GROUP BY(6)WITH {CUBE|ROLLUP}(7)HAVING(8)SELECT...

普通数据变更

数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句,可以对数据库中的数据进行变更操作,用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...

超级SQL模式

背景信息 为增强数据库的安全性和稳定性,管理员和DBA通常会配置SQL窗口的安全规则,例如限制用户在SQL窗口中执行生产库的DML,DML仅允许通过工单的形式执行。但上述安全规则也会给管理员和DBA等高权限的人员造成一定的不便,如果管理员和...

SQL查询概述

Dataphin分析平台提供SQL查询功能,可在平台上创建SQL查询并编写SQL代码查询所需的数据,同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据:通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作,并支持...

SQL查询概述

Dataphin分析平台提供SQL查询功能,可在平台上创建SQL查询并编写SQL代码查询所需的数据,同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据:通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作,并支持...

步骤三:设置任务调度策略并发布

如果需要调整SQL分析任务输出的存储表的结构,且保留原已生成的数据存储表的数据,请重新创建并配置SQL分析任务。修改或删除已发布的SQL分析任务前,需先撤销该任务。仅可修改或删除状态为 未上线 和 已下线 的SQL分析任务。不可恢复已删除...

Java UDF最佳实践

在代码编写页面,单击页面上方的 调度配置配置调度参数,详情请参见 配置逻辑表调度属性 保存、提交和发布SQL任务。单击页面右上方的 图标,保存代码。单击页面右上方的 图标,提交代码。在 提交备注 对话框,填写备注信息。单击 确定并...

SQL窗口-关系型数据库

SQL窗口模块检测点 检测点 规则说明 基础配置项 规则集的基础配置,包括单次查询最大返回行数、结果集是否支持编辑、是否允许对敏感数据进行计算等。SQL执行数量规范 控制单次提交SQL的个数。DQL SQL规范 增加执行DQL SQL类型的限制。其他...

Java UDF最佳实践

(可选)调度运维 如果需要定期的运行SQL任务,则需要配置SQL任务的调度参数并发布至生产环境,参与生产环境的调度。在代码编写页面,单击页面上方的 调度配置配置调度参数,详情请参见 调度配置。保存、提交和发布SQL任务。单击页面右...

SQL Server逻辑备份

配置备份计划 本文以配置RDS SQL Server逻辑备份计划为例,介绍配置流程。登录 DBS控制台。单击左侧导航栏中的 备份计划,然后在上方选择目标地域。找到目标备份计划ID,单击右侧 操作 列下的 配置备份计划。在 配置备份源和目标 页面,...

开启SQL独享版

当您使用SQL分析时,如果数据量较大,SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志,返回的结果可能不包括所有匹配的数据,增加Shard可以提升读写能力,但只对新写入的数据生效。您可以通过开启SQL独享版,增加计算资源,提升...

查询拦截

本文介绍 云数据库 SelectDB 版 提供的SQL查询拦截相关功能,帮助您进行SQL管理。概述 在生产环境的部分场景下,需要对可执行的SQL语句做出限制,例如屏蔽删除或某些已知的高风险查询语句。为满足此类场景需求,SelectDB提供了SQL查询拦截...

SQL Server物理备份

数据库备份DBS提供全量备份、增量备份和数据恢复能力,本文介绍配置SQL Server物理备份的操作步骤。前提条件 数据库的版本为:SQL Server 2019、2017、2016、2014、2012、2008R2、2005、2000。说明 仅支持本地自建数据库和云服务器上的自建...

设置白名单规则

配置SQL防火墙规则 参数名称 是否必填 描述 基本信息 规则名称 是 SQL防火墙规则的名称。规则名称需满足以下条件:使用数字和英文字母组成。字符长度不能超过30个字符。规则描述 否 描述该规则的相关信息,便于后续管理。说明 字符长度不能...

离线集成管道通道配置

数据库配置 SQL执行超时时长 应用于准备语句SQL和完成语句SQL的执行超时时长,任一SQL语句执行超过该时长则置任务失败。默认30分钟,最小值为1,最大值为2880分钟(48小时)。重要 输出组件所配置的查询超时优先于管道配置的查询超时时间。...

离线集成管道通道配置

数据库配置 SQL执行超时时长 应用于准备语句SQL和完成语句SQL的执行超时时长,任一SQL语句执行超过该时长则置任务失败。默认30分钟,最小值为1,最大值为2880分钟(48小时)。重要 输出组件所配置的查询超时优先于管道配置的查询超时时间。...

新功能发布记录

配置条件分支节点 任务编排中新增SQL赋值任务节点 新增 SQL赋值节点可以读取数据,并将读取到的数据赋值给该节点的输出变量。配置SQL赋值节点 08月 功能名称 变更类型 功能描述 相关文档 数据管理DMS升级到5.0版本 迭代 数据管理DMS 5.0...

新功能发布记录

02-20【新功能/规格】RDS SQL Server Serverless公测活动结束,正式版上线 01月 类别 功能名称 功能描述 发布时间 相关文档 优化 变更配置 对于驱动已经更新的RDS SQL Server实例支持无损扩容,您在仅变更存储类型等级(PL等级)和存储空间...

安装SharePoint Server 2016

系统环境 要求 服务器 操作系统:Windows Server 2012 R2、Windows Server 2016、Windows Server 2019 vCPU和内存:4vCPU 8 GiB(请根据真实环境设计架构以及购买服务器配置)数据库 SQL Server 2012、2014、2016、2017、2019、2022 服务及...

【新功能/规格】2023年08月16日起RDS SQL Server Web...

8GB mssql.u2.large.w1 4核 8GB mssql.u4.large.w1 4核 16GB mssql.u2.xlarge.w1 8核 16GB mssql.u4.xlarge.w1 8核 32GB mssql.u2.2xlarge.w1 16核 32GB mssql.u4.2xlarge.w1 16核 64GB 费用说明 以华东1(杭州)地域为例,购买独享入门...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云服务器 ECS DDoS防护 云备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用