用户可以通过SQL语句创建定时任务,并在指定的时间点或时间间隔内自动执行任务。pg_cron 的优势如下:简单易用:执行SQL语句即可创建、调度和管理任务,无需额外的编程或配置。灵活的调度选项:支持按分钟、小时、日期、星期、月份及其组合...
用户可以通过SQL语句创建定时任务,并在指定的时间点或时间间隔内自动执行任务。pg_cron 的优势如下:简单易用:执行SQL语句即可创建、调度和管理任务,无需额外的编程或配置。灵活的调度选项:支持按分钟、小时、日期、星期、月份及其组合...
用户可以通过SQL语句创建定时任务,并在指定的时间点或时间间隔内自动执行任务。pg_cron 的优势如下:简单易用:执行SQL语句即可创建、调度和管理任务,无需额外的编程或配置。灵活的调度选项:支持按分钟、小时、日期、星期、月份及其组合...
定时任务 原因及现象 如果实例负载随时间有规律性变化,可能是存在定时任务。说明 您可以在 监控与报警 页面的 标准监控 页签查看相关监控信息。解决方案 调整定时任务的执行时间,建议在业务低峰期执行。总结 RDS上定位慢SQL的主要方法...
定时SQL任务的SQL分析权限 定时SQL任务在源Logstore、源MetricStore中执行SQL分析操作时,需具备SQL分析权限,详细说明如下:默认角色:默认角色AliyunLogETLRole具备执行SQL分析的权限,因此您可以授权定时SQL任务扮演默认角色来获取SQL...
您可以在定时SQL的管理页面进行查看定时SQL任务基础信息、查看执行实例、重试、修改或删除定时SQL任务等操作。前提条件 已创建定时SQL任务。具体操作,请参见 从Logstore到Logstore、从Logstore到MetricStore 或 从MetricStore到...
工作原理 当创建一个降采样配置时,会根据配置的存储时长创建时序子库,并根据配置的聚合周期创建降采样定时任务。第一条降采样配置,由主时序库向第一个时序子库中写入;第二条降采样配置,由第一个时序子库向第二个时序子库中写入,...
日志服务定时SQL已内置监控规则模板,您只需添加对应的告警规则即可实时监控定时SQL任务,并可通过钉钉等渠道接收到告警通知。本文介绍设置告警的相关操作。前提条件 已创建定时SQL任务。如果是将源Logstore中的数据通过定时SQL处理后存储...
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库(Logstore和MetricStore),确保数据不会重复写入,也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
任务显示名 ali-test-scheduled-sql description string 否 任务描述 创建一个定时SQL任务 schedule Schedule 是 任务调度配置 configuration ScheduledSQLConfiguration 是 任务配置 返回参数 名称 类型 描述 示例值 headers object ...
您在创建定时SQL任务时,可指定SQL时间窗口。定时SQL任务运行时,日志服务仅分析该SQL时间窗口内的日志。本文介绍SQL时间窗口相关的时间表达式语法。操作符 时间表达式支持的操作符如下表所示:操作符 说明+加号-减号@取整操作符,根据时间...
displayName string 是 任务显示名 ali-test-scheduled-sql description string 否 任务描述 更新定时SQL任务 schedule Schedule 是 任务调度配置 configuration ScheduledSQLConfiguration 是 任务配置 返回参数 名称 类型 描述 示例值 ...
nginx object total integer Project 下总的定时 SQL 任务数量 80 count integer 当前返回的定时 SQL 任务数量 10 results array 定时 SQL 任务列表 ScheduledSQL 定时 SQL 任务配置 示例 正常返回示例 JSON 格式 {"total":80,"count":10,...
日志服务定时SQL任务运行时,将在源Logstore中执行SQL分析操作,并将分析结果保存到目标存储中。您可以授予定时SQL任务使用自定义角色来完成以上操作。如果源Logstore和目标Logstore属于同一个阿里云账号,您可参考本文档完成授权操作。...
5B0A6B60BB6EE39764D458B5 ScheduledSQL 定时 SQL 任务配置 示例 正常返回示例 JSON 格式 {"description":"This is a scheduled sql job","displayName":"This is a scheduled sql job","name":"test-scheduled-sql","schedule":{"type":...
删除指定的定时SQL任务 接口说明 地域 服务入口 韩国(首尔)ap-northeast-2.log.aliyuncs.com 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
作业监控 作业监控 仪表盘用于展示数据导入任务(新版)、投递任务(新版)或定时SQL任务运行情况,包括读成功条数、读失败条数、写成功条数、写失败条数、读公网流量、写公网流量、处理速率、进度落后、运行异常等图表。额度监控 额度监控...
管理语句:对DDL任务进行查看或者操作的 PolarDB-X 1.0 专有的SQL语句。任务ID:DDL任务的唯一标识,是一个64位有符号的长整型数值。任务状态:DDL任务的内部状态。关于任务管理语句的语法和用法,请参见 任务管理语句。
您可以创建EMR(E-MapReduce)HIVE节点,通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务...
使用SQL语句创建任务。在SQL编辑区域输入任务代码,示例如下。show tables;CREATE TABLE IF NOT EXISTS userinfo(ip STRING COMMENT'ip地址',uid STRING COMMENT'用户ID')PARTITIONED BY(dt STRING);ALTER TABLE userinfo ADD IF NOT ...
手动调度SQL分析任务 SQL分析任务发布后,系统按周期调度任务。您也可以根据需要,进行手动调度任务。在 分析洞察 页面,单击 任务运维。在 任务运维 页面下,单击 手动实例 页签,然后单击 新建手动任务。在 新建手动任务 面板中,完成...
使用SQL语句创建任务。在SQL编辑区域输入任务代码,示例如下。show tables;CREATE TABLE IF NOT EXISTS userinfo_new_${var}(ip STRING COMMENT'ip地址',uid STRING COMMENT'用户ID')PARTITIONED BY(dt STRING);可以结合调度参数使用。说明...
查看定时任务 您可以通过如下语句查看当前用户创建的定时任务列表:select*from sys.user_jobs;查看任务执行记录 您可以通过如下语句查看定时任务的执行记录:select*from dbmsjob.pga_joblog;跨库执行定时任务 由于DBMS_JOB只能配置在 ...
您可以通过创建MySQL节点,直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组,独享调度资源组的使用请参考文档:新增和使用独享调度资源组。已通过连接串...
在SQL编辑页面,编写SQL语句完成任务调试和运行。任务流编排(JDBC作业)通过以下步骤可以完成开发任务的编排。创建周期业务流程。如何创建,请参见 创建周期业务流程。拖拽 CDH Hive 节点至业务流程面板。双击调度节点,进入SQL编辑页面。...
以车辆加速档位最近一天使用分析为例,如下图所示:具体内容,请参见 创建SQL分析任务、编写SQL语句。数据表分析 在 SQL数据服务工作台 的左侧边栏,展示 产品存储表、自定义存储表 和 平台系统表,您可以在SQL分析任务中按需使用这些数据...
Not Support:sql count>=100 in a script 问题原因 Dataphin对sql代码的语句数量有限制 解决方案 目前Dataphin的sql代码任务语句数量限制在100条以内(以分号分隔)。之所以在开发环境可以执行超过100条的sql代码,是因为在开发环境手动...
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率,丰富企业实时数据处理和计算场景,赋能企业数字...
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率,丰富企业实时数据处理和计算场景,赋能企业数字...
作业配置-根据您选择的 任务类型,在该区域编写JSON或SQL语句。配置Batch和SQL类型作业的具体操作,请参见 Spark离线应用开发 和 Spark SQL应用开发。完成上述配置后,单击 保存。单击 试运行、指定时间运行 或 指定时间范围运行。如果执行...
作业配置-根据您选择的 任务类型,在该区域编写JSON或SQL语句。配置Batch和SQL类型作业的具体操作,请参见 Spark离线应用开发 和 Spark SQL应用开发。完成上述配置后,单击 保存。单击 试运行、指定时间运行 或 指定时间范围运行。如果执行...
在 数据加工 页面的SQL命令窗口,添加用于配置ETL任务的SQL语句。本案例以如下SQL语句为例,配置ETL任务,将流表test_orders与维表product结合至目标表test_orders_new中。重要 SQL语句间需以英文分号;分割。CREATE TABLE `etltest_test_...
标准集群(非高安全集群),如果需要设置执行用户,请确保YARN服务包含如下配置项:yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.... 中填写SQL语句...
DataWorks将根据同步配置,自动解析出运行当前同步任务的SQL语句。您可使用该语句进入Hologres的代码编辑页面使用SQL方式执行同步任务。说明 生成的SQL Script无法编辑。当同步任务配置更新时,刷新SQL Script,即可生成新的SQL语句。使用...
为了保证这些功能的正常运行,定时SQL限制了这类任务的变更操作,即不支持在定时SQL的任务管理界面对这类任务进行更新、复制和删除操作。如果您需要更新、复制和删除任务,请在相关功能的界面中执行。查询与分析 重要 定时SQL仅支持SQL独享...
您可以通过编写SQL语句,配置执行查询的策略,调度产出所需的数据。功能说明 通过创建SQL分析任务,将数据存储表的数据作为查询对象,使用SQL语句配置分析任务,调度产出所需的数据至自定义存储表,为进一步挖掘数据的价值,提供分析数据的...
为了保证这些功能的正常运行,定时SQL限制了这类任务的变更操作,即不支持在定时SQL的任务管理界面对这类任务进行更新、复制和删除操作。如果您需要更新、复制和删除任务,请在相关功能的界面中执行。查询与分析 重要 定时SQL仅支持SQL独享...
DeleteScheduledSQL 删除定时SQL任务 删除指定的定时SQL任务 UpdateScheduledSQL 更新定时SQL任务 更新指定的定时SQL任务 EnableScheduledSQL 开启定时SQL DisableScheduledSQL 关闭定时SQL ListScheduledSQLs 列出定时SQL任务 列出指定...
本文介绍如何在目标Logstore或MetricStore中查询定时SQL任务的结果数据。前提条件 已创建定时SQL任务。如果是将源Logstore中的数据通过定时SQL处理后存储到目标Logstore,请参见 从Logstore到Logstore。如果是将源Logstore中的数据通过定时...
SQL任务类型,用于连接数据库并执行...SQL任务节点设置中,数据源类型选择为 HIVE,数据源实例 选择已添加的HIVE数据源(与上述非查询类SQL任务示例中选择的数据源保持一致),SQL类型 选择为 查询,SQL语句 内容如下。select*from hive_table