大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
逻辑数仓SQL语法介绍
逻辑数仓功能可以打通不同引擎，不同实例，跨区域，跨存储的OLAP、OLTP之间的壁垒，基于统一的SQL语法为用户提供跨库数据查询和数据同步的能力。本文介绍逻辑数仓支持的SQL语法。背景信息 逻辑数仓的查询语法和函数基本兼容MySQL，因此可以...
常见问题
本文介绍定时SQL功能的常见问题。如何保证SQL分析的数据准确性？数据延迟写入或实例的调度配置不恰当时，可能发生数据分析不准确问题。数据写入存在延迟。例如数据写入日志服务延迟了5分钟，实例执行时间为12:03:00，SQL时间窗口为相对一...
DATEDIFF
计算两个时间 date1、date2 的差值，将差值以指定的时间单位 datepart 表示。命令格式 bigint datediff(date|datetime|timestamp,date|datetime|timestamp,string)参数说明 date1、date2：必填。DATE、DATETIME或TIMESTAMP类型。被减数和...
支持的函数
NOW()返回本地时区的当前SQL时间戳，这是 CURRENT_TIMESTAMP的同义词。CURRENT_ROW_TIMESTAMP()返回本地时区的当前SQL时间戳。EXTRACT(timeinteravlunit FROM temporal)返回从时间的时间间隔单位部分提取的long值。YEAR(date)从SQL日期date...
新建ARGODB_SQL任务
在 代码编写 页面，编写 ARGODB_SQL 计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置...
新建STARROCKS_SQL任务
在 代码编写 页面，编写 STARROCKS_SQL 计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行...
新建INCEPTOR_SQL任务
在 代码编写 页面，编写 INCEPTOR_SQL 计算任务的代码。检查代码。代码编写完成后，单击 预编译，系统帮助您检查编写的SQL代码的语法。单击页面上的 运行，运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数...
新建ADB_PG_SQL任务
在 代码编写 页面，编写 ADB_PG_SQL 计算任务的代码。说明 编辑代码时，若需在表名或列名外使用双引号，则表名或列名仅支持小写。双引号内使用大写的项目名，则忽略引号，当做大小写不敏感处理。检查代码。代码编写完成后，单击 预编译，...
计算成本控制
SQL作业计算成本控制 对于SQL计算作业，大部分费用较高的SQL都是由全表扫描引起的。另外，调度频繁也会引起SQL作业费用的增加，调度频繁可能会产生任务的堆积，在后付费的情况下会造成排队现象，如果任务多又出现了排队，那么第二天的账单...
日期和时间函数
date_diff函数 date_diff(unit,x,y)返回两个时间表达式之间的时间差值，例如计算 x 和 y 之间相差几个时间单位（unit）。时序补全函数 time_series函数 time_series(x,window,format,padding_data)补全您查询时间窗口内缺失的数据。current...
新建HOLOGRES_SQL任务
本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 ...
新建HOLOGRES_SQL任务
本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 ...
SQL查询计量计费
SQL本身不会有额外的计算消耗。但是使用SQL查询数据的过程中，表扫描、索引查询等操作会消耗读写吞吐量。本文介绍了SQL查询功能的计费项及计费示例。注意事项 SQL本身不会有额外的费用，但是使用SQL查询数据过程中涉及到的表扫描、索引查询...
查看性能评估报告
SQL 诊断信息 模块包括 TopSQL 和 SlowSQL，您可以查看 SQL 文本、SQL 访问的数据库、CPU 占比、SQL ID，以及指定时间段内 SQL 的总执行次数、数据库执行 SQL 的总耗时（ms）和报错汇总等信息。您还可以在该区域右上角进行快速筛选。SQL ...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
公告
MaxCompute在使用SQL UDF和外部表场景下，提供了SQL反向访问VPC的设置方法，支持UDF和外部表访问VPC中的服务，这里分别介绍两种场景的设置升级方法。UDF场景 在执行包含UDF的SQL任务时，若您是通过以下参数指定UDF访问的VPC以及对应的IP...
时间和日期转换函数
2005-03-28 00:00:00 datediff(date/timestamp/timestamptz,date/timestamp/timestamptz,text)bigint 按指定的单位计算两个时间的差值。支持指定的单位包括yyyy/year（年）、mm/month/mon（月）、dd/day（日）、hh/hour（时）、mi（分）、...
消费监控告警
您可以下载每天的详细计量信息，以Project为粒度，计算SQL任务（数据分类为ComputationSql的任务）的计算消耗量（即 SQL读取量（GB）×SQL复杂度），并根据每日正常消耗的最高值，结合业务波动确定一个合适的值。您还可以将计算消耗换算成...
日期与时间函数
DATEDIFF 计算两个日期的差值并按照指定的单位表示。DATEPART 提取日期中符合指定时间单位的字段值。DATETRUNC 提取日期按照指定时间单位截取后的值。DAY 返回日期值的天。DAYOFMONTH 返回日部分的值。DAYOFWEEK 返回日期的星期值。...
计费常见问题
如果您需要控制SQL作业的计算成本，请参见 计算成本优化。通过DataWorks执行补数据操作后，为什么费用会产生较大波动？DataWorks会在您定义的补数据时间区间内的每个调度周期都运行一次补数据操作。例如补30天的数据，调度周期为天，则补...
快速入门
以下是一个完整的使用PyODPS接口执行表操作的示例，更多关于表操作以及SQL操作的方法请参见 表 和 SQL。from odps import ODPS#以直接指定字段名以及字段类型的方式创建非分区表my_new_table。DataWorks的PyODPS节点中默认包含一个全局变量...
RDS MySQL慢SQL问题
在相同业务场景下，架构设计和库表索引设计会影响查询性能，良好的设计可以提高查询性能，反之会出现很多慢SQL（执行时间很长的SQL语句）。本文介绍导致慢SQL的原因和解决方案。SQL异常 原因及现象 SQL异常的原因很多，例如库表结构设计不...
Quick BI数据集中新建计算字段报错
问题描述 在Quick BI的数据集中新建计算字段两个时间戳的差值，报错信息“数据预览失败”。问题原因 新建计算字段中SQL代码错误。解决方案 计算两个时间戳的差值应该使用 DATEDIFF（d1,d2）函数，结果以天为单位。适用于 Quick BI 数据集
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。流计算中注册 RDS数据存储 失败。可能原因：您的RDS数据库与流计算项目不在同一区域。解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单...
MONTHS_BETWEEN
使用示例：表数据示例 基于 示例数据，计算timestamp1和timestamp2列之间的月数，命令示例如下。开启2.0新类型。此命令需要与SQL语句一起提交。set odps.sql.type.system.odps2=true;select timestamp1,timestamp2,months_between...
函数概述
日期与时间函数 支持处理DATE、DATETIME、TIMESTAMP等日期类型数据，实现加减日期、计算日期差值、提取日期字段、获取当前时间、转换日期格式等业务处理能力。数学函数 支持处理BIGINT、DOUBLE、DECIMAL、FLOAT等数值类型数据，实现转换进...
新建SPARK_SQL任务
本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认...
物化视图自动查询改写
这种场景下，自动查询改写会尝试改写查询SQL，补偿物化视图SQL和查询SQL之间缺少的计算动作，并返回最终结果以保证查询的正确性。目前查询SQL中仅SELECT列、JOIN表、GROUP BY列、WHERE子句、HAVING子句、ORDER BY列、LIMIT子句支持查询补偿...
配置SQL赋值节点
本文介绍配置SQL赋值节点的方法。背景信息 SQL赋值节点赋予任务流获取表中数据作为下游节点的变量的能力。变量在任务节点中的应用如下：在单实例SQL节点中，变量可以作为表名，或用在筛选条件中。在脚本代码节点中，变量可以作为脚本的参数...
Cost-based SQL诊断引擎
SQL诊断优化服务需要具备服务于云上百万级数据库实例的能力，其线上服务能力同样面临巨大挑战，例如如何实现复杂的计算服务化拆分，计算服务的横向伸缩，最大化的并行，资源访问分布式环境下的并发控制，不同优先级的有效调度消除隔离，...
SQL Server迁移上云指南
本文为您介绍SQL Server常见的几种迁移上云的方案，您可以根据数据源的位置、各方案使用的工具、各方案的优势与限制等，选择最适合您的上云方案。上云方案简介 上云方案 实现流程 操作步骤 物理备份上云 使用OSS（手动上云）将数据库日志...
UDF开发（Java）
evaluate 方法的输入参数和返回值的数据类型将作为SQL语句中UDF的函数签名Signature（定义UDF的输入与输出数据类型）。您可以在UDF中实现多个 evaluate 方法，在调用UDF时，MaxCompute会依据UDF调用的参数类型匹配正确的 evaluate 方法。...
Java UDAF
} 其中：iterate、merge 和 terminate 是最重要的三个方法，UDAF的主要逻辑依赖于这三个方法的实现。此外，还需要您实现自定义的Writable buffer。Writable buffer将内存中的对象转换成字节序列（或其他数据传输协议）以便于储存到磁盘...
查看监控信息
计算节点组健康状态 计算节点组即 AnalyticDB for MySQL 的计算引擎，具备分布式MPP和DAG融合执行能力，结合智能优化器，可支持高并发和复杂SQL混合负载。同时借助云原生基础设施，计算节点实现了弹性调度，可根据业务需求做到分钟级甚至秒...
新功能发布记录
无 Spark Distribution SQL Engine AnalyticDB for MySQL Spark提供Spark开源原生能力Distribution SQL Engine的托管服务，支持通过Spark Distribution SQL Engine开发Spark SQL作业，从而更方便地利用SQL分析、处理和查询数据，提升SQL...
通过Spark Distribution SQL Engine开发Spark SQL作业
当您需要实时分析数据或通过JDBC协议开发Spark SQL作业时，可以通过 AnalyticDB for MySQL 的Spark Distribution SQL Engine开发Spark SQL作业。通过Spark Distribution SQL Engine可以更方便地利用SQL分析、处理和查询数据，提升SQL执行...
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
GetQueryOptimizeDataTrend-获取查询治理趋势数据
optimizedSqlExecuteCountDiff：推荐优化的慢 SQL 执行次数相较于前一天的差值。optimizedSqlCount：推荐优化的慢 SQL 数。optimizedSqlCountDiff：推荐优化的慢 SQL 数相较于前一天的差值。sqlExecuteCount Timestamp long 数据日期，格式...
- 产品推荐
- 这些文档可能帮助您