在本地环境上使用PyODPS

o.execute_sql_interactive('SELECT*FROM dual',fallback="noresource,unsupported")在PyODPS节点中读取SQL运行结果 您可以使用 open_reader()来读取SQL命令运行结果。具体操作请参见 读取SQL执行结果。更多PyODPS节点的SQL相关操作详情请...

SQL

读取SQL执行结果 您可以通过 open_reader 操作读取SQL执行结果。有以下两种情况:读取表数据,返回结构化数据,通过 for 语句遍历即可。with o.execute_sql('select*from table_name').open_reader()as reader:for record in reader:#处理...

Python SDK示例:SQL

from odps import options options.sql.settings={'odps.sql.mapper.split.size':16} o.execute_sql('select*from pyodps_iris')#会根据全局配置添加hints 读取SQL执行结果 运行SQL的Instance能够直接执行 open_reader 操作读取SQL执行结果...

快速入门

',hints={'odps.sql.allow.fullscan':'true'})#读取SQL执行结果。with result.open_reader()as reader:for record in reader:print(record[0],record[1])#删除表以清除资源。table.drop()运行代码。完成编辑后,单击 图标。运行结束后,您...

错误码

2F000 SQL过程异常(SQL ROUTINE EXCEPTION)2F005 执行的函数没有返回语句(FUNCTION EXECUTED NO RETURN STATEMENT)2F002 不允许修改SQL数据(MODIFYING SQL DATA...ATTEMPTED)2F004 不允许读取SQL数据(READING SQL DATA NOT PERMITTED)34 类...

采集SQL Server查询结果

ReadTimeOutMs int 否 读取SQL Server查询结果的超时时间,单位:ms。不配置时,默认使用5000 ms。StateMent string 否 SELECT语句。设置 CheckPoint 为 true 时,StateMent 中SELECT语句的where条件中必须包含CheckPoint列...

Dataphin管道任务运行报错“org.postgresql.util....

如以下日志显示读取数据的操作刚好是30min:解决方案 一般碰到管道任务运行读取数据刚好超过30min,就有数据库读取超时相关报错的时候,都可以考虑底层读取数据的SQL语句执行超过了30min,请求被取消导致。可以建议客户从运行日志中获取SQL...

分区剪裁合理性评估

分区剪裁是指对分区列指定过滤条件,使得SQL执行时只用读取表分区的部分数据,避免全表扫描引起的数据错误及资源浪费。但是分区失效的情况会经常发生。本文将从以下两方面介绍分区剪裁:判断分区剪裁是否生效。分区剪裁失效的场景分析。...

消费监控告警

您可以下载每天的详细计量信息,以Project为粒度,计算SQL任务(数据分类为ComputationSql的任务)的计算消耗量(即 SQL读取量(GB)×SQL复杂度),并根据每日正常消耗的最高值,结合业务波动确定一个合适的值。您还可以将计算消耗换算成...

Raw

使用方法 例如,在Kafka中具有以下原始格式的日志数据,并希望使用Flink SQL读取和分析此类数据。47.xx.xx.179-[28/Feb/2019:13:17:10+0000]"GET/?p=1 HTTP/2.0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1)...

MaxCompute账单用量明细分析

SQL/交互式分析读取量(Byte):SQL计算项,每一次SQL执行时SQL的Input数据量,单位为Byte。SQL复杂度:SQL的复杂度,为SQL计费因子之一。公网上行流量(Byte)或 公网下行流量(Byte):分别为外网上传或下载的数据量,单位为Byte。MR/...

配置Microsoft SQL Server输入组件

Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至其他数据源的场景中,您需要先配置Microsoft SQL Server输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍...

配置Microsoft SQL Server输入组件

Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至其他数据源的场景中,您需要先配置Microsoft SQL Server输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍...

创建Microsoft SQL Server数据源

通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块...

创建Microsoft SQL Server数据源

通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,...

Spark SQL、Dataset和DataFrame基础操作

Spark SQL可以用于执行SQL查询并从Hive表中读取数据。Dataset是数据的分布式集合。Dataset是Spark 1.6中添加的一个新接口,它集成了RDD和Spark SQL的优点,可以从JVM对象构造数据集,然后使用函数转换(Map、FlatMap或Filter等)进行操作。...

配置MySQL输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...

配置MySQL输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...

Spark对接Hologres

df.writeStream.outputMode("append").format("delta").start()spark-streaming-sql增量读取 drop table if exists holo;CREATE TABLE if not exists holo USING hologres OPTIONS(url='jdbc:postgresql:/hgpostcn-*.hologres.aliyuncs....

SQL调优

Instance过多 以下一些情形会导致强制使用很多Instance:需要读取很多小分区的数据:例如一个数据查询SQL语句读取10000个分区,那么系统会强制使用10000个Instance。解决方案:您需要设计SQL,减少分区的数量,可以从进行分区裁剪、筛除不...

读写Elasticsearch数据

云原生数据湖分析DLA(Data Lake Analytics)中支持接入Elasticsearch,通过标准SQL语句读取Elasticsearch中的数据,从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...

配置PostgreSQL输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...

从Logstore到Logstore

执行SQL授权 您可以通过如下方式授予定时SQL任务读取源Logstore数据以及在当前Project下执行SQL分析操作的权限。默认角色:授权定时SQL任务使用阿里云系统角色AliyunLogETLRole执行对应操作。自定义角色:授权定时SQL任务使用自定义角色...

配置PostgreSQL输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...

配置AnalyticDB for PostgreSQL输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据的条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件。详细配置说明如下:配置固定值,抽取对应的数据,例如 ds=20210101。配置变量参数,抽取某一部分数据,例如 ds=${...

从Logstore到MetricStore

执行SQL授权 您可以通过如下方式授予定时SQL任务读取源Logstore数据以及在当前Project下执行SQL分析操作的权限。默认角色:授权定时SQL任务使用阿里云系统角色AliyunLogETLRole执行对应操作。自定义角色:授权定时SQL任务使用自定义角色...

从MetricStore到MetricStore

执行SQL授权 您可以通过如下方式授予定时SQL任务读取源MetricStore数据以及在当前Project下执行SQL分析操作的权限。默认角色:授权定时SQL任务使用阿里云系统角色AliyunLogETLRole执行对应操作。重要 仅在首次配置时需要操作,且需要由目标...

小版本升级

Lindorm SQL支持读取多版本和自定义时间戳写入功能。修复其他性能问题。2.2.19 2022年02月09日 新功能 Lindorm SQL支持动态列功能,支持SQL层监控功能。功能优化 修复Lindorm SQL表属性修改后元数据更新滞后的问题。修复稳定性问题。2.2.18...

查看统计图表

执行SQL授权 您可以通过如下方式授予定时SQL任务读取源Logstore数据以及在当前Project下执行SQL分析操作的权限。默认角色:授权定时SQL任务使用阿里云系统角色AliyunLogETLRole执行对应操作。自定义角色:授权定时SQL任务使用自定义角色...

宽表引擎版本说明

Lindorm SQL支持读取多版本和自定义时间戳写入功能。修复其他性能问题。2.2.19 2022年02月09日 新功能 Lindorm SQL支持动态列功能,支持SQL层监控功能。功能优化 修复Lindorm SQL表属性修改后元数据更新滞后的问题。修复稳定性问题。2.2.18...

读写分离

但是由于RDS主实例与只读实例之间数据的同步存在着毫秒级别的延迟,如果在主库中变更以后需要马上读取变更的数据,则需要保证将读取数据的SQL下发到主实例中。针对这种需求,PolarDB-X 1.0 提供了读写分离自定义HINT,指定将SQL下发到主...

SQL其他常见问题

在操作系统中,您可以通过Shell非交互式运行MaxCompute SQL:使用 odps-f filename 方式,读取并处理SQL文件。如果运行SQL,Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...

RDS MySQL I/O高问题

读取冷数据导致实例I/O高 现象 如果SQL查询或修改的数据不在缓冲池(Buffer Pool),则需要从存储中读取,可能会产生大量的I/O吞吐。您可以在控制台的 自治服务>性能趋势 页面,单击 性能趋势 页签,查看Buffer Pool命中率。解决方案 根据...

一键诊断

Bad SQL检测 Bad SQL检测包括 Stage个数TOP SQL、最耗内存SQL、最耗CPU SQL、数据读取量TOP SQL、输出数据量TOP SQL 和 最耗时SQL 等检测指标。每个检测指标中最多包含10条SQL,且每条SQL均按照当前检测指标降序排列。同时,系统会在后台对...

SQL Server数据源

SQL Server数据源为您提供读取和写入SQL Server双向通道的功能,本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0,驱动能力具体请参见 官网...

SQL Pattern

背景信息 SQL Pattern是依托于全量且实时的SQL而产生的功能,通过对SQL进行分类诊断和分析,聚合相似SQL为一类SQL,有效提升智能诊断的效率。同时,SQL Pattern的聚合结果能作为数据库优化的有效依据。针对导致实例压力过大的Bad SQL,用户...

DescribePatternPerformance-查询SQL Pattern的指标

当 Key 值为 AnalyticDB_PatternScanSize 时,该参数返回:average_scan_size,即当前 Pattern 相关 SQL 的平均读取数据量。max_scan_size,即当前 Pattern 相关 SQL 的最大数据读取量。max_query_time 示例 正常返回示例 JSON 格式 {...

如何使用HINT(5.2及以下版本适用)

读写分离 由于RDS主实例与只读实例之间数据的同步存在着毫秒级别的延迟,如果在主库中变更后需要马上读取变更的数据,则需要保证将读取数据的SQL下发到主实例中。针对这种需求,PolarDB-X 1.0 提供了读写分离自定义HINT,指定将SQL下发到主...

调优集群性能

您可以通过 一键诊断 功能来定位存在问题的查询:Bad SQL检测结果中,高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL,都可能导致集群的CPU使用率增高,需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...

DescribePatternPerformance-查询模式性能

当 Key 值为 AnalyticDB_PatternScanSize 时,该参数返回:average_scan_size,即当前 Pattern 相关 SQL 的平均读取数据量。max_scan_size,即当前 Pattern 相关 SQL 的最大数据读取量。max_query_time 示例 正常返回示例 JSON 格式 {...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云备份 云数据库HBase版 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用