PyODPS提供了与ODPS命令行工具类似的功能,例如上传和下载文件、创建表、运行ODPS SQL查询等,同时提供了一些高级功能,如提交MapReduce任务、使用ODPS UDF等。本文为您介绍PyODPS的应用场景、支持的工具,及使用过程中需要关注的注意事项...
如果您需要进行简单的查询等数据分析作业,推荐您使用SQL查询或DataWorks的临时查询等工具,高效便捷地完成数据分析作业。本文为您介绍数据分析场景下的常用工具与使用注意事项。使用SQL查询 您可以在 使用SQL分析连接 的查询模式下执行...
返回固定格式的字符串,单词之间以空格分隔,转换后的格式为:字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数,更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
示例 使用Java SDK提交SQL时,不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式如下。String sql="SELECT.;HashMap,String>hints=new LinkedHashMap,String>();hints.put("SQL flag name,e.g.odps.sql.type.system.odps...
创建MaxCompute项目空间后,您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。工具平台 本文中的命令您可以在 MaxCompute客户端、云命令...ALL 安全与权限 Project odps.output.field.formatter 设置SQL查询结果的动态脱敏规则...
SELECT SQL Project odps.output.field.formatter 设置SQL查询结果的动态脱敏规则。关于MaxCompute数据动态脱敏的更多信息,请参加 数据动态脱敏。自定义的动态脱敏规则。SELECT SQL Project odps.sql.acid.table.enable 设置是否开启ACID...
odps.output.field.formatter 设置SQL查询结果的动态脱敏规则。更多动态脱敏信息,请参见 数据动态脱敏。自定义的动态脱敏规则。odps.isolation.session.enable 设置是否在单Session级别开启动态脱敏。更多动态脱敏信息,请参见 数据动态...
本文为您介绍如何在PyODPS中查看一级分区。前提条件 请提前完成如下操作:已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建,本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
您可以通过 odps.options 获得PyODPS提供的配置选项。from odps import options#设置所有输出表的生命周期(lifecycle选项)。options.lifecycle=30#使用Tunnel下载string类型时使用bytes(tunnel.string_as_binary选项)。options.tunnel....
登录 DataWorks控制台,单击左侧导航栏的 数据分析>SQL查询,在下拉框中选择对应工作空间后单击 进入SQL查询。配置SQL查询数据源 在SQL查询页面,单击 新建SQL查询,进入SQL查询临时文件编辑页面。在页面右上角,图示位置选择当前SQL查询...
本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。前提条件 本地已安装python环境,且已安装PyODPS包,参考:安装PyODPS。准备数据集 pyodps_iris。您可参考 使用示例 下载数据集、创建 pyodps_iris 表并写入数据...
使用SQLTask执行SQL查询时,如果查询结果条数大于限制的10000条,该如何获取所有数据?SQLTask中,按照如下方法返回结果集的数据量是否有限制?如果有限制,最大返回结果集大小是多少?SQLTask查询数据和DownloadSession在使用及功能上,有...
odps.output.field.formatter 设置SQL查询结果的动态脱敏规则。详情请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见 消费监控告警消费控制。无。odps.sql.acid.table....
创建ODPS SQL节点的操作请参见 创建ODPS SQL节点,调试命令示例如下。select lower_test('ABC');使用odpscmd 准备工作。使用odpscmd开发调试UDF时,您需要先下载安装odpscmd工具,并配置config文件连接MaxCompute项目,做好UDF开发前准备...
在DataWorks 临时查询 页面,新建 ODPS SQL 节点,查看External Project下的表。命令示例如下。show tables in test_extproject_ddd;返回结果如下 ALIYUN$@test.aliyunid.com:h0 说明 DataWorks临时查询操作请参见 使用临时查询快速查询SQL...
注意事项 PyODPS支持MaxCompute SQL查询,并可以读取执行的结果,使用时有以下注意事项。入口对象的 execute_sql('statement')和 run_sql('statement')方法可以执行SQL语句,返回值是运行实例,详情请参见 任务实例。目前暂不支持使用Arrow...
本文为您介绍常见的SQL问题以及优化示例。并行度优化 并行度是衡量并行计算并行程度的一个指标,从执行计划上来看,例如ID为M1的任务,使用1000个Instance来执行,我们就说M1的并行度是 1000。需要注意的是:调整并行度不一定是越多越好,...
2019-12-20 全部区域 包年包月非预留计算资源 2019-11 功能名称 功能描述 发布时间 发布区域 相关文档 动态脱敏 MaxCompute提供对SQL查询任务结果的动态脱敏功能,可以帮助您有效地保护个人身份识别数据。2019-11-22 全部区域 数据动态脱敏...
DataWorks为您提供ODPS SQL节点,可用于周期性调度MaxCompute的SQL任务,并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
.exclude('sepallength')[:5].execute())返回结果:Sql compiled:SELECT t1.`sepalwidth`,t1.`petallength`,t1.`petalwidth`,t1.`name` FROM odps_test_sqltask_finance.`pyodps_iris` t1 WHERE t1.`sepallength`您可以指定自己的日志记录...
如果后续需要打印DEBUG日志,您可在MyUdf类的setup方法中自定义DEBUG相关的Flag,并在后续执行SQL查询时使用set语句设置该Flag,以控制本次提交的任务是否打印DEBUG日志。代码示例如下:setup方法中自定义Flag@Override public void setup...
数据开发 DataWorks DataStudio 数据分析 SQL查询 SQL查询功能支持通过编写SQL语句的方式对有查询权限的数据源进行快速的数据查询与分析。数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute,目前主要支持...
例如,当您使用客户端提交一个SQL查询和写入命令,此SQL命令在MaxCompute上运行会消耗计算资源,同时写入数据会占用存储空间,将产生计算费用和存储费用。MaxCompute计费详情请参见 计费项与计费方式概述。注意事项 MaxCompute客户端的输出...
从节省计算成本的角度,还需要特别说明一个典型场景,在后付费的SQL查询场景中,由于Transactional Table 2.0源表数据可能存在大量中间状态的记录,即Update/Delete记录,而Storage Reader会读取出来所有的中间状态记录进行Merge,只输出...
背景信息 SQL Workbench/J是一个免费的、独立于DBMS(Database Management System)的、跨平台的SQL查询工具。SQL Workbench/J采用Java语言编写,可以在任何提供Java运行环境的操作系统上运行。前提条件 在执行操作前,请确认您已满足如下...
新版用户界面和新功能简化了用户在服务开通、项目创建、计算资源管理及监控、SQL查询分析方面的操作使用。用户可以在一个更简单易用的界面里快速创建数据仓库环境、管理和监控计算资源及作业、开展数据分析探查。新版控制台功能点如下:...
查询SQL确认脱敏结果 DataWorks数据开发界面 关闭页面查询内容脱敏开关,详情请参见 安全设置与其他。执行查询SQL。在您执行具体查询SQL前,请先在当前会话中通过 set 命令调用脱敏服务,不同地域调用底层脱敏服务命令如下所示。说明 ...
重要 在DataWorks数据开发的ODPS SQL节点中不能单独执行如下SET类SQL,必须与SELECT或INSERT类SQL一起执行。查看项目数据类型版本。setproject;开启/关闭MaxCompute2.0数据类型版本。setproject odps.sql.type.system.odps2=true/false;...
在SQL查询语句中调用UDTF时,可以通过 as 子句将 forward 输出的结果进行重命名。编写Java UDTF时可以使用Java Type或Java Writable Type,MaxCompute项目支持处理的数据类型与Java数据类型的详细映射关系,请参见 数据类型。UDTF代码示例...
返回结果:OK 在ODPS SQL节点中查询输出表 wc_out 的数据。select*from wc_out;返回结果:+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码:进阶示例 更多场景的ODPS MR任务开发,请参见:...
StarRocks Connector通过实现External Catalog机制,无需数据导入或创建外部表即可无缝访问MaxCompute数据源,并执行复杂的SQL查询,提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
错误码:ODPS-0130252:Cartesian product is not allowed 错误1:cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
其中:不同类型的作业任务可以使用不同的节点,如ODPS SQL节点、ODPS Spark节点、PyODPS节点等。同时您还可以通过DataWorks界面化的创建MaxCompute表、将MaxCompute函数注册至DataWorks、在DataWorks上创建MaxCompute资源,来提高作业开发...
task_type='SQLRT' 表示SQL查询加速作业。查看消费较高SQL作业的 SKYNET_ID(DataWorks调度任务ID)。如果有ID,请在DataWorks上查看节点具体执行情况。如果没有ID,说明此任务不是通过DataWorks调度节点发起的任务,可以根据 inst_id,...
进入DataWorks数据开发界面,创建ODPS SQL节点(information_history)并配置定时调度,用于定时将数据写入备份表information_history。完成后单击左上角 图标保存。创建ODPS SQL节点操作,请参见 创建ODPS SQL节点。ODPS SQL节点运行的...
概述 您可以通过以下方法导出SQL的运行结果:如果数据比较少,请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区,请使用 Tunnel 直接导出查询结果。如果SQL比较复杂,请使用Tunnel和SQL相互配合导出查询结果。DataWorks ...
查询MaxCompute表数据 您可使用 ODPS SQL节点 或 临时查询 功能,通过 SQL语句 查询MaxCompute表的数据。权限预设情况说明 简单模式 工作空间无法做到细粒度权限控制及开发生产隔离,本文以 标准模式 工作空间示例说明。RAM用户被添加至...
本文为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景和使用限制。功能介绍 MaxCompute MCQA功能提供如下能力。支持对中、小数据量查询作业进行加速优化,将执行...