INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
调试指南
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
SETPROJECT
工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...
PyODPS参数传递
本文为您介绍如何在DataWorks中进行PyODPS参数的传递。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据...
PyODPS查看一级分区
本文为您介绍如何在PyODPS中查看一级分区。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
配置选项
本文为您介绍PyODPS提供的配置选项。您可以通过 odps.options 获得PyODPS提供的配置选项。from odps import options#设置所有输出表的生命周期（lifecycle选项）。options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel....
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
统计MaxCompute TOPN费用账号及耗时作业
{datetime1} 为DataWorks的调度参数，您需要在ODPS SQL节点右侧，单击 调度配置，在 基础属性 区域配置 参数 值为 datetime1=${yyyymmdd}。说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将...
MaxCompute后付费消费突增排查
进入DataWorks数据开发界面，创建ODPS SQL节点（history_backup）并配置定时调度，用于定时将数据写入备份表tasks_history和tunnels_history。完成后单击左上角 图标保存。创建ODPS SQL节点操作，请参见 创建ODPS SQL节点。ODPS SQL节点...
快速入门
使用DataWorks的临时查询功能，新建MaxCompute ODPS SQL节点，执行SQL命令验证数据导入结果。更多临时查询操作信息，请参见 使用临时查询运行SQL语句（可选）。命令示例如下：select*from mushroom_classification;返回结果如下：对导入表...
使用MaxCompute分析IP来源最佳实践
本文为您介绍如何使用MaxCompute分析IP来源，包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。...
UDF开发（Java）
创建ODPS SQL节点的操作请参见 创建ODPS SQL节点，调试命令示例如下。select lower_test('ABC');使用odpscmd 准备工作。使用odpscmd开发调试UDF时，您需要先下载安装odpscmd工具，并配置config文件连接MaxCompute项目，做好UDF开发前准备...
PyODPS概述
DataWorks：DataWorks的PyODPS节点已安装好了PyODPS，您可以直接在DataWorks的PyODPS节点上开发PyODPS任务并周期性运行，操作指导请参见 通过DataWorks使用PyODPS。PAI Notebooks：PAI的Python环境也可安装运行PyODPS，其中PAI的内置镜像均...
创建并使用MaxCompute资源
您可通过 MaxCompute的SQL命令上传与管理资源，也可使用DataWorks的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建资源并在节点中使用，以及基于资源注册函数。前提条件 工作空间已绑定引擎。在 工作空间配置 页面绑定...
通过DataWorks使用PyODPS
from odps import options options.sql.settings={'odps.sql.mapper.split.size':16} o.execute_sql('select*from pyodps_iris')#会根据全局配置添加hints 使用三方包 DataWorks节点预装了以下三方包，版本列表如下：包名 Python 2节点版本...
开发ODPS MR任务
在DataWorks中，您可以通过ODPS MR节点实现MaxCompute MapReduce任务的调度运行，以及与其他作业的集成操作。使用限制 ODPS MR节点的使用限制请参见 使用限制。编辑代码：简单示例 以下以一个简单示例为您介绍ODPS MR节点的使用：统计wc_in...
执行
.exclude('sepallength')[:5].execute())返回结果：Sql compiled:SELECT t1.`sepalwidth`,t1.`petallength`,t1.`petalwidth`,t1.`name` FROM odps_test_sqltask_finance.`pyodps_iris` t1 WHERE t1.`sepallength`您可以指定自己的日志记录...
基于Hadoop集群支持Delta Lake或Hudi存储机制
在DataWorks 临时查询 页面，新建 ODPS SQL 节点，查看External Project下的表。命令示例如下。show tables in test_extproject_ddd;返回结果如下 ALIYUN$@test.aliyunid.com:h0 说明 DataWorks临时查询操作请参见 使用临时查询快速查询SQL...
使用本地客户端（odpscmd）连接
[line_num]重要 read 命令属于SQL语法，涉及收费详细说明请参考 SQL收费标准。在系统的命令行执行窗口查看命令帮助信息 在系统的命令行执行窗口，切换到MaxCompute客户端安装路径下的 bin 目录，执行如下命令查看全部命令的帮助信息。在...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
数据类型版本说明
重要 在DataWorks数据开发的ODPS SQL节点中不能单独执行如下SET类SQL，必须与SELECT或INSERT类SQL一起执行。查看项目数据类型版本。setproject;开启/关闭MaxCompute2.0数据类型版本。setproject odps.sql.type.system.odps2=true/false；...
在SQL语句中设置Flag示例
背景信息 使用DataWorks或MaxCompute客户端提交SQL时，通常需要设置SQL的Flag。例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK...
普通模式和Hive兼容模式下SQL的差异
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
SET
odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在...
Flag参数列表
取值范围：0 MiB~8192 MiB JOIN SQL Session odps.sql.python.version 设置运行SQL句的Python版本。cp27 cp37 UDTF UDAF SQL Session odps.sql.select.output.format 设置是否在MaxCompute客户端的返回结果中显示表头信息。关于使用...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
ODPS-0130252
错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
ODPS-0123091
设置当前处理模式为严格模式，集团内部的flag是odps.sql.udf.strict.mode=true，中国公共云对应的flag是odps.function.strictmode odps>set odps.sql.udf.strict.mode=true;错误，因为输入数据'-'不能cast成bigint而且当前工作在strict模式...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
快速入门
PyODPS可在DataWorks等数据开发平台中作为数据开发节点调用。这些平台提供了PyODPS运行环境和调度执行的能力，无需您手动创建ODPS入口对象。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API...
在本地环境上使用PyODPS
from odps import options options.sql.settings={'odps.sql.mapper.split.size':16}#会根据全局配置添加hints o.execute_sql('SELECT*FROM pyodps_iris')完整示例 本地创建 test-pyodps-local.py 文件。写入示例代码。import os from odps...
项目空间操作
odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见 消费监控告警消费控制。无。odps.sql.acid.table.enable 设置是否开启ACID机制。更多ACID信息，请参见 ACID语义。true：打开 false：关闭 odps.sql.timezone 设置MaxCompute...
RAND
返回+-+|_c0|+-+|0.8212525247695169|+-+说明 参数 odps.sql.executionengine.enable.rand.time.seed=true 只对不输入参数生效，如果加入了参数，默认参数值 false。相关函数 RAND函数属于数学函数，更多数据计算、数据转换的相关函数请...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
使用SQL管理外部项目
背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后，可以使用SQL方式操作External Project，场景如下所示。基于数据湖构建DLF和对象存储OSS的外部项目操作 基于Hadoop外部数据源的外部项目操作 创建与外部数据源中...
MAP_FROM_ENTRIES
该参数也可以在Session级别通过 odps.sql.map.key.dedup.policy 参数进行设置，例如 set odps.sql.map.key.dedup.policy=exception;不设置时该参数默认值为 last_win。说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，...
UDF开发（Python3）
创建ODPS SQL节点的操作请参见 开发ODPS SQL任务，命令示例如下。set odps.sql.python.version=cp37;python3 UDF需要使用该命令开启python3 select UDF_GET_URL_CHAR("http://www.taobao.com/a.htm",1);使用odpscmd 准备工作。使用odpscmd...
- 产品推荐
- 这些文档可能帮助您