odps.sql.reducer.memory-odps.sql.reducer.memory文档介绍内容-阿里云

ODPS-0420095

解决方案按量计费开发者版仅支持MaxCompute SQL（支持使用UDF）、PyODPS作业。请购买并绑定按量计费或包年包月的Quota运行Spark作业，Spark相关操作请参见概述。错误6：You have no privilege 'odps:Usage' on {acs:odps:*:tanents/...

JSON数据从MongoDB迁移至MaxCompute

验证结果右键单击业务流程，选择新建节点>MaxCompute>ODPS SQL。在新建节点对话框中输入节点名称，并单击确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*from mqdata;单击图标运行代码。您可以在运行日志查看运行结果。

INITCAP

返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见字符串函数。

快速入门

返回结果如下：使用DataWorks的临时查询功能，新建MaxCompute ODPS SQL节点，基于表mushroom_classification_one_hot中的数据创建训练数据集和测试数据集。命令示例如下：训练数据集。1/4的数据用于模型训练。create table mushroom_...

Tablestore外部表

set odps.sql.unstructured.tablestore.put.row=true;tablestore.read.mode 否当遇到脏数据时行为定义字段，取值说明如下：permissive（默认值）：当遇到脏数据时，可以跳过。failfast：当遇到脏数据时，直接报错。关于脏数据处理示例，...

from odps.udf import annotate from odps.udf import BaseUDTF from odps.distcache import get_cache_file from odps.distcache import get_cache_table@annotate('string->string,bigint')class UDTFExample(BaseUDTF):"""读取资源文件...

使用do-while节点实现复杂的数据分析

分别单击左侧 MaxCompute>ODPS SQL、通用>Shell，新建3个 ODPS SQL 节点和一个 Shell 节点。3个 ODPS SQL 节点命名为：30_day、60_day、90_day。1个 Shell 节点命名为：echo。设置 ODPS SQL 节点和 Shell 节点的上下游关系。通过拖拽连线，...

开发ODPS MR任务

MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件上传并提交、发布使用的资源，详情请参见创建并使用MaxCompute资源。创建...

OSS外部表根据字段名称Mapping数据

创建方式平台基于MaxCompute SQL创建OSS外部表 MaxCompute客户端使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...

创建并使用MaxCompute资源

如果您的代码或函数中需使用MaxCompute资源文件，则需先创建或上传资源至目标工作空间后再引用。您可通过 MaxCompute的SQL命令上传与管理资源，也可使用DataWorks的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建资源并在...

周期性调度作业概述

如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...

Elasticsearch数据迁移至MaxCompute

右键单击业务流程，选择新建节点>MaxCompute>ODPS SQL。在新建节点对话框中输入节点名称，并单击确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击图标运行代码。您可以在运行日志查看运行结果。

2024年

2024年02月29日-MaxCompute SQL反向访问VPC方案下线公告尊敬的MaxCompute用户：MaxCompute将于北京时间 2024年03月31日下线SQL反向访问VPC方案，需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连（Network_Link）方案。...

Python 2 UDTF

coding:utf-8-*-from odps.udf import annotate from odps.udf import BaseUDTF from odps.distcache import get_cache_file from odps.distcache import get_cache_table@annotate('string->string,bigint')class UDTFExample(BaseUDTF):...

UDT概述

set odps.sql.session.resources 指定引用的资源，可以指定多个，用逗号隔开，例如 set odps.sql.session.resources=foo.sh,bar.txt;说明这个Flag和 select transform 中指定资源的Flag相同，所以这个Flag会同时影响两个功能。例如UDT概述...

UDF开发（Python2）

当UDF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 from odps.distcache import get_cache_table（表资源）。函数签名。必选。格式为@annotate()，signature 用于定义函数的输入...

向量计算（Proxima CE）概述

DataWorks：您可以在DataWorks上新建MaxCompute ODPS MR节点，通过ODPS SQL脚本来运行。使用向导安装Proxima CE包。使用向量计算之前您需要安装Proxima CE包，详细操作请参见安装Proxima CE包。该文档为您介绍Proxima CE的环境准备及...

启动失败

具体ODPS SQL命令如下：vfs-ls/;该命令会输出前缀为'proxima_v2/xxx'的目录 vfs-rm-r-f/proxima_v2/xxx;删除该目录（与runLog里面打印的Volume目录一致）。与下述命令二选一 vfs-rmv/proxima_v2;删除整个Volume。与上述命令二选一报错 ...

Sequence

MaxCompute类型 DataFrame类型 BIGINT INT64 DOUBLE FLOAT64 STRING STRING DATETIME DATETIME BOOLEAN BOOLEAN DECIMAL DECIMAL ARRAY<VALUE_TYPE>LIST<VALUE_TYPE>MAP,VALUE_TYPE>DICT,VALUE_TYPE>当 options.sql.use_odps2_extension=...

创建并使用MaxCompute表

表物理属性变更 MaxCompute表的物理属性变更操作，均可通过MaxCompute SQL命令执行，详情请参见表操作。由于DataWorks上操作MaxCompute存在一定的权限管控，RAM用户（子账号）在某些场景下通过命令操作表会报错，详情请参见 MaxCompute...

网络开通流程

spark.hadoop.odps.cupid.eni.enable=true spark.hadoop.odps.cupid.eni.info=regionid:vpc id 白名单如果用户服务端有访问控制，需要将创建专线网络连接的安全组添加进服务端白名单。访问部分阿里云服务适用于通过MaxCompute SQL、UDF、...

加工数据

本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...

内建函数常见问题

当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，如下隐式类型转换会被禁用，存在精度损失或报错的风险：STRING->BIGINT STRING->DATETIME DOUBLE->BIGINT DECIMAL->DOUBLE DECIMAL->BIGINT 此时，您可以...

通过DataWorks实现MaxCompute跨项目迁移

本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果您可以在业务流程>数据开发中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';

Python SDK示例：SQL

from odps import options options.sql.settings={'odps.sql.mapper.split.size':16} o.execute_sql('select*from pyodps_iris')#会根据全局配置添加hints 读取SQL执行结果运行SQL的Instance能够直接执行 open_reader 操作读取SQL执行结果...

2021年

错误码概述 Common错误码（ODPS-00CCCCX）SQL错误码（ODPS-01CCCCX）PL错误码（ODPS-02CCCCX）API错误码（ODPS-04CCCCX）Xlib错误码（ODPS-05CCCCX）2021-03-19 补充常见问题。更新说明根据用户反馈问题合入常见问题。Information Schema...

UDT示例

Java数组 set odps.sql.type.system.odps2=true;set odps.sql.udt.display.tostring=true;SELECT new Integer[10],-创建一个包含10个元素的数组。new Integer[]{c1,c2,c3},-通过初始化列表创建一个长度为3的数组。new Integer[][]{ new ...

SQL调优

调整 odps.sql.reducer.instances 值：使用如下命令强制设置Reducer并发度，会影响所有的相关Task。设定Reduce Task的instance数量-可调整区间为[1，99999]set odps.sql.reducer.instances=;调整 odps.stage.joiner.num 值：使用如下命令...

PyODPS概述

PyODPS提供了与ODPS命令行工具类似的功能，例如上传和下载文件、创建表、运行ODPS SQL查询等，同时提供了一些高级功能，如提交MapReduce任务、使用ODPS UDF等。本文为您介绍PyODPS的应用场景、支持的工具，及使用过程中需要关注的注意事项...

通过Java SDK查询权限信息

通过 MaxCompute客户端、命令行（odpscmd）、MaxCompute SQL分析、使用DataWorks连接或 MaxCompute Studio，运行权限查询相关命令，在命令行执行窗口直观展示权限查询结果。支持查询的权限 MaxCompute支持您通过Java SDK查询以下权限信息...

高级应用：实现复杂作业逻辑

说明 MaxCompute的ODPS SQL节点不支持直接写循环或遍历逻辑，您可以使用上述通用节点实现对应的作业逻辑，或您也可以使用PyODPS节点，自定义开发循环或遍历逻辑代码。实现跨节点赋值逻辑的作业 DataWorks为您提供多种实现不同节点间透传...

Java UDTF

使用说明按照开发流程，完成Java UDTF开发后，您即可通过MaxCompute SQL调用Java UDTF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与内建函数类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义...

公告

2024年02月29日-MaxCompute SQL反向访问VPC方案下线公告尊敬的MaxCompute用户：MaxCompute将于北京时间 2024年03月31日下线SQL反向访问VPC方案，需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连（Network_Link）方案。...

基于Flink创建MaxCompute Paimon外表

SET odps.sql.common.table.planner.ext.hive.bridge=true;SET odps.sql.hive.compatible=true;执行以下命令，查询MaxCompute Paimon外部表 test_tbl。SELECT*FROM test_tbl WHERE dt='2023-04-21';返回结果如下。id|data|dt|+-+-+-+|1|AAA...

2020年

通过自动识别短查询作业并加速处理、快速响应查询结果的方式，增强了MaxCompute SQL的整体处理性能，满足报表分析、即席查询场景的使用要求。2020-10-12 全部区域 MCQA概述 2020-09 功能名称功能描述发布时间发布区域相关文档 ...

Java UDAF

使用说明按照开发流程，完成Java UDAF开发后，您即可通过MaxCompute SQL调用Java UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与内建函数类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义...

外部表常见问题

set odps.sql.reducer.instances=100;调整执行计划的Reducer数量。如何在MaxCompute中使用OSS外部表读取JSON数据？在MaxCompute中使用OSS外部表读取JSON数据的操作，请参见在MaxCompute中使用OSS外部表读取JSON数据。如何通过OSS外部表将...

2019年

在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？2019-06-19 新增PyODPS最佳...

使用Logstash（流式数据传输）

认识MaxCompute Studio

说明创建MaxCompute SQL脚本时，Studio会提示您选择一个关联的MaxCompute项目，您也可以通过SQL编辑器上的工具条最右侧的项目选取器进行更改，编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据（比如表结构等）的检查并汇报错误，...

odps.sql.reducer.memory

新品推荐