MapReduce常见问题
Exception in thread"main"java.io.IOException:com.aliyun.odps.OdpsException:ODPS-0420095: Access Denied - The task is not in release range: LOT产生原因 项目为MaxCompute开发者版资源下的项目，仅支持MaxCompute SQL（支持使用UDF）、PyODPS...
通过Java SDK查询权限信息
通过 MaxCompute客户端、命令行（odpscmd）、MaxCompute SQL分析、使用DataWorks连接 或 MaxCompute Studio，运行权限查询相关命令，在命令行执行窗口直观展示权限查询结果。支持查询的权限 MaxCompute支持您通过Java SDK查询以下权限信息...
SQL脚本模式
使用MaxCompute Studio脚本模式，首先请保证MaxCompute Studio完成安装、添加项目链接、建立MaxCompute SQL脚本文件，详情请参见 安装IntelliJ IDEA、管理项目连接、创建MaxCompute Script Module。编辑脚本页面如下。脚本编译后提交运行，...
压缩数据从OSS迁移至MaxCompute
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
内建函数常见问题
MaxCompute SQL通过过滤条件，例如 like 等，查询得到满足指定条件的数据，然后将这些数据通过 ARRAY 或 MAP 函数构造为MAP、ARRAY复杂类型数据，然后再用 TO_JSON 函数聚合。如何将一个JSON字符串中的每个Key当做一个字段？您可以使用 GET...
UDT概述
所有的运算符都是MaxCompute SQL的语义，不是UDT的语义。例如：STRING的相加操作：String.valueOf(1)+String.valueOf(2)的结果是3（STRING隐式转换为DOUBLE，并且DOUBLE相加），而不是12（Java中STRING相加是Concatenate的语义）。操作：...
JSON数据从MongoDB迁移至MaxCompute
验证结果 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*from mqdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
多路输出（MULTI INSERT）
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接...
Java UDAF
使用说明 按照 开发流程，完成Java UDAF开发后，您即可通过MaxCompute SQL调用Java UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义...
MULTI INSERT
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。前提条件 执行操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请...
快速入门
新建MaxCompute ODPS Script节点，编写代码，对导入的数据按照one-hot编码方式进行处理并写入新表mushroom_classification_one_hot中。更多创建ODPS Script节点信息，请参见 开发ODPS Script任务。命令示例如下：create temporary function...
Elasticsearch数据迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
在SQL语句中设置Flag示例
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
MapReduce支持SQL运行时执行模式
新版本MaxCompute支持将MapReduce作业指定为SQL运行时执行模式，基于SQL运行时，MapReduce可以使用MaxCompute SQL引擎编译器、基于代价的优化器和向量化执行的执行引擎，同时可以复用SQL引擎开发的各种新特性，包括功能、性能、稳定性等...
OSS外部表根据字段名称Mapping数据
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
Sequence
目前，DataFrame的执行后端支持MaxCompute SQL、Pandas和数据库（MySQL和Postgres）。DataFrame支持的数据类型与MaxCompute类型的映射关系如下。MaxCompute类型 DataFrame类型 BIGINT INT64 DOUBLE FLOAT64 STRING STRING DATETIME ...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果 您可以在 业务流程>数据开发 中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';
UDT示例
Java中实现 java.util.List 或 java.util.Map 接口类的对象，都可参与MaxCompute SQL的复杂类型操作。MaxCompute中ARRAY或MAP的数据，能够直接调用List或者MAP的接口。set odps.sql.type.system.odps2=true;set odps.sql.session.java....
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
基于Flink创建MaxCompute Paimon外部表
步骤三：通过MaxCompute读取Paimon外部表 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，执行以下命令。SET odps.sql.common.table.planner.ext.hive.bridge=true;SET odps.sql.hive.compatible=true;执行以下命令，...
调试指南
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
认识MaxCompute Studio
说明 创建MaxCompute SQL脚本时，Studio会提示您选择一个关联的MaxCompute项目，您也可以通过SQL编辑器上的工具条最右侧的 项目选取器 进行更改，编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据（比如表结构等）的检查并汇报错误，...
将云消息队列 Kafka 版的数据迁移至MaxCompute
在 临时查询 面板，右键单击 临时查询，选择 新建节点>ODPS SQL。在 新建节点 对话框中，输入 名称。说明 节点名称的长度不能超过128个字符。单击 确认。在创建的节点页面，输入 select*from testkafka，单击 图标，运行完成后，查看运行...
迁移服务（MMA）
用于执行Maxcompute Sql的Project 是 选择迁移至MaxCompute的项目。如果Hive开启了Kerberos协议认证，需要填写以下参数。参数名称 说明 Kerberos认证 打开Kerberos协议认证开关。说明 默认是Kerberos协议认证开关是关闭的。Kerberos ...
高级应用：实现复杂作业逻辑
说明 MaxCompute的ODPS SQL节点不支持直接写循环或遍历逻辑，您可以使用上述通用节点实现对应的作业逻辑，或您也可以使用PyODPS节点，自定义开发循环或遍历逻辑代码。实现跨节点赋值逻辑的作业 DataWorks为您提供多种实现不同节点间透传...
概述
MaxCompute Spark类似MaxCompute SQL、MapReduce等作业类型，运行在MaxCompute项目统一开通的计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系，在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。...
（邀测）MaxCompute Notebook使用说明
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
开发及提交SQL脚本
创建SQL脚本文件 在 Project 区域下，右键单击 scripts，选择 New>MaxCompute SQL脚本。在 New MaxCompute SQL Script 对话框，配置参数信息，单击 OK。Script Name：脚本名称。MaxCompute Project：目标MaxCompute项目。单击+即可新建一个...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
使用MaxCompute编译器检查脚本
推荐您在 MaxCompute SQL 配置选项选中 Enable syntax coloring，启动语法高亮功能。如何配置请参见 MaxCompute SQL配置选项。报错示例 编译器显示 鼠标悬停如下图所示红色报错标记处，编译器显示 expect 1 columns,actually have 2。运行...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建...执行结果 您可以新建一个 ODPS SQL 类型的节点，用于查询当前MaxCompute表中的数据。输入您的查询语句 select*from good_sale;单击 运行，即可看到当前已传入MaxCompute表中的数据。
转义字符
这时候需要理解文本的嵌套结构，辅助使用上文提到的在线工具，逐层进行转义和反转义，便可写出正确语义的代码语句，示例如下：转义字符后字符解释为其本身 MaxCompute SQL中的字符串常量可以用单引号或双引号表示。您可以在单引号括起的...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
项目空间操作
true：打开 false：关闭 odps.sql.timezone 设置MaxCompute项目的时区。更多时区信息，请参见 时区配置操作。无。odps.sql.unstructured.oss.commit.mode 设置是否开启通过OSS的分片上传功能向OSS外部表写入数据。详情请参见 将数据写入OSS...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
2019年
2019-10-28 全部区域 SELECT语法 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias，对应ORDER BY和GROUP BY中的整型常量被当做...
Java SDK常见问题
例如，如果您需要使用MaxCompute 2.0数据类型，可以通过Session级别方式开启，在涉及2.0新数据类型的SQL前增加Set Flag语句 set odps.sql.type.system.odps2=true;使用Java SDK提交SQL时，不能简单地把Set Flag语句直接增加到SQL中，设置...
整体架构
支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎 主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...
包年包月资源隔离
参考文档 随着业务的不断变化，配额组的划分也需要随之改变，所以您有必要随时监控配额组的使用情况，以便及时对配额组进行调整。您可以通过阿里云监控服务的 MaxCompute-包年包月Quota组资源 指标进行监控，详情请参见 监控报警。您还可以...
- 产品推荐
- 这些文档可能帮助您