使用SQL管理外部项目
打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法 set odps.sql.hive.compatible=true;通过OSS分片上传功能将数据写入OSS set odps.sql.unstructured.oss.commit.mode=true;支持通过如下语句全project 默认打开该功能 setproject ...
开通MaxCompute和DataWorks
体验试用后：体验试用MaxCompute功能、了解数据开发查询的基本流程后，您可选择合适的开发工具，开展数据开发工作，此时您需要了解当前连接MaxCompute的工具有哪些，选择后连接MaxCompute开始开发，操作详情请参见 选择连接工具。
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
数据动态脱敏
当您期望某些用户只可以查看MaxCompute项目中隐藏关键信息的敏感数据时，您可以开启MaxCompute动态脱敏功能，在数据访问或展示时实时隐藏或替换敏感数据，以防止敏感数据泄露。本文为您介绍如何开启MaxCompute动态脱敏功能，并提供参考示例...
管理IP白名单
背景信息 MaxCompute的安全访问控制有多个层次，例如项目空间的多租户及安全认证机制。仅当获取到正确且经过授权的AccessKey ID及AccessKey Secret时，您才能通过鉴权，并在授权范围内进行数据访问和计算。在安全访问控制基础上，...
查询加速（MCQA）
需要配置的URL格式如下所示：jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>&accessId=<AccessKey ID>&accessKey=<AccessKey Secret>&charset=UTF-8&interactiveMode=true&autoSelectLimit=1000000000"参数说明如下。...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 ...postgresql:/hgprecn-cn-5y*-...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 ...postgresql:/hgprecn-cn-5y*-...
MapReduce错误码（ODPS-07CCCCX）
ODPS-0720161:Invalid max attempts value PARSER 1 指定了不在(0,6)范围内的 odps.mapred.map/reduce.max.attempts。修改 odps.mapred.map/reduce.max.attempts 值。ODPS-0720171:Invalid IO sort buffer PARSER 1 指定的 io sort buffer ...
创建并使用MaxCompute资源
说明 新创建的资源如果未在MaxCompute（ODPS）客户端上传过，则需勾选 上传为ODPS资源，如果该资源已上传至MaxCompute（ODPS）客户端，则需取消勾选 上传为ODPS资源，否则上传均会报错。通过DataWorks可视化方式创建或上传的资源，若上传时...
开发MapReduce
本文为您介绍如何在MaxCompute Studio上开发MapReduce，包括编写MapReduce、调试MapReduce、打包、上传和运行MapReduce。前提条件 您需要完成以下操作：已连接MaxCompute项目。更多连接MaxCompute项目操作，请参见 管理项目连接。已创建...
作业优先级
本文为您介绍MaxCompute的包年包月作业优先级功能，并提供开启、设置和查看作业优先级的操作指导。背景信息 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。例如，系统必须在06:00点前产出...
通过控制台（新版）管理用户权限
{"Statement":[{"Action":["odps:CreateTable","odps:CreateInstance","odps:List"],"Effect":"Allow","Resource":["acs:odps:*:projects/project_name"]},{"Action":["odps:Describe","odps:Select"],"Effect":"Allow","Resource":["acs:...
PyODPS常见问题
使用from odps import options options.sql.settings设置MaxCompute运行环境不成功，如何解决？调用DataFrame的head方法时，报错IndexError:listindexoutofrange，是什么原因？上传Pandas DataFrame至MaxCompute时，报错ODPSError，如何...
开发Graph
本文为您介绍如何使用MaxCompute Studio开发Graph，包括编写Graph、调试Graph、打包上传和运行Graph。前提条件 您需要完成以下操作：管理项目连接 创建MaxCompute Java Module 编写Graph 在 Project 区域，右键单击Module的源码目录（即 ...
Python SDK常见问题
使用from odps import options options.sql.settings设置MaxCompute运行环境不成功，如何解决？调用DataFrame的head方法时，报错IndexError:listindexoutofrange，是什么原因？上传Pandas DataFrame至MaxCompute时，报错ODPSError，如何...
JDBC常见问题
MaxCompute JDBC Driver创建连接是十分轻量的操作，因此并没有必要针对MaxCompute的JDBC刻意使用连接池。当然，使用MaxCompute JDBC支持使用连接池的场景。如何查看MaxCompute JDBC Driver的日志？MaxCompute JDBC Driver的日志记录了对...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
使用说明
product=MaxCompute/ODPS jdbc version=3,0 inspecting table:jdbc_test key BIGINT(-5)value STRING(12)更新表 import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.sql.Statement;...
Paimon外部表
MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系，并访问其中的数据。本文将介绍如何创建Paimon外部表并通过MaxCompute访问Paimon外部表。背景信息 Apache Paimon是一种流批一体的湖存储格式，具备高吞吐的...
集成SQLAlchemy
PyODPS集成了SQLAlchemy，可以使用SQLAlchemy查询MaxCompute数据。本文为您介绍如何创建连接，并调用SQLAlchemy接口。创建连接 创建连接语法格式如下。import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID ...
使用Kafka（离线与实时）
FLATTEN：消息格式为JSON数据类型的字符串，JSON中的Key和Value会被解析，写入到对应的MaxCompute表中，其中JSON数据中的Key和需要与MaxCompute的表列名对应。关于不同格式消息导入的案例，详情请参见 使用示例。mode 否 消息同步到...
项目管理（新版）
项目（Project）是MaxCompute的基本组织单元，是进行多用户隔离和访问控制的主要边界。您开通MaxCompute服务后，需要通过项目使用MaxCompute。本文为您介绍如何通过MaxCompute新版控制台创建、管理MaxCompute项目。前提条件 阿里云账号或...
SET操作
MaxCompute支持在Session级设置MaxCompute系统变量，本文为您介绍如何设置及查看MaxCompute系统变量，影响MaxCompute的行为。set操作相关命令如下。类型 功能 角色 操作入口 set 对当前Session设置MaxCompute系统变量。具备项目空间操作...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
2021年
错误码概述 Common错误码（ODPS-00CCCCX）SQL错误码（ODPS-01CCCCX）PL错误码（ODPS-02CCCCX）API错误码（ODPS-04CCCCX）Xlib错误码（ODPS-05CCCCX）2021-03-19 补充常见问题。更新说明 根据用户反馈问题合入常见问题。Information Schema...
CREATE FUNCTION
MaxCompute的资源名大小写不敏感，例如第一次上传资源时资源名为pyudf_test.py，后续在DataStudio重命名资源或用MaxCompute客户端覆盖资源时将资源名重命名为PYUDF_TEST.py，此时底层唯一标识的资源名仍然为pyudf_test.py。因此注册自定义...
安全配置常见问题
本文为您介绍MaxCompute的安全配置常见问题。问题类别 常见问题 数据安全 MaxCompute如何保证数据安全？MaxCompute的数据是否可靠？VPC IP白名单是否支持设置网段？项目安全 运行作业报错AllMachineInBlackList，如何解决？因涉及项目数据...
实现指定用户访问特定UDF最佳实践
{"Version":"1","Statement"[{"Effect":"Deny","Action":["odps:Read","odps:List"],"Resource":"acs:odps:*:projects/sz_mc/resources/getaddr.jar"},{"Effect":"Deny","Action":["odps:Read","odps:List"],"Resource":"acs:odps:*:...
SQL脚本模式
提交运行时，SQL脚本文件会被整体提交，并生成一个执行计划，保证只需排队一次、执行一次，让您能充分利用MaxCompute的资源，在提升工作效率的同时增强数据处理和分析工作流的灵活性与安全性。说明 脚本模式SQL无法使用 计量预估 完成费用...
通过日志服务迁移日志数据至MaxCompute
背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该功能，日志服务后台会定时把写入到该日志库内的日志数据投递到MaxCompute对应的表中，方便您对数据进行后续加工。操作步骤 在MaxCompute客户端（odpscmd）...
内建函数常见问题
其他函数 MySQL的IFNULL函数对应MaxCompute的哪个函数？如何实现一行转多行？使用COALESCE函数时，报错Expression not in GROUP BY key，如何解决？在使用IFNULL函数时，报错Invalid function，如何解决？隐式转换 使用MaxCompute内建函数...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
使用Flink写入数据（Transaction Table2.0）
当前MaxCompute为您提供了新版的Flink Connector插件，新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表，提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持...
Spark On MaxCompute访问Phoenix数据
本文主要为您介绍使用Spark连接Phoenix，并将HBase中的数据写入到MaxCompute的实践方案。背景信息 Phoenix是HBase提供的SQL层，主要为了解决高并发、低延迟、简单查询等场景。为了满足用户在Spark On MaxCompute环境下访问Phoenix的数据...
创建并使用自定义函数
DataWorks支持您可视化创建与管理MaxCompute自定义函数，您可通过 MaxCompute的SQL命令创建与管理MaxCompute函数，也可使用DataWorks的可视化方式注册。本文为您介绍如何使用DataWorks可视化方式创建与使用MaxCompute自定义函数。前提条件 ...
创建MaxCompute项目
项目（Project）是MaxCompute的基本组织单元，是进行多用户隔离和访问控制的主要边界。您开通MaxCompute服务后，需要通过项目使用MaxCompute。本文为您介绍如何通过MaxCompute控制台或DataWorks创建MaxCompute项目。前提条件 阿里云账号或...
发展历程
基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到18176.71 QPM（Queries Per Minute）。此外，在超小型10 TB规模的指标上，MaxCompute的性能是其他开源竞品性能的3倍。MaxCompute登上Forrester...
- 产品推荐
- 这些文档可能帮助您