Java SDK介绍
ODPS MaxCompute SDK的入口，您可通过此类来获取项目空间下的所有对象集合，包括 Projects、Tables、Resources、Functions、Instances。您可以通过传入AliyunAccount实例来构造MaxCompute对象。代码示例如下。阿里云账号AccessKey拥有所有...
准备工作
import os import maxframe.dataframe as md from odps import ODPS from maxframe import new_session#创建MaxCompute入口 o=ODPS(#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_...
SQL其他常见问题
在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息...相关参考 开通MaxCompute 创建MaxCompute项目 报错FAILED:ODPS-0420095:Access Denied-The task is not in release range:Merge
安装PyODPS
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
SETPROJECT
工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...
搭建Linux开发环境
本文为您介绍如何搭建MaxCompute Spark开发环境。如果您安装了Windows操作...v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper spark.hadoop.odps.cupid.webproxy.endpoint=...
报错FAILED:ODPS-0420095:Access Denied-The task is ...
问题现象 在您使用MaxCompute过程中，当您尝试执行下面的SQL语句来合并小文件：set odps.merge.cross.paths=true;set odps.merge.max.partition.count=100;默认优化10个分区，此时设置为优化100个分区。ALTER TABLE 表名[partition]MERGE ...
在SQL语句中设置Flag示例
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
权限问题
MaxCompute Volume未授权 报错信息[403]com.aliyun.odps.OdpsException:ODPS-0420095: Access Denied - Volumes is not allowed in project config. at com.aliyun.odps.rest.RestClient.handleErrorResponse(RestClient.java:382)at ...
MaxCompute UDF概述
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
Davinci连接MaxCompute
格式为 jdbc:odps:<Maxcompute_endpoint>?project=<Maxcompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...
TPC-DS数据
MaxCompute通过TPC-DS官方工具生成了10GB、100GB、1TB、10TB四个规格的TPC-DS数据，此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息，以及如何通过MaxCompute执行TPC-DS数据查询。简介 TPC ...
开发PyODPS脚本
新建MaxCompute PyODPS脚本后，PyODPS脚本模板会通过PyODPS Room自动初始化 odps 和 o 两个对象。通过DataWorks开发PyODPS脚本时，系统会自动创建Room。通过IntelliJ IDEA开发PyODPS脚本时，需要创建Room，详情请参见 PyODPS文档。
管理IP白名单
本文为您介绍当MaxCompute项目开启白名单功能时，如何添加、查看、修改、关闭经典网络和VPC网络的IP白名单及场景。仅Project Owner和Super_Administrator角色以及自定义的包含IP白名单管理相关权限的项目管理类角色有权限执行此操作。背景...
利用MaxCompute External Volume处理非结构化数据
创建完成的External Volume在MaxCompute中的路径为：odps:/[project_name]/[volume_name]，其中 project_name 为MaxCompute项目名称；volume_name 为External Volume名称。Spark引擎和MapReduce任务等都可以使用External Volume在...
MaxCompute如何访问Hologres
需配置以下配置项 spark.hadoop.odps.project.name=<MaxCompute_Project_Name>spark.hadoop.odps.end.point=<Endpoint>spark.hadoop.odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.odps.access.id=<AccessKey_ID>spark.hadoop.odps....
Flag参数列表
ALL 调度 Session odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单...
简单上传示例
Odps odps=new Odps(account);odps.setEndpoint(odpsEndpoint);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);默认情况下，不需要设置Tunnel Endpoint，可以通过Endpoint自动路由。只有少数场景（比如...
输出错误日志示例
本文为您介绍如何使用MaxCompute Java SDK输出错误日志。接口说明 MaxCompute Java SDK提供了抽象类RetryLogger，详情请参见 SDK Java Doc。public static abstract class RetryLogger {/*当RestClient发生重试前的回调函数*@param e*错误...
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
通过Java SDK查询权限信息
odps.setEndpoint(odpsUrl);odps.setDefaultProject("doc_test_dev");try { String out=odps.projects().get("doc_test_dev").getSecurityManager().runQuery("show grants for ALIYUN$@test.aliyunid.com;true);System.out.print("out:...
创建MaxCompute Script Module
在MaxCompute Studio的本地.\IdeaProjects\MaxCompute_Studio_Project_Name\scripts 文件夹下新建一个MaxCompute的连接配置文件 odps_config.ini，文件中包含MaxCompute连接的鉴权信息，示例如下。连接的MaxCompute项目名称。project_name=...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
数据动态脱敏
当您期望某些用户只可以查看MaxCompute项目中隐藏关键信息的敏感数据时，您可以开启MaxCompute动态脱敏功能，在数据访问或展示时实时隐藏或替换敏感数据，以防止敏感数据泄露。本文为您介绍如何开启MaxCompute动态脱敏功能，并提供参考示例...
开发和调试
说明 参数设置可参见MaxCompute客户端中 conf/odps_config.ini 的设置，上述为几个常用参数，其他参数说明如下：odps.runner.mode：取值为 local，本地调试功能必须指定。odps.project.name：指定当前Project，必须指定。odps.end.point：...
概述
set odps.sql.type.system.odps2=true 常见问题 如何查看MaxCompute JDBC驱动的日志？MaxCompute JDBC驱动的日志默认放在驱动JAR包所在的同级目录下，文件名为 jdbc.log。如果代码与驱动打包为一个Uber JAR，日志将会在Uber JAR所在的同级...
内建函数常见错误码
本文为您介绍使用MaxCompute内建函数过程中常见的错误码，帮助您了解错误码的产生原因，并提供对应的解决措施。常见内建函数错误码如下：ODPS-0130071:Semantic analysis exception-X type is not enabled in current mode ODPS-0130221:...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
2024年
本文为您介绍MaxCompute 2024年产品公告，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更等信息，以提升项目开发效率。2024年04月23日-海外地域MaxCompute项目生命周期变更公告 尊敬的MaxCompute用户：从 北京时间...
ADD USER
向MaxCompute项目空间添加阿里云用户或RAM用户。使用限制 添加RAM用户时，MaxCompute只允许阿里云主账号将自身的RAM用户加入到项目空间中，不允许加入其它阿里云账号的RAM用户。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 ...
授权实践
准备Policy脚本，并放置文件在MaxCompute客户端文件所在的 bin 目录下，脚本文件名称为 policy_1.json、内容如下：{"Statement":[{"Action":["odps:List","odps:CreateTable","odps:CreateInstance","odps:CreateResource","odps:...
查询加速（MCQA）
需要配置的URL格式如下所示：jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>&accessId=<AccessKey ID>&accessKey=<AccessKey Secret>&charset=UTF-8&interactiveMode=true&autoSelectLimit=1000000000"参数说明如下。...
CURRENT_TIMESTAMP
CURRENT_TIMESTAMP函数为MaxCompute 2.0扩展函数，支持获取数据库服务器当前TIMESTAMP类型的时间。命令格式 timestamp current_timestamp()返回值说明 返回TIMESTAMP类型。使用示例-返回'2017-08-03 11:50:30.661'。set odps.sql.type....
Hologres外部表
ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' tblproperties('mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver','odps.federation.jdbc.target.db.type'='holo',['...
API错误码（ODPS-04CCCCX）
例如报错为 You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev}，则需要maxcompute_dev项目的所有者为执行人授予Project的CreateInstance权限。更多授权信息，请参见 MaxCompute权限。ODPS-0420111:Not...
安装并登录MaxCompute本地客户端
MaxCompute本地客户端（odpscmd）直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。本文为您介绍如何安装并启动MaxCompute客户端，启动成功后即表示已经登录MaxCompute客户端并进入MaxCompute项目...
UNLOAD
hgprecn-cn-5y*-cn-hangzhou-internal.hologres.aliyuncs.com:80/test?ApplicationName=MaxCompute¤tSchema=public&useSSL=false&table=mc_2_holo/' stored by 'com.aliyun.odps.jdbc.JdbcStorageHandler' with serdeproperties('odps....
配置MaxCompute Studio
MaxCompute Studio的默认设置是本地用户目录下的.odps.studio\meta 目录。Table preview rows：表的最大预览行数。本地作业保存目录：MaxCompute Studio作业的本地保存路径。MaxCompute Studio的默认设置是本地用户目录下的.odps.studio\...
多线程上传示例
Odps odps=new Odps(account);odps.setEndpoint(odpsEndpoint);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);tunnel.setEndpoint(tunnelEndpoint);ExecutorService pool=Executors.newFixedThreadPool...
- 产品推荐
- 这些文档可能帮助您