odps客户端命令-odps客户端命令文档介绍内容-阿里云

使用Counter示例

hello,odps 测试步骤在MaxCompute客户端中执行UserDefinedCounters。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.UserDefinedCounters wc_in wc_out预期...

二次排序示例

1,2 2,1 1,1 2,2 测试步骤在MaxCompute客户端中执行SecondarySort。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.SecondarySort ss_in ss_out;预期结果 ...

Lindorm外部表（云原生多模数据库）

更多安装MaxCompute客户端操作，请参见安装并配置MaxCompute客户端。已基于专有网络连接方案，开通MaxCompute和Lindorm服务间的网络连接。更多专有网络连接方案信息，请参见网络开通流程。已开通Lindorm服务并创建Lindorm实例。详情请...

WordCount示例

hello,odps 测试步骤在MaxCompute客户端中执行WordCount。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.WordCount wc_in wc_out预期结果作业成功结束后，...

Pipeline示例

hello,odps 测试步骤在MaxCompute客户端中执行WordCountPipeline。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.WordCountPipeline wc_in wc_out;预期结果 ...

多任务示例

测试步骤在MaxCompute客户端中执行MultiJobs。jar-resources mapreduce-examples.jar,multijobs_res_table-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.MultiJobs mr_multijobs_out;预期结果 ...

通过DataHub迁移日志数据至MaxCompute

操作步骤在MaxCompute客户端（odpscmd）执行如下语句创建表，用于存储DataHub同步的日志数据。示例语句如下。CREATE TABLE test(f1 string,f2 string,f3 double)partitioned by(ds string);在DataHub上创建项目。登录 DataHub控制台，在...

授权给其他用户

说明您也可以使用MaxCompute客户端创建角色，操作详情请参见项目级别角色授权。MaxCompute为您提供了两个内置的管理角色：admin 和 super_administrator，新建自定义角色时，角色类型可以为Resource（资源操作）或Admin（管理操作），两...

Join示例

1,odps 3,hello 4,odps 测试步骤在MaxCompute客户端中执行Join。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Join mr_Join_src1 mr_Join_src2 mr_Join_out;...

USE

使用限制本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令，仅支持在客户端（odpscmd）工具中运行。注意事项项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，项目管理页签下的MaxCompute 项目名。...

Endpoint

应用场景需要配置Endpoint或Tunnel Endpoint的场景如下：通过工具连接MaxCompute：使用MaxCompute客户端（odpscmd）连接MaxCompute项目，需要配置 odps_config.ini 文件，请参见安装并配置MaxCompute客户端。使用MaxCompute Studio连接...

Python 3 UDTF读取MaxCompute资源示例

本文为您介绍基于MaxCompute客户端通过Python 3 UDTF读取MaxCompute资源的使用示例。前提条件已安装MaxCompute客户端。更多安装MaxCompute客户端操作，请参见安装并配置MaxCompute客户端。UDTF的动态参数说明 Python UDTF函数签名格式请...

SETPROJECT

工具平台本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点中执行。注意事项项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择工作区>项目管理，项目管理页面的...

SQL其他常见问题

您可以通过 MaxCompute客户端 执行如下命令。insert into project.table select*from project_dev.table;如果没有生产环境中表的读写权限，需要完成账号授权。更多授权信息，请参见授权。如何判断一个字段是否为空？您可以通过MaxCompute ...

数据类型版本说明

项目管理员（Project Owner）或超级管理员角色（Super_Administrator Role）可以在 MaxCompute客户端、使用DataWorks连接或 MaxCompute Studio 上执行如下命令，修改项目的数据类型版本。重要在DataWorks数据开发的ODPS SQL节点中不能...

Grep示例

hello,odps hello,world 测试步骤在MaxCompute客户端中执行Grep。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Grep mr_src mr_grep_tmp mr_grep_out hello;...

SQL概述

相关工具您可以使用如下工具开发MaxCompute SQL作业：如果开发简单作业，推荐您使用 MaxCompute客户端、云命令行（odpscmd）或使用SQL分析连接。如果开发流程比较复杂的作业，推荐您使用Studio连接或使用DataWorks连接。

REMOVE FROM PACKAGE

获取方式如下：表名称：您可以通过 MaxCompute客户端 执行 show tables;命令获取表或视图名称。资源文件名称：您可以通过 MaxCompute客户端 执行 list resources;命令获取资源名称。函数名称：您可以通过 MaxCompute客户端 执行 list ...

将数据写入OSS

通过MaxCompute客户端对外部表执行 insert overwrite 或 insert into 命令，将数据写入OSS。insert into table mc_oss_csv_external4 select*from mc_oss_csv_external1;执行成功后，您可以在OSS目录下查看到导出的文件。output 文件夹下会...

权限自查建议

废弃账号及权限统计您可以通过 MaxCompute客户端 执行 list users;查看用户列表，确认是否有废弃的账号。对于已存在的MaxCompute或DataWorks项目中拥有角色的RAM用户，请在删除RAM之前收回其在项目中的角色，并在项目中删除RAM用户。否则...

Unique示例

1,1 1,1 2,2 2,2 测试步骤在MaxCompute客户端中执行Unique。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Unique ss_in ss_out key;预期结果作业成功结束后...

创建项目

创建MaxCompute自定义角色并授权阿里云账号通过 MaxCompute客户端 执行如下命令。创建自定义角色。create role custom_dev;为自定义角色授权。grant List,CreateInstance,CreateTable,CreateFunction,CreateResource on project prj_name ...

LIST ACCOUNTPROVIDERS

使用限制本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令，仅支持在客户端（odpscmd）工具中运行。注意事项 MaxCompute项目空间默认仅能识别阿里云账号体系，无法识别RAM账号体系。命令格式 list accountproviders;返回结果...

术语表

C Console 即MaxCompute客户端，是运行在Window或Linux下的工具，您可以在MaxCompute客户端通过运行命令的方式完成项目管理、DDL、DML等操作。MaxCompute客户端的操作指导，请参见使用客户端（odpscmd）连接。D Data Type MaxCompute表中...

ADD USER

本文中的命令您可以在如下工具平台执行：MaxCompute客户端 MaxCompute Studio 使用SQL分析连接命令格式 add user;参数说明参数名称是否必填说明 user_name 是待添加阿里云账号或RAM用户账号信息。格式如下：阿里云账号：ALIYUN$...

公开数据集概述

同时未开启租户级Schema语法开关的用户需要开启Session级Schema语法，才能保证命令正常运行，命令示例如下：开启Session级Schema语法 set odps.namespace.schema=true;查询表dwd_github_events_odps中的100条数据 select*from bigdata_...

ProjectProtection

使用限制本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令，仅支持在客户端（odpscmd）工具中运行。命令格式 set ProjectProtection={True|False};使用示例关闭当前项目空间的数据保护机制：set ProjectProtection=False;...

Tunnel操作

本文中的命令您需要在 MaxCompute客户端 执行。下载数据将MaxCompute表数据或指定Instance的执行结果下载至本地。具备读取表数据权限（Select）的用户。上传数据将本地文件的数据上传至MaxCompute的表中，以追加模式导入。上传数据至...

多路输入输出示例

hello,world 测试步骤在MaxCompute客户端中执行MultipleInOut。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.MultipleInOut wc_in1,wc_in2 mr_multiinout_...

MaxCompute表的高级功能

使用ALTER合并模式时，通过客户端命令进行合并。建议为临时表设置生命周期，在到期后垃圾回收机制会自动回收临时表。申请过多的DataHub Shard将会产生小文件问题，以下是申请DataHub Shard数目时的策略：单个Shard的默认吞吐量是1MB/s，...

RDS迁移至MaxCompute实现动态分区

在MaxCompute客户端执行如下命令，查看数据写入情况。SELECT count(*)from ods_user_info_d where dt=20180913;Hash实现非日期字段分区如果您的数据量较大，或没有按照日期字段对第一次全量的数据进行分区，而是按照省份等非日期字段分区...

SQL脚本模式

更多通过系统命令行窗口运行MaxCompute客户端的操作，请参见运行MaxCompute客户端。\bin>odpscmd-s myscript.sql 说明-s 为odpscmd的命令行选项，类似于-f、-e，而非交互环境中的命令。odpscmd的交互环境中暂不支持脚本模式与表变量。通过...

导入数据

本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件请确认您已满足如下条件：已创建表。更多创建表操作，请参见创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...

DDL操作常见问题

您可以通过 MaxCompute客户端 执行如下命令查看项目下的分区表信息。select table_name from information_schema.columns where is_partition_key=true group by table_name;如何查看MaxCompute表的最近访问时间？您可以在DataWorks 数据...

MaxCompute后付费消费突增排查

登录 MaxCompute客户端 或使用SQL分析连接，使用 use 命令切换到步骤四找出的高额消费的项目，通过 TASKS_HISTORY 查询作业消费情况，命令示例如下。开启2.0数据类型开关。2.0数据类型详情，请参见2.0数据类型版本。set odps.sql.decimal...

SQL错误码（ODPS-01CCCCX）

解决措施：您可以在 MaxCompute客户端，通过如下方式之一，开启2.0数据类型开关：Session级别：您需要在SQL语句前加上 set odps.sql.type.system.odps2=true;语句，与SQL语句一起提交执行。Project级别：项目所有者（Project Owner）可以...

ADD TO PACKAGE

获取方式如下：表名称：您可以通过 MaxCompute客户端 执行 show tables;命令获取表或视图名称。资源文件名称：您可以通过 MaxCompute客户端 执行 list resources;命令获取资源名称。函数名称：您可以通过 MaxCompute客户端 执行 list ...

通过Tunnel迁移日志数据至MaxCompute

操作步骤在MaxCompute客户端（odpscmd）执行如下命令创建表 loghub，用于存储上传的日志数据。打开新类型数据开关，此命令需要和SQL语句一起提交。set odps.sql.type.system.odps2=true;创建表loghub。CREATE TABLE loghub(client_ip ...

LIST USERS

使用限制本文中的命令您可以在如下工具平台执行：MaxCompute客户端 MaxCompute Studio 使用SQL分析连接命令格式 list users;相关命令 ADD USER：向MaxCompute项目空间添加阿里云用户或RAM用户。REMOVE USER：当一个用户离开MaxCompute...

统计MaxCompute TOPN费用账号及耗时作业

以MaxCompute客户端为例，操作流程如下：登录 MaxCompute客户端，执行如下命令创建元数据备份表。project_name为MaxCompute项目名称。create table if not exists<project_name>.information_history(task_catalog STRING,task_schema ...

odps客户端命令

新品推荐