odps用sql查询表结构-odps用sql查询表结构文档介绍内容-阿里云

Flag参数列表

ALL 安全与权限 Project odps.output.field.formatter 设置SQL查询结果的动态脱敏规则。关于动态脱敏的更多信息，请参见数据动态脱敏。自定义的动态脱敏规则。SELECT 权限安全 Project odps.security.ip.whitelist 设置经典网络场景下可以...

MAP_FROM_ARRAYS

说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a：必填。ARRAY数组。对应生成MAP的Key值。array中的 K 指代ARRAY数组元素的...

HISTOGRAM

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

BITWISE_OR_AGG

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

BITWISE_AND_AGG

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

调试指南

对于来自ODPS表的DataFrame，部分操作不会编译到ODPS SQL执行，而会使用Tunnel下载表数据。这个下载的过程很快，且无需等待ODPS SQL任务的调度。利用这个特性，您可以快速下载小部分ODPS数据到本地，使用Pandas计算后端进行代码编写和调试...

MAP_AGG

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

采集数据

本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...

内建函数常见错误码

本文为您介绍使用MaxCompute内建函数过程中常见的错误码，帮助您了解错误码的产生原因，并提供对应的解决措施。常见内建函数错误码如下：ODPS-0130071:Semantic analysis exception-X type is not enabled in current mode ODPS-0130221:...

TRANSFORM_KEYS

说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。input：必填。MAP对象。map,V>中的 K1、V 指代MAP对象的Key、Value。func：必填...

输出错误日志示例

本文为您介绍如何使用MaxCompute Java SDK输出错误日志。接口说明 MaxCompute Java SDK提供了抽象类RetryLogger，详情请参见 SDK Java Doc。public static abstract class RetryLogger {/*当RestClient发生重试前的回调函数*@param e*错误...

Spark访问湖仓一体外部数据源

访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...

管理IP白名单

本文为您介绍当MaxCompute项目开启白名单功能时，如何添加、查看、修改、关闭经典网络和VPC网络的IP白名单及场景。仅Project Owner和Super_Administrator角色以及自定义的包含IP白名单管理相关权限的项目管理类角色有权限执行此操作。背景...

MaxCompute UDF（Java）常见问题

本文为您介绍使用Java语言编写的MaxCompute UDF的常见问题。类或依赖问题调用MaxCompute UDF运行代码时的常见类或依赖问题如下：问题现象一：运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因：原因一...

整体架构

支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...

MULTIMAP_AGG

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

GREATEST

当 set odps.sql.hive.compatible=true;时，任意参数输入为NULL，返回结果为NULL。相关文档 GREATEST函数属于其他函数，更多其他业务场景的函数请参见其他函数。如果此函数不满足需求，MaxCompute还支持自定义函数。有关自定义函数的详细...

MAP_UNION_SUM

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

函数

您可以编写自定义函数并在MaxCompute SQL中使用它们。基本操作 list_functions()：获取项目空间下的所有函数。exist_function()：用于判断是否存在某个函数。get_function()：用于获取函数对象。create_function()：创建函数。delete_...

MAP_UNION

如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....

快速入门

返回结果如下：使用DataWorks的临时查询功能，新建MaxCompute ODPS SQL节点，基于表mushroom_classification_one_hot中的数据创建训练数据集和测试数据集。命令示例如下：训练数据集。1/4的数据用于模型训练。create table mushroom_...

快速体验MaxCompute

体验MaxCompute 本示例会指导您基于MaxCompute提供的 TPC-DS数据样例数据和GitHub公开事件样例数据，通过 MaxCompute SQL分析功能，快速体验MaxCompute产品，完成开通、执行SQL语句查询数据。您无需进行数据同步，可直接上手体验数据分析...

Instance Logview示例

本文为您介绍如何使用MaxCompute Java SDK生成Instance Logview链接。Instance Logview可以帮助您快速定位问题。背景信息您可以通过Logview查看和Debug提交的MaxCompute作业，详情请参见使用Logview查看作业运行信息。MaxCompute Java ...

使用SQL管理外部项目

创建与外部数据源中表结构相同的表如果需要创建与外部数据源中表结构相同的表，可以使用 create table.like 命令复制外部数据源中表的结构，命令示例如下。说明 create table.like 命令详细说明请参见表操作。创建表 create table from_...

配额

配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...

与其他SQL语法的差异

本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...

开发ODPS SQL任务

编辑代码：进阶示例更复杂的ODPS SQL任务示例如下：与标准SQL的主要区别及解决方法 MaxCompute SQL中的关联操作 JSON数据从OSS迁移至MaxCompute 基于GitHub公开事件数据集的离线实时一体化实践基于MaxCompute UDF将IPv4或IPv6地址转换为...

COMBINATIONS

目前 n 的值默认不能大于5（可通过设置 odps.sql.max.combination.length 值进行调整），生成总子集数量默认不能大于100000（可通过设置 odps.sql.max.combinations 值进行调整）。如果 n 大于输入数组元素数，则返回数组为空。示例 SELECT...

使用限制

本文对MapReduce使用限制项进行说明，不遵循使用限制可能导致业务受到影响。MaxCompute MapReduce限制项汇总，如下表所示。边界名边界值分类配置项名称默认值是否可配置说明 Instance内存占用[256 MB,12 GB]内存限制 odps.stage....

兼容性概述

工具连接数据库列举数据库查看所有表查看表结构 查看表数据查看视图结构查看视图数据 Tableau FineBI FineReport Davinci Superset Yonghong BI Quick BI 观远BI连接MaxCompute 网易有数BI连接MaxCompute Sugar BI连接MaxCompute

选择连接工具

DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...

使用说明

本文为您介绍Mars集群上的操作、MaxCompute读取表以及获取Mars UI地址等更多操作。如果您需要了解开发Mars作业的详细操作指导，详情请参见 Mars。Mars集群操作创建Mars集群执行如下命令创建Mars集群。Mars集群的创建过程较慢，请您耐心...

开发ODPS MR任务

返回结果：OK 在ODPS SQL节点中查询输出表 wc_out 的数据。select*from wc_out;返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例更多场景的ODPS MR任务开发，请参见：...

Java SDK常见问题

使用SQLTask执行SQL查询时，如果查询结果条数大于限制的10000条，该如何获取所有数据？SQLTask中，按照如下方法返回结果集的数据量是否有限制？如果有限制，最大返回结果集大小是多少？SQLTask查询数据和DownloadSession在使用及功能上，有...

LIKE字符匹配

注意事项目前MaxCompute SQL仅支持UTF-8的字符集，如果数据以其他格式编码，计算结果可能不正确。LIKE通配符%表示匹配任意多个字符。表示匹配单个字符。如果要匹配%或_本身，则要对其进行转义。例如：\\%匹配字符%；\\_匹配字符_。示例 ...

SQL其他常见问题

在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...

周期性调度作业概述

数据访问行为说明 MaxCompute支持跨项目查询表，因此，在数据开发（DataStudio）界面可通过指定项目名称的方式，跨项目查询DataWorks工作空间中的生产数据。跨项目访问表的方式及各界面执行所使用的账号说明，请见下表。说明不同环境绑定...

项目空间操作

odps.output.field.formatter 设置SQL查询结果的动态脱敏规则。详情请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见消费监控告警消费控制。无。odps.sql.acid.table....

开发MapReduce

如果需要使用MaxCompute项目中的表数据，需要先在 MaxCompute project 中更改设置Endpoint和指定项目名称，指定的MaxCompute项目的表数据未被下载至 warehouse 目录中，会先下载数据；如果数据已经下载，则跳过此步骤。更多 warehouse 的...

odps用sql查询表结构

新品推荐