GREATEST
当 set odps.sql.hive.compatible=true;时，任意参数输入为NULL，返回结果为NULL。相关文档 GREATEST函数属于其他函数，更多其他业务场景的函数请参见 其他函数。如果此函数不满足需求，MaxCompute还支持自定义函数。有关自定义函数的详细...
UDF（地理空间）
cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...
查看连接地址
专有网络 公网 JAR作业开发实践 Hive Metastore地址 通过SQL访问Hive数据（连接地址为图示中③）Lindorm 专有网络 访问Hive数据 查看流引擎连接地址 查看流引擎的连接地址前，请确保已开通Lindorm流引擎。如果您需要使用公网地址连接流引擎...
Lindorm外部表（云原生多模数据库）
set odps.sql.hive.compatible=true;配置odps.sql.hbase.version参数，切换HBase版本为lindorm。set odps.sql.hbase.version=lindorm;创建Lindorm外部表。create external table if not exists(<col1_name><data_type>,<col2_name><data_...
Hive兼容数据类型版本
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
2.0数据类型版本
setproject odps.sql.hive.compatible=false;关闭Hive兼容模式。适用场景 适用于在2020年04月之前无存量数据的MaxCompute项目，且该项目依赖的产品组件支持2.0数据类型版本。基础数据类型 类型 常量示例 描述 TINYINT 1Y、-127Y 8位有符号...
其它函数
MaxCompute（ODPS）中默认NULL为最小值，仅当set odps.sql.hive.compatible=true时，参数中有NULL返回结果为NULL。支持的计算引擎 MaxCompute(ODPS)、MYSQL、RDS、HIVE、AnalyticDB PostgreSQL(ADB_PG)、POLAR_PG、POSTGRESQL、SPARK。IF ...
DATE_FORMAT
DATE和STRING类型只能在Hive兼容模式下使用，您可以执行 set odps.sql.hive.compatible=true;命令打开Hive模式。如果参数为STRING类型，则格式只支持以下三种日期字段：'yyyy-MM-dd'，例如 '2019-12-27'。'yyyy-MM-dd hh:mm:ss'，例如 '...
RDS外部表
set odps.sql.hive.compatible=true;CREATE EXTERNAL TABLE(<col_name1><data_type>,<col_name2><data_type>,.)STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' --处理JDBC连接类数据源的Handler。location '...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Hive作业调优
您可以通过调整内存、CPU和Task个数等，实现对Hive作业的调优。本文为您介绍如何调优Hive作业。作业调优方案 作业调优方向 调优方案 参数调优 内存参数 CPU参数 Task数量优化 并行运行 Fetch task 开启向量化 合并小文件 代码优化 代码优化...
COUNT
set odps.sql.hive.compatible=false;执行如下SQL命令。select sal,count(sal)over(partition by sal order by sal)as count from emp;返回结果如下：+-+-+|sal|count|+-+-+|800|1|950|1|1100|1|1250|1|-窗口开始行。第1行的累计计数值是1...
SET
odps.sql.hive.compatible Hive兼容模式开关。打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法，例如 inputRecordReader、outputRecordReader 和 Serde。Hive兼容数据类型详情请参见 Hive兼容数据类型版本。True：打开。False：...
STDDEV
set odps.sql.hive.compatible=false;执行如下SQL命令。select deptno,sal,stddev(sal)over(partition by deptno order by sal)from emp;返回结果如下：+-+-+-+|deptno|sal|_c2|+-+-+-+|10|1300|0.0|-窗口开始行。10|1300|0.0|-从第1行到第...
Flag参数列表
MaxCompute JSON数据类型 SQL Session/Project odps.sql.hive.compatible Hive兼容模式开关。打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法，例如 inputRecordReader、outputRecordReader 和 Serde。关于兼容数据类型的更多信息...
混合云解决方案
场景说明 ApsaraDB for SQL Server混合云解决方案用于实现本地SQL Server服务与RDS SQL Server服务之间的数据传输或者同步。利用SQL Server复制技术实现数据的同步，其典型应用场景就是写数据在本地，读数据在RDS SQL Server。方案架构 ...
SUM
set odps.sql.hive.compatible=false;执行如下SQL命令。select deptno,sal,sum(sal)over(partition by deptno order by sal)from emp;返回结果如下：+-+-+-+|deptno|sal|_c2|+-+-+-+|10|1300|1300|-窗口开始行。10|1300|2600|-从第1行到第2...
HBase外部表（HBase标准版或增强版）
set odps.sql.hive.compatible=true;仅当HBase集群为增强版时，除上述2个SET参数外，还必须配置odps.sql.hbase.version参数，切换HBase版本为lindorm。set odps.sql.hbase.version=lindorm;创建HBase外部表。create external table if not ...
SETPROJECT
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.hive.compatible Hive兼容模式开关。打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法，例如 inputRecordReader、outputRecordReader 和 Serde。关于兼容数据类型的更多信息...
查询管理SQL
通过云数据库ClickHouse控制台您可以轻松实现慢SQL和运行中SQL的监控和管理。背景信息 原始QueryLog表使用过程繁琐，需要进行客户端安装，编写SQL，结果排序等，无法进行直接的趋势展现，整体使用成本高，易用性和效率低。云数据库...
AVG
set odps.sql.hive.compatible=false;执行如下SQL命令。select deptno,sal,avg(sal)over(partition by deptno order by sal)from emp;返回结果如下：+-+-+-+|deptno|sal|_c2|+-+-+-+|10|1300|1300.0|-窗口开始行。10|1300|1300.0|-从第1行...
定时SQL Exactly-Once
日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于Logstore和MetricStore，仅以Logstore为例进行说明。背景信息 日志服务Logstore中包含多个Shard，每个Shard对应一个Hash Key区间（左闭右开）。您...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
迁移SQL Server数据库到Babelfish for RDS PostgreSQL
为了实现从SQL Server到Babelfish for RDS PostgreSQL的无缝迁移，本文介绍迁移数据库的操作步骤。利用Babelfish的兼容特性，您将能够快速完成迁移，无需重写大量代码，从而简化迁移工作并节约资源。前提条件 已创建Babelfish for RDS ...
访问Hive数据
云原生多模数据库 Lindorm 计算引擎提供完善的Hive数仓能力，支持用户通过Hive或Spark SQL定义数仓生产处理逻辑并开发相关作业。本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
推荐使用Hive SQL ANALYZE命令获取Hive表统计信息，可以加快后续SQL的查询速度。此步骤在SF=3时，耗时为20min~30min。hive-f./hive-testbench-hdp3/ddl-tpcds/bin_partitioned/analyze.sql \-hiveconf hive.execution.engine=tez \-...
Hive使用扩展记录数据血缘和访问历史
EMR-5.16.0及之后版本、EMR-3.50.0及之后版本，不仅实现了上述参数在Gateway节点上的同步，还引入了新的参数 hive_aux_jars_path_gateway_only，允许您在Gateway节点上独立使用自定义扩展的JAR文件来增强功能。注意事项 EMR-5.14.0之前版本...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
具体操作步骤请参见 Hive SQL作业配置。配置作业，创建外表。作业配置如下。添加jar包，仅对当前会话有效#add jar hdfs:/tmp/hadoop-es/elasticsearch-hadoop-hive-6.7.0.jar;创建hive外表，与es索引进行映射#CREATE EXTERNAL table IF NOT...
EMR-3.24.x版本说明
Hive 增加SQL兼容性检查功能逻辑。Hive2.3.5+Hadoop2.8.5组合发布。重启组件时不同步 hiveserver2-site.xml 中的内容至spark-conf下的 hive-site.xml。支持使用MSCK命令添加增量目录。修复Hive复用tez container时出现的bug。支持使用MSCK...
新建离线计算模板
MaxCompute计算引擎 MAX_COMPUTE_SQL SPARK_JAR_ON_MAX_COMPUTE MAX_COMPUTE_MR Hadoop（Hive）计算引擎 HIVE_SQL IMPALA_SQL 说明 需已配置并开启Impala。SPARK_JAR_ON_HIVE HADOOP_MR TDH Inceptor计算引擎 INCEPTOR_SQL SPARK_JAR_ON_...
DLF+EMR之统一权限最佳实践
通过beeline连接Hive SQL。beeline-u jdbc:hive2:/<主节点的节点名称>:10000 执行以下语句初始化数据，创建测试数据。创建数据库和表 create database db_a;create table db_a.table1(col1 string,col2 string,col3 string);create table ...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在...支持IMPALA_SQL任务类型和HIVE_SQL任务类型的互相切换。按照下图操作指引，选择需要切换类型任务。单击 确定，即可完成任务类型切换。
SparkSQL使用扩展记录数据血缘和访问历史
EMR-5.16.0及之后版本、EMR-3.50.0及之后版本，不仅实现了上述参数在Gateway节点上的同步，还引入了新的参数 hive_aux_jars_path_gateway_only，允许您在Gateway节点上独立使用自定义扩展的JAR文件来增强功能。注意事项 EMR-5.14.0之前版本...
数据上云工具
MaxCompute平台支持丰富的数据...MMA迁移工具 MMA利用Meta Carrier连接用户的Hive Metastore服务，抓取用户的Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详情请参见 MMA概述。
MaxCompute UDF概述
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
- 产品推荐
- 这些文档可能帮助您