UDF开发（Java）

当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...

Java UDTF

在MaxCompute Studio的左侧导航栏，单击 Project Explorer，在目标MaxCompute项目上单击右键，启动MaxCompute客户端，并执行SQL命令调用新创建的UDTF。假设待查询目标表my_table的数据结构如下。col0|col1|+-+-+|A B|1|C D|2|+-+-+执行如下...

大量数据导出方案

右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。填写 节点名称 为 runsql，单击 确认。配置ODPS SQL节点，配置完成后单击 保存。创建数据同步节点。右键单击业务流程，选择 新建节点>数据集成>离线同步。填写 节点名称 为 sync2...

Python 3 UDTF

输入pageid，输出pageid以及它对应的所有adid"""def process(self,pageid):for adid in self.my_dict[pageid]:self.forward(pageid,adid)使用说明 按照 开发流程，完成Python 3 UDTF开发后，您即可通过MaxCompute SQL调用Python 3 UDTF...

UDF开发（Python3）

if self.counter>self.ln-1:return None ret=self.records[self.counter]self.counter+1 return str(ret)UDF开发完成后：UDF调用说明 按照 开发流程，完成Python 3 UDF开发后，您即可通过MaxCompute SQL调用Python 3 UDF。调用方法如下。...

Java UDAF

在MaxCompute Studio的左侧导航栏，单击 Project Explorer，在目标MaxCompute项目上单击右键，启动MaxCompute客户端，并执行SQL命令调用新创建的UDAF。假设待查询目标表my_table的数据结构如下。col0|col1|+-+-+|1.2|2.0 ...

Python 2 UDTF

输入pageid，输出pageid以及它对应的所有adid"""def process(self,pageid):for adid in self.my_dict[pageid]:self.forward(pageid,adid)使用说明 按照 开发流程，完成Python 2 UDTF开发后，您即可通过MaxCompute SQL调用Python 2 UDTF...

Python 2 UDAF

使用说明 按照 开发流程，完成Python 2 UDAF开发后，您即可通过MaxCompute SQL调用Python 2 UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目...

Python 3 UDAF

使用说明 按照 开发流程，完成Python 3 UDAF开发后，您即可通过MaxCompute SQL调用Python 3 UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目...

UDF开发（Python2）

UDF开发完成后：UDF调用说明 完成Python 2 UDF开发后，您即可通过MaxCompute SQL调用Python 2 UDF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目...

数据类型版本说明

MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...

SETPROJECT

工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...

打包、上传及注册

当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...

SQL其他常见问题

在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...

与其他SQL语法的差异

本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...

INITCAP

返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。

使用SQL管理外部项目

打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法 set odps.sql.hive.compatible=true;通过OSS分片上传功能将数据写入OSS set odps.sql.unstructured.oss.commit.mode=true;支持通过如下语句全project 默认打开该功能 setproject ...

配置MaxCompute Studio

MaxCompute SQL配置选项 在 Settings 对话框左侧导航栏上，单击 MaxCompute Studio>MaxCompute SQL，进入MaxCompute SQL配置选项页。在MaxCompute SQL配置选项对话框配置如下信息：语法高亮 选中 Enable syntax coloring，启动语法高亮功能...

开发及提交SQL脚本

本文为您介绍如何在MaxCompute Studio上开发SQL脚本。包括编写和运行SQL脚本。前提条件 已连接MaxCompute项目，详情请参见 管理项目连接。已创建MaxCompute Script Module，详情请参见 创建MaxCompute Script Module。创建SQL脚本文件 在 ...

在SQL语句中设置Flag示例

例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...

报错FAILED:ODPS-0420061:Invalid parameter in ...

问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...

使用DataWorks连接

MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...

压缩数据从OSS迁移至MaxCompute

创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...

DROP FUNCTION

命令格式 drop function;参数说明 function_name：必填。...使用示例-注销my_lower函数。drop function my_lower;相关命令 CREATE SQL FUNCTION：创建永久SQL语言定义函数并存入Meta系统后，所有的查询...SELECT FUNCTION：调用SQL语言定义函数。

ODPS-0420095

错误2：You have no privilege 'odps:<Action>' on {acs:odps:*:projects/<project_name>} 错误信息（示例）ODPS-0420095:Access Denied-You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev} 错误码描述...

Tablestore外部表

SELECT odps_orderkey,odps_orderdate,SUM(odps_totalprice)AS sum_total FROM ots_table_external WHERE odps_orderkey>5000 AND odps_orderkey< 7000 ANDodps_orderdate>='1996-05-03' AND odps_orderdate< '1997-05-01' GROUP BYodps_...

SQL Workbench/J连接MaxCompute

格式为 jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...

MaxCompute如何访问Hologres

需配置以下配置项 spark.hadoop.odps.project.name=<MaxCompute_Project_Name>spark.hadoop.odps.end.point=<Endpoint>spark.hadoop.odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.odps.access.id=<AccessKey_ID>spark.hadoop.odps....

整体架构

Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...

2024年

2024年02月29日-MaxCompute SQL反向访问VPC方案下线公告 尊敬的MaxCompute用户：MaxCompute将于北京时间 2024年03月31日 下线SQL反向访问VPC方案，需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连（Network_Link）方案。...

PyODPS参数传递

0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...

PyODPS查看一级分区

0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...

ODPS-0130252

错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...

GETDATE

说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...

CREATE SQL FUNCTION

SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...

DQL操作常见问题

FAILED:ODPS-0123065:Join exception-Maximum 16 join inputs allowed 产生原因 MaxCompute SQL最多支持6张小表的MAPJOIN，并且连续JOIN的表不能超过16张。解决措施 将部分小表JOIN成一张临时表作为输入表，减少输入表的个数。在执行JOIN...

SET

odps.sql.executionengine.coldata.deep.buffer.size.max 设置MaxCompute在写表过程中，为复杂数据类型的列预先申请的缓存大小，以便提高写入性能。如果输出的表中的复杂数据类型过多或输出表中含有的某个单独的复杂类型变量大小过大，可以...

选择连接工具

DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...

使用MaxCompute分析IP来源最佳实践

在SQL中使用UDF函数分析IP来源 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面，输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...

统计MaxCompute TOPN费用账号及耗时作业

数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
共有200条 < 1 2 3 4 ... 200 >
跳转至： GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云原生大数据计算服务 MaxCompute 云备份 短信服务 弹性公网IP 人工智能平台 PAI

新品推荐

新人特惠 爆款特惠 最新活动 免费试用
新人特惠 爆款特惠 最新活动 免费试用