阿里邮箱导出的通讯录由TXT格式转换为CSV格式的方法
概述 本文主要介绍在阿里邮箱中，将TXT格式的通讯录转换为CSV格式的方法。详细信息 通过Office或者WPS新建一个表格文件，选择 数据 页签下 自文本 功能，找到已下载的员工账号文件，单击 打开，弹出 文本导入向导 窗口。说明 本文以Office ...
创建并使用自定义函数
类名 UDF函数的类名，格式为 资源名.类名。其中，资源名可以为Java包名称或Python资源名称。DataWorks创建自定义函数时支持使用JAR及Python两种类型的MaxCompute资源，不同类型资源的类名配置如下：当资源类型为JAR时，配置的 类名 格式为 ...
创建并使用自定义函数
类名 UDF函数的类名，格式为 资源名.类名。其中，资源名可以为Java包名称或Python资源名称。DataWorks创建自定义函数时支持使用JAR及Python两种类型的MaxCompute资源，不同类型资源的类名配置如下：当资源类型为JAR时，配置的 类名 格式为 ...
使用MaxCompute分析IP来源最佳实践
命令格式 该UDF的具体使用方法示例，例如 test。参数说明 支持输入的参数类型以及返回参数类型的具体说明。返回值 返回值，例如1，非必填项。示例 函数中的示例，非必填项。单击工具栏中的 图标，保存函数。提交函数。单击工具栏中的 图标...
使用MaxCompute分析IP来源最佳实践
命令格式 该UDF的具体使用方法示例，例如 test。参数说明 支持输入的参数类型以及返回参数类型的具体说明。返回值 返回值，例如1，非必填项。示例 函数中的示例，非必填项。单击工具栏中的 图标。提交函数。单击工具栏中的 图标。在 提交新...
创建EMR函数
命令格式 该UDF的具体使用方法示例，例如 test。参数说明 支持输入的参数类型以及返回参数类型的具体说明。返回值 返回值，例如1，非必填项。示例 函数中的示例，非必填项。单击工具栏中的 图标。提交函数。单击工具栏中的 图标。说明 提交...
UDF（SQL自定义函数）
定义SQL UDF：创建临时SQL UDF MaxCompute支持通过 function 命令创建SQL UDF，且通过此命令创建的UDF为临时SQL UDF，即创建完成后不会存入MaxCompute的Meta系统，因此无法在MaxCompute的函数列表中查询到此UDF，后续仅支持在当前SQL脚本中...
UDF示例：使用正则表达式替换字符串
命令格式：string UDF_REPLACE_BY_REGEXP(string,string,string)命令功能：在字符串 s 中使用正则表达式 regex 匹配并替换为字符串 replacement。与MaxCompute的内建函数 REGEXP_REPLACE 函数相比，该函数中正则表达式支持变量。参数说明：...
UDF示例：获取字符串（不含分隔符）Value
命令格式：string UDF_EXTRACT_KEY_VALUE(string,string,string,string)命令功能：在字符串 s 中使用 split1 分割出键值对后，再根据 split2 分割键值对获得键和值，最后返回键 keyname 对应的值。说明 该UDF不适用于字符串本身包含分隔符...
PyODPS使用第三方包
bundle.tar.gz","rb"))udf_res=o.create_resource("test_psi_udf.py","py",fileobj=open("test_psi_udf.py","rb"))o.create_function("test_psi_udf",class_type="test_psi_udf.MyPsi",resources=[bundle_res,udf_res])使用MaxCompute客户...
2019年
ACID语义、Upload、命令格式 2019-05-13 更新Spark开发指南。新示例 新增Java、Scala和PySpark开发示例。搭建Linux开发环境、概述、PySpark开发示例 2019-05-10 新增欠费预警接收设置步骤说明。新说明 主账号可以设置子账号接收欠费预警...
SELECT语法
本文为您介绍 select 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 select 操作前需要具备目标表的读取数据权限（Select）。授权操作请参见 MaxCompute权限。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL...
改进版swing相似度计算算法
输入输出格式 输入表（支持分区表）至少包含两列：user_id:bigint/string类型（代码不检查具体类型）的用户ID或session id（推荐）item_list:string类型的物品列表，物品与物品之间的分隔符为英文分号;每个物品用bigint类型的ID表示 item...
列运算
strptime 格式化时间，时间格式和Python标准库相同，详情请参见 Python 时间格式化。时间相关操作 对于DATETIME类型Sequence或者Scalar，可以调用时间相关的内置函数。df=lens[[lens.unix_timestamp.astype('datetime').rename('dt')]]>>>...
使用自定义函数及Python第三方库
使用第三方Python库 您可以把第三方Python包作为资源上传到MaxCompute，支持的格式有 whl、egg、zip 以及 tar.gz。在全局或者在立即执行的方法时，指定需要使用的包文件，即可在自定义函数中使用第三方库。第三方库的依赖库，也必须指定，...
Confluent+数据洞察Databricks最佳实践
0))然后，我们增加一列数据：出租车行驶的距离，并将距离进行离散化，进行后续的分析：%pyspark from pyspark.sql.functions import udf from pyspark.sql.types import*from geopy.distance import geodesic#定义udf并使用 cal_dis=udf...
参数配置
本文为您介绍FE、BE、Broker以及系统参数的部分配置项以及修改方式。背景信息 配置项分为动态参数和静态参数。动态参数主要是FE有部分动态配置，支持在线修改。静态参数是需要重启服务生效的配置项。本文为您介绍以下内容：FE配置项 FE动态...
参数配置
本文介绍了Serverless StarRocks FE和BE的参数配置。根据参数的生效方式，它们被划分为静态参数和动态参数两类。静态参数在修改后需要重新启动服务才能生效，而动态参数则允许立即生效，无需重新启动服务。FE动态参数 LOG相关配置 参数 ...
错误码表（2.0版）
外部数据源catalog创建语句的properties子句格式错误，请参考DDL文档修改。18069 xxx external catalog already exists.外部数据源catalog已经存在，请确认catalog是否重名。18070 NA NA 18071 Could not use the existing schema name ...
MapReduce常见问题
在MapOnly中，为什么程序没有指定输出Table的Schema格式？如何在本地调用MaxCompute服务器运行MapReduce任务？常见报错 执行MaxCompute MapReduce时，报错BufferOverflowException，如何解决？执行MaxCompute MapReduce时，报错Resource ...
2022-09-19版本
本文为您介绍2022年9月19日发布的Flink全托管版本的...修复在多个UDF嵌套运算时，使用中间结果出现NullPointerException报错的问题。修复mysql-cdc chunk分片异常、OOM、初始化数据和增量数据时区不一致的问题。详情请参见 MySQL的CDC源表。
可视化管理函数
MaxCompute UDF：支持查看函数的语法格式及实现代码。修改函数 内建函数：无法修改。MaxCompute UDF：如果您需要修改MaxCompute UDF，请先删除已注册的MaxCompute UDF，并重新开发UDF程序，完成打包、上传及注册操作。删除函数 无。注册...
新建用户自定义函数
命令格式即函数引用格式，例如：bigintweekday(datetime date)。使用文档 填写函数使用描述，例如：select get_week_date("20170810",0,2),-获取8月10日，本周周二日期。from cndata.dual 选择目录 系统默认为当前函数类型的目录。如果您...
EMR-4.10.x版本说明
支持UDF动态加载功能，详情请参见 动态加载UDF。支持数据湖分析。Impala 修复了直接删除OSS分区目录出现list目录循环的问题。修复了查询DLF元数据表时，提示 no such method error 的问题。Zeppelin 升级Zeppelin至社区0.10.0版本。Oozie ...
UDF示例：复杂数据类型
命令格式：array<string>UDF_COMPLEX_DATA(array<bigint><as>)map,string>UDF_COMPLEX_DATA(map,bigint>)struct,output_time:string>UDF_COMPLEX_DATA(,input_timestamp:bigint>)命令功能：将输入的时间戳转换成 yyyy-MM-dd HH:mm:ss 格式...
UDF示例：Python UDF使用第三方包
背景信息 通过Python UDF使用第三方包支持的场景如下：使用Numpy包（Python 3 UDF）您需要修改Numpy包的后缀格式，基于MaxCompute客户端上传Numpy包，并注册函数。函数注册成功后即可通过Python 3 UDF调用。使用需要编译的第三方包 您需要...
UDF示例：引用表资源
开发代码 Python UDF代码如下，实现遍历引用的表资源（例如udf_test）中的数据，返回数组格式的数据。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class DistCacheTableExample(object...
内建函数常见问题
如果日期为2010/1/3格式，您需要自行编写UDF函数实现日期转换。编写UDF指导请参见 MaxCompute UDF概述。如何将UNIX时间转为日期值？您可以使用FROM_UNIXTIME函数将数字型的UNIX时间转为日期值，请参见 FROM_UNIXTIME。如何获取系统当前时间...
什么是MaxCompute
统一丰富的计算和存储能力 MaxCompute支持多种计算模型和丰富的UDF。采用列压缩存储格式，通常情况下具备5倍压缩能力，可以大幅节省存储成本。数据建模、开发、治理能力 借助一站式数据开发与治理平台DataWorks，可实现全域数据汇聚、融合...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint)函数功能：该函数...
Dataphin创建Java函数步骤
概述 用户在使Dataphin时，需要使用到自定义函数，本文将详细介绍具体...命令格式：调用格式，建议使用函数名（UDF代码的参数）使用文档：使用说明。5.使用刚刚注册的函数，参数类型保持和UDF的Java代码参数类型一致。适用于 Dataphin公有云
最佳实践
配置规则 基于选定的被保护数据，按照数据保护规则格式，编辑规则内容，并通过SQL UDF下发规则。更多规则格式介绍请参见 数据保护规则简介。SELECT encdb_rule_op('add','[{"name":"rule-for-contact-name","enabled":true,"meta":{...
UDF开发（Python3）
UDF开发：函数签名与数据类型 函数签名格式如下。annotate()signature 为字符串，用于标识输入参数和返回值的数据类型。执行UDF时，UDF函数的输入参数和返回值类型要与函数签名指定的类型一致。查询语义解析阶段会检查不符合函数签名定义的...
GET_JSON_OBJECT
您可以通过 get_json_object，结合UDTF，轻松转换JSON格式日志数据，避免多次调用函数，详情请参见 利用MaxCompute内建函数及UDTF转换JSON格式日志数据。参数说明 json：必填。STRING类型。标准的JSON格式对象，格式为 {Key:Value,Key:...
管理自定义函数（UDF）
注意事项 当RAM用户或RAM角色等其他身份需要进行管理自定义函数（UDF）等相关操作时，请确保其具有目标项目空间的访问权限，详情请参见 项目空间授权。为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
MaxCompute UDF概述
UDF开发示例 UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
Spark UDF
本文档主要介绍了如何在Spark中管理并使用用户自定义函数UDF（User Define Function）。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB ...
- 产品推荐
- 这些文档可能帮助您