Spark批式读写Iceberg
id","<yourDLFRegionId>")val spark=SparkSession.builder().config(sparkConf).appName("IcebergReadWriteTest").getOrCreate()/从DataFrame中创建或替换Iceberg表 val firstDF=spark.createDataFrame(Seq((1,"a"),(2,"b"),(3,"c"))).toDF...
API概览
文档理解 API API概述 文档智能解析 进行通用文档抽取和理解，从文档中提取出层级结构、文本内容、KV字段、样式信息等。表格智能解析 进行表格抽取和理解，从表格中提取出表格样式、表格内容、文本KV、表格KV等信息。文档抽取 对各种类型...
多轮对话管理
在交互过程中，信息提取主要分为两类：一类是从 query 中提取出有效信息，这类我们成为实体抽取。系统提供了日期、时间、城市、数字、金额等实体，而另外一些具有业务含义的实体，需要通过自定义来实现，比如银行卡名称、保险名、套餐名等...
文档理解
功能详情 文档智能解析 进行通用文档解析，从文档中提取出逻辑层级结构、文本内容、表格内容、Key-Value键值字段、样式信息等。基于对文档的内容信息、版面信息和逻辑信息的分析理解，以结构化数据的形态输出抽取结果。表格智能解析 进行...
JSON函数
字段样例 time:["time_local","request_time","upstream_response_time"]查询和分析语句*|SELECT json_array_length(time)查询和分析结果 json_extract函数 json_extract函数用于从JSON对象或JSON数组中提取一组JSON值（数组或对象）。...
JDBC节点
广泛用于指定JDBC协议的测试请求场景，以及您需要结合出参从响应中提取内容，或者您需要结合检查点从业务维度判断响应是否符合预期的场景。基本请求信息 JDBC压测节点的基本请求信息包含数据库类型、压测URL、SQL等信息。占位符 若您为JDBC...
JDBC节点概述
广泛用于指定JDBC协议的测试请求场景，以及您需要结合出参从响应中提取内容，或者您需要结合检查点从业务维度判断响应是否符合预期的场景。配置基本请求信息 JDBC压测节点的基本请求信息包含数据库类型、压测URL、SQL等信息。占位符 若您为...
小程序使用指南
小程序主要功能 文档内容识别 从图片中提取文字或表格，对文档内容进行识别，支持翻译和导出Word/Excel等更多功能。文档格式转换 将文档格式进行转换，上传PDF、图片等文档后，将其转换为可编辑的Word/Excel，并保留原始文档的版式样式信息...
数据面常见问题
查看 agent_plugin.log 日志，会打印出Servlet切面before和after的2行日志，从下面示例中 routeId:JoeHeader 可以看出提取出的路由标为 JoeHeader。2021-05-13 15:12:39,750 INFO ...
配置参数映射模板
（可选操作）bodyOverride:|"xx"#默认映射规则 default:bodyOverride:|{"name":{{$.temp }}} 如上示例所示，模板语法主要分为以下几个对象：params：用于从请求或响应中提取参数。详见下文 params：提取参数。expression：一个表达式，该...
执行
ResultFrame to_pandas 转换为Pandas DataFrame或者Series，wrap参数为True的时候，返回PyODPS DataFrame对象。wrap为True时，返回PyODPS DataFrame。wrap为False时，返回Pandas DataFrame。False为默认值。plot，hist，boxplot 画图有关。...
快速入门
本文以具体数据及开发场景为例，为您介绍在DataWorks数据开发的PyODPS 3节点中，如何创建和操作MaxFrame中的DataFrame对象，以及使用DataFrame完成基本的数据处理，帮助您在十分钟内快速使用MaxFrame进行开发。数据准备 本文以 movielens ...
创建DataFrame
如果Pandas DataFrame中包含LIST或DICT列，系统不会推断该列的类型，必须手动使用 as_type 指定类型。as_type 参数类型必须是DICT。示例：示例1：指定 null_col2 列类型为 float。df2=DataFrame(df,unknown_as_string=True,as_type={'null_...
使用摘要签名认证方式调用API
3.1.2 客户端生成签名 客户端生成签名一共分三步处理：从原始请求中提取关键数据，得到一个用来签名的签名串；使用加密算法加APP Secret对关键数据签名串进行加密处理，得到签名；将签名所相关的所有头加入到原始HTTP请求中，得到最终HTTP...
PyODPS DataFrame的代码运行环境
map/apply/map_reduce/自定义聚合：访问其他MaxCompute表，MaxCompute Executor中通常不支持访问Endpoint/Tunnel Endpoint，也没有PyODPS包可用，因而不能直接使用ODPS入口对象或者PyODPS DataFrame，也不能从自定义函数外部传入这些对象。...
Golang SDK使用说明
types.Watcher FrameChan()<-chan types.DataFrame 功能：返回一个管道对象，服务端推送过来的数据会被写入该管道中，可以从该管道中循环读取数据。返回值：可用于读取推送数据的管道对象。Close()功能：关闭一个Watcher对象，用于关闭后端...
在本地环境上使用PyODPS
在PyODPS节点中执行SQL命令 您可以在PyODPS节点中使用传统模式 或加速查询模式（MCQA）执行SQL命令，当前主要支持运行DDL、DML类型的SQL命令。与传统模式相比，加速查询模式（MCQA）会将作业的运行结果写入临时缓存中。当您后续执行相同的...
Python SDK使用说明
返回值：表示从队列服务中实时推送到客户端的DataFrame对象。close()功能：关闭一个Watcher对象，用于关闭后端的数据连接。说明 一个客户端只能启动一个Watcher对象，使用完成后需要将该对象关闭才能启动新的Watcher对象。程序示例 字符串...
时空栅格函数参考
计算过程中，空间的对象的空间范围extent会被首先提取出来，然后就算extent中心点的Z2索引值。该函数可以用于数据计算的区间分块。在读取raster数据过程中会自动调用该函数进行计算。函数定义：Long st_z2_index(Geometry geom,CRS crs)...
Confluent+数据洞察Databricks最佳实践
timestampType:integer(nullable=true)由于key和value都是binary格式的，我们需要将value（json）由binary转换为string格式，并定义schema，提取出JSON中的数据，并转换为对应的格式：schema=(StructType().add('key',TimestampType())....
在GPU实例上使用RAPIDS加速机器学习任务
将DataFrame格式的数据转换为用于XGBoost训练的DMatrix格式，每个worker处理一个DMatrix对象。示例效果如下：启动ML Training。使用dask-xgboost启动模型训练，dask-xgboost负责多个dask worker间的通信协同工作，底层仍然调用xgboost执行...
通过DataWorks使用PyODPS
PyODPS为MaxCompute的Python版SDK，支持在DataWorks中开发运行PyODPS任务。本文为您介绍在DataWorks上使用PyODPS的使用限制、主要流程和部分简单应用示例。使用限制 使用方式限制 如果您发现有 Got killed 报错，即表明内存使用超限，进程...
JSON数据类型
Lindorm宽表引擎支持在建表、插入数据和更新数据时使用JSON数据类型。...json_extract_type 通过 json_extract_type 从JSON列中提取对应的数据类型的字段作为二级索引的，如果数据类型不匹配则不构建二级索引。支持以下函数类型：...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
功能特性
同步到MaxCompute 同步到OSS 表格存储中的全量数据以及增量数据可以通过DataWorks数据集成同步到对象存储中备份和使用。同步到OSS 同步到本地文件 表格存储支持通过命令行工具或者DataX工具直接下载数据到本地文件。您也可以通过DataWorks...
Spark SQL、Dataset和DataFrame基础操作
Dataset是Spark 1.6中添加的一个新接口，它集成了RDD和Spark SQL的优点，可以从JVM对象构造数据集，然后使用函数转换（Map、FlatMap或Filter等）进行操作。Dataset API有Scala和Java两种版本。Python和R不支持Dataset API，但是由于Python...
数据输入输出
MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算结果存储到另一张MaxCompute表中。从非分区表 test_odps_table 中获取数据，通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中，代码...
Python SDK常见问题
在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP ...
PyODPS常见问题
在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP ...
表批读写
读取表 您可以通过指定表名或路径将Delta表加载到DataFrame中：SQL%sql SELECT*FROM events-query table in the metastore SELECT*FROM delta.`/mnt/delta/events`-query table by path Python%pyspark spark.table("events")#query table ...
快速入门
本文为您介绍如何创建和操作DataFrame对象，以及使用DataFrame完成基本的数据处理。数据准备 本文将以 movielens 100K 进行举例，下载ml-100k.zip到本地。其中u.user是用户相关的数据，u.item是电影相关的数据，u.data是评分有关的数据。...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。快速入门：为您介绍如何创建和操作DataFrame对象，以及使用Dataframe完成基本的数据处理。...
查询和分析JSON日志的常见问题
json_extract函数和json_extract_scalar函数都是用于从JSON对象或JSON数组中提取内容，用法类似，主要区别如下：json_extract函数的返回值是JSON类型，json_extract_scalar函数的返回值是varchar类型。说明 此类型是指SQL语法中的数据类型...
PyODPS概述
常见的需求，比如需要对每一行数据处理然后写回表，或者一行数据要拆成多行，都可以通过PyODPS DataFrame中的 map 或者 apply 实现，有些甚至只需要一行代码，足够高效与简洁，案例可参见 使用自定义函数及Python第三方库。使用这些接口...
Collection
DataFrame中所有二维数据集上的操作都属于CollectionExpr，可视为一张MaxCompute表或一张电子表单，DataFrame对象也是CollectionExpr的特例。CollectionExpr中包含针对二维数据集的列操作、筛选、变换等大量操作。前提条件 您需要提前完成...
函数概览
json_extract_scalar函数 从JSON对象或JSON数组中提取一组标量值（字符串、整数或布尔值）。类似于json_extract函数。json_format函数 把JSON类型转化成字符串类型。json_parse函数 把字符串类型转化成JSON类型。json_size函数 计算JSON...
模型创建
QA）时序预测（TIME_SERIES_FORECAST）时序异常检测（TIME_SERIES_ANOMALY_DETECTION）TASK：指定模型的任务类型，支持以下任务类型：任务类型 关键字 说明 特征提取 FEATURE_EXTRACTION 使用Embedding模型从数据（文本或图像等）中提取...
key_mgmt_tool
extractMaskedObject 从HSM实例中提取密钥作为屏蔽对象文件。findKey 通过关键属性值搜索密钥。findSingleKey 验证HSM实例上是否存在密钥。genDSAKeyPair 在HSM实例中生成数字签名算法(DSA)密钥对。genECCKeyPair 在HSM实例中生成椭圆曲线...
功能概览
LiveTail 在线上运维场景中，经常需要对日志队列中的数据进行实时监控，从最新的日志数据中提取出关键信息，以便快速分析出异常原因。提供日志数据实时监控的交互功能 LiveTail，针对线上日志进行实时监控分析，减轻运维压力。日志快照 ...
配置从HTTP到Dubbo协议转换
请求参数：从HTTP请求的Query参数中提取 请求头：从HTTP请求的Header中提取 请求路径：从HTTP请求的Path中提取 请求体：从HTTP请求的Body中提取 入参位提取Key：配置当前参数对应的Key。后端参数类型：配置当前参数的完整类型名。按照规范...
- 产品推荐
- 这些文档可能帮助您