文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
通过样本库识别
使用限制 DataWorks仅支持上传大小不超过500KB，UTF-8 格式的 TXT 文本文件做为样本库文件，并且样本文件中的每个数据占用一行。说明 一个 数据识别规则 仅支持识别一种类型的数据，因此，建议您的每个样本库中存放同类型的数据。如果您...
数组和嵌套类型
多元索引除了提供Long、Double、Boolean、Keyword、Text和GeoPoint等基本类型外，还提供了数组类型和嵌套类型两种特殊类型。如果想了解更多Array和Nested的对比，请参见 Array和Nested对比。数组类型 数组类型属于附加类型，可以附加在Long...
MAP_FROM_ARRAYS
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a：必填。ARRAY数组。对应生成MAP的Key值。array中的 K 指代ARRAY数组元素的...
配置API输出组件
多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被拼接数据源中配置的URL后。写入JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。...
配置API输出组件
多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被拼接数据源中配置的URL后。写入JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。...
应用场景
物流应用：使用云数据库MongoDB存储订单信息，订单状态在运送过程中会不断更新，以云数据库MongoDB内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来，方便快捷且一目了然。社交应用：使用云数据库MongoDB存储用户信息以及用户...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
访问OSS数据源
本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark spark=SparkSession.builder.appName('OSS Example').getOrCreate()#读取指定的文件，文件...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
垃圾回收机制
当无效数据行占总数据行数的一定数值时（您可以根据需求自定义设置无效数据行数占比），PolarDB PostgreSQL版（兼容Oracle）会自动触发垃圾数据的回收动作，通过VACUUM进程对垃圾数据进行回收；您也可以手动执行 vacuum table_name 进行...
读取数据
} 读取数据时使用过滤器 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据Col0列的值过滤数据。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder primaryKeyBuilder=...
自动故障转移和读写分离
libpq是PostgreSQL的C应用程序接口，包含一组库函数，允许客户端程序将查询请求发送给PostgreSQL后端服务器并接收这些查询的结果。JDBC（Java Database Connectivity）是Java语言中用来规范客户端程序如何访问数据库的应用程序接口，在...
如何通过合并请求进行数据分发
本文以 通用标题 组件请求数据，分发给 数字翻牌器 和 多行文本 组件，完成数据更新为例，介绍如何通过合并请求进行数据分发。效果展示 使用场景 多个组件的数据可以通过API或SQL数据源等一次获取，再进行数据分发，减少数据请求次数。操作...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源官方数据类型介绍。分类 关键字 数据类型 取值/取值范围 整数类型 Int8 Int8 取值范围：128-127。Int16 Int16 取值范围：32768-32767。Int...
smlar
简介 smlar是 PolarDB PostgreSQL版（兼容Oracle）的一款开源第三方插件，提供了可以在数据库内高效计算数据相似度的函数，并提供了支持GiST和GIN索引的相似度运算符。目前smlar插件已经支持PostgreSQL所有的内置数据类型。使用指南 安装...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
DataCheckConfigure参数说明
fullCheckMaxReadRps Integer 每秒读取数据的最大行数，取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不...
pg_type
typarray oid 如果 typarray 不是0，则它标识 pg_type 中的另一行，这一行是一个将此类型作为元素的“真的”数组类型。typinput regproc 输入转换函数（文本格式）。typoutput regproc 输出转换函数（文本格式）typreceive regproc 输入...
常见问题
读取MaxCompute（ODPS）表数据时，添加一行注意事项。读取MaxCompute（ODPS）表数据时，如何同步分区字段？读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？如何处理表列名有关键字导致同步任务失败的情况？读取Loghub同步某字段有...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
配置用户组
创建并使用用户组 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
GetRange
Java SDK：范围读取数据 Go SDK：范围读取数据 Python SDK：范围读取数据 Node.js SDK：范围读取数据.NET SDK：范围读取数据 PHP SDK：范围读取数据 服务能力单元消耗 GetRange操作消耗读服务能力单元的数值为查询范围内所有行主键数据大小...
读取数据
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
组复制简介
每个节点都会维护一个事务认证信息数组，这是一个哈希数组，它的key是数据行的哈希值，它的value是最近修改这一行的事务的GTID与此事务在源节点提交时的gtid_executed（源节点上所有提交过的事务的gtid集合）的并集。一个事务在源节点准备...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
文本域
简介 文本域组件擅长展示长文本。可以根据配置指定展示文本的行数、最大长度等信息。输入过程中可以实现调用逻辑流、提交表单或打开页面等操作。属性配置 图片组件属性由以下部分组成：分类 参数 示例 说明 基础属性 只读 此配置项规定了...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
电子表格支持函数说明
在范围的第一行中搜索某个键值，并返回所找到的列中指定单元格的值。HYPERLINK 在单元格内创建一个超链接。INDEX 根据指定的行和列偏移，返回单元格内容。INDIRECT 返回以字符串指定的单元格引用。LOOKUP 在已排序的一行或一列中查找某个键...
CSV数据文件格式
普通示例 图数据库GDB数据文件（以TinkerPop modern图为例）CSV数据文件如下所示：点文件~id~label name:string lang:string age:int 1 person marko 29 2 person vadas 27 3 software lop java 4 person josh 32 5 software ripple java 6...
集成表格存储Tablestore
云工作流 可以在流程中集成 表格存储（Tablestore），通过集成 Tablestore，您可以将流程运行中的各种数据持久化到 Tablestore 的某个表中，也可以将某个表的数据作为流程的数据源。本文分别从数据读取和数据写入两种场景，介绍 云工作流 ...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
pg_proc
proargtypes oidvector 一个函数参数的数据类型的数组。这只包括输入参数（含 INOUT 和 VARIADIC 参数），因此也表现了函数的调用特征。proallargtypes oid[]一个函数参数的数据类型的数组。这包括所有参数（含 OUT 和 INOUT 参数）。但是...
伪类型
anyrange 表示一个函数可以接受任意范围数据类型 anycompatible 指示函数接受任何数据类型，并自动将多个参数提升为通用数据类型 anycompatiblearray 指示函数接受任何数组数据类型，并自动将多个参数提升为通用数据类型 ...
配置FTP输入组件
数据内容结束行 若不指定行数，则读取到最后一行数据，数据内容结束行 不少于 数据内容起始行。导出sheet名 可选择 导出 或 不导出。选择 导出 则新增一个导出字段，字段内容为该行数据的来源sheet名称。文件编码 选择文件编码。系统支持的...
- 产品推荐
- 这些文档可能帮助您