CoAP连云HAL
返回结果说明：返回结果 说明>0 读取数据的长度。0 文件末尾。1 无效参数。2 超时时间内未接收到任何数据。3 会话在读取数据前被中断。4 UDP连接错误。HAL_UDP_recv 原型：int HAL_UDP_recv(_IN_intptr_t sockfd,_OU_unsigned char*p_data,...
管理数据集合
您可以通过EMAS Serverless提供的数据存储服务API对集合（相当于MySQL中的表）进行数据读取、写入、更新、删除等操作。读取数据 以下代码示例展示了适用于不同场景的数据读取方法：从集合中读取所有数据。例如，查询所有图片：mpserverless...
数据集成
功能介绍 功能描述 相关文档 数据集成离线同步，通过读取插件与写入插件实现数据的读取与写入，并且支持在DataWorks新建数据源，通过数据源名称决定同步数据的来源与去向。支持的数据源与读写插件 离线同步能力说明 在DataWorks新建数据源...
Sheet
activate activate()方法描述 激活当前sheet 调用样例-rpa.app.wps.excel.Sheet.activate-#注意事项：使用前需确认已安装WPS相关软件#使用此方法并保存excel后，对应sheet页面会作为默认打开页，即启动对应excel文件后，对应sheet页会作为...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
上下游存储
Failed to create the job graph for the job:4b12318d861041ccb14d6e32bae9cec7(message=0:0-0:0,Translating the JobGraph for this deployment failed before.Please delete the JobGraph before requesting a new translation 报错：...
配置AnalyticDB for MySQL 3.0输入组件
AnalyticDB for MySQL 3.0输入组件用于读取AnalyticDB for MySQL 3.0数据源的数据。同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据...
开发PyODPS 2任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
配置AnalyticDB for MySQL 3.0输入组件
AnalyticDB for MySQL 3.0输入组件用于读取AnalyticDB for MySQL 3.0数据源的数据。同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
开发PyODPS 2任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
开发PyODPS 3任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
开发PyODPS 3任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
2024年
2024年03月 V6.6.2.1 类别 功能 功能描述 相关文档 新增 pg_jieba插件 pg_jieba插件对中文文本进行分词，从而实现高效的中文全文检索。使用pg_jieba插件进行中文分词 Btree-GIST插件 Btree-GIST插件提供了一种使用GIST索引结构来模拟B树（B...
MySQL
MySQL CDC源表支持并发地读取全量数据，通过增量快照算法实现了全程无锁和断点续传，详情可参见 关于MySQL CDC源表。作为源表，支持以下功能特性。流批一体，支持读取全量和增量数据，无需维护两套流程。支持并发读取全量数据，性能水平...
Tablestore数据源
例如，对一张主键为[Hundreds,Tens,Ones]的三主键Tablestore表进行数据抽取，表中的数据的主键分别为：(0,0,0)(0,0,1)(0,0,2)(0,0,3).(9,9,8)(9,9,9)，共1000列。begin 和 end 的配置如下所示。示例一：抽取 Hundreds 的范围为[3，5]、Tens...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
PyODPS常见问题
iris.count()由于DataFrame上的操作并不会立即执行，只有当用户显式调用Execute方法或者立即执行的方法时，才会真正执行。此时为了防止Count方法延迟执行，可输入如下命令。df.count().execute()获取DataFrame实际数量的相关方法请参见 ...
Python SDK常见问题
iris.count()由于DataFrame上的操作并不会立即执行，只有当用户显式调用Execute方法或者立即执行的方法时，才会真正执行。此时为了防止Count方法延迟执行，可输入如下命令。df.count().execute()获取DataFrame实际数量的相关方法请参见 ...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
配置脚本代码节点
例如，读取数据生成的Excel脚本，读取数据发邮件的脚本等。使用限制 目前仅支持Shell脚本文件。说明 您也可以通过Shell脚本调度其他程序，在其他程序中实现其各类脚本文件的调度。脚本文件名只能包含字母、数字、下划线（_）和半角句号（....
CDC问题
在配置相同的情况下，为每一个MySQL CDC源表配置相同Server ID，可以实现数据源的复用，从而减小数据库的压力。详情请参见 代码示例四：多CTAS语句。使用MySQL CDC，增量阶段读取出来的timestamp字段时区相差8小时，怎么回事呢？在解析...
DBCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 DBCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 dbcp-mysql-client 示例工程 前提条件 您已安装 OceanBase 数据库...
分析外部OSS上的数据
本文介绍了使用列存索引功能查询OSS上的外表数据的技术原理和使用方法等内容。背景信息 业务存续期间，随着时间的推移，数据的规模不断增加导致存储成本上升。用户在应对激烈的市场竞争时，业务逻辑也在不断地发生变化，对应计算分析的复杂...
Java UDAF
} 其中：iterate、merge 和 terminate 是最重要的三个方法，UDAF的主要逻辑依赖于这三个方法的实现。此外，还需要您实现自定义的Writable buffer。Writable buffer将内存中的对象转换成字节序列（或其他数据传输协议）以便于储存到磁盘...
将数据写入OSS
本文为您介绍向OSS写入数据的方法并提供示例。背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：通过内置文本或开源数据解析器将数据写入OSS 当需要将数据以CSV、TSV、开源格式或MaxCompute支持的...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
如何操作Microsoft的Excel
案例介绍 Excel模块是用来向用户提供一系列操作Excel的SDK，让用户通过简单的参数和方法调用来实现一些复杂的操作。要使用Excel模块，需要使用 rpa.app.microsoft.excel 进行操作。案例实现 1、案例一 业务场景：抓取天猫商品信息数据，并...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
颜色映射器使用说明
本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点颜色为例，为您介绍如何使用颜色映射器实现数据与颜色之间的映射匹配。配置说明 配置地图子组件内散点颜色时，您可以通过以下两种颜色配置方法调整散点的颜色。方法一：单击...
PolarDB HTAP实时数据分析技术解密
该执行器框架充分利用列式存储的优势，例如，以一个4096行的Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核处理数据的吞吐量，所有关键算子均支持并行执行。对比MySQL原有的行存执行器，性能有数量级的提升。支持行列混合执行的...
通过DataWorks使用PyODPS
请避免在PyODPS节点中直接下载数据并在DataWorks中处理数据，建议将数据处理任务提交到MaxCompute进行分布式执行处理，两种方式的对比详情请参见 注意事项：请勿下载全量数据到本地并运行PyODPS。包支持限制 DataWorks的PyODPS节点缺少 ...
基于TPC-DS测试Databricks引擎性能
数据集在：oss:/tpc-ds-test/data）步骤四：运行TPC-DS测试集 运行测试集的方法和生成数据的操作一致，仅需要修改下面两个参数：numberOfIteration：更改为1，代表测试集将被运行1次，产生1次迭代结果，也可自行选择迭代执行次数。...
SmartData常见问题
JindoFS在适配上充分发挥OSS并发吞吐能力，实现异步并发读取，利用Concurrent Multipart Upload特性进行并发分块写入，在读写吞吐上面比社区版本具有较大优势。JindoFS缓存模式和Block模式可以利用集群本地磁盘或内存来缓存数据，对于新...
Tablestore Stream数据源
DataWorks数据集成支持使用Tablestore Stream Reader读取Tablestore的增量数据，本文为您介绍DataWorks的Tablestore Stream数据读取能力。数据同步前准备：Tablestore Stream环境准备 使用Tablestore Stream插件前，您必须确保Tablestore表...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
使用Fluid加速Lindorm S3协议兼容的数据访问
步骤二：创建Dataset和Runtime 说明 为了方便管理数据，Fluid定义了数据集Dataset（数据集是逻辑上相关的一组数据的集合，会被计算引擎使用）和Runtime（实现数据集安全性、版本管理和数据加速等能力的执行引擎，定义了一系列生命周期的...
读数据表
读数据表组件用于读取MaxCompute表数据，默认读取本项目的表数据。如果跨项目读取表数据，则需要在表名前添加项目名。说明 目前 Designer 算法组件支持读取的数据类型为DOUBLE、BIGINT、STRING、BOOLEAN、DATETIME。读数据表组件支持读取...
常见问题
过滤字段或数据的方法，请参见 通过SQL条件过滤任务数据。同步任务是否可以转为迁移任务？不可以，不同类型的任务不支持相互转换。是否可以只同步数据不同步结构？可以。在配置同步任务步骤时，不勾选 库表结构同步 即可。数据同步实例的源...
- 产品推荐
- 这些文档可能帮助您