ListEventDefinitions-获取事件定义列表
操作 访问级别 资源类型 条件关键字 关联操作 cmn:ListEventDefinitions 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 NextToken string 否 标记当前开始读取的位置，置空表示从头开始 1 MaxResults integer 是 本次读取的最大数据...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
Delta Lake CDC构建增量数仓
创建SCAN时可以选择指定startingVersion，创建STREAM时需要指定checkpoint路径来保存流式的offset信息，两者都会作用于流式读取的起始点。不指定startingVersion：checkpointLocation为空：返回当前Delta Lake的快照数据。...
PolarDB PostgreSQL版架构介绍
T5时刻，只读节点再次读取页面P1，由于BufferPool中不存在P1，因此从共享内存上读取了最新的P1，但是只读节点并没有回放LSN=300的日志，读取到了一个对其来说超前的 未来页面。未来页面 的问题是：部分页面是 未来页面，部分页面是正常的...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
离线批量读取数据
表格存储提供了BulkExport接口用于在大数据场景下批量读取数据表中的数据。数据写入到数据表后，您可以根据指定条件进行数据读取。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。参数 参数 说明...
PolarDB PostgreSQL版架构介绍
T5时刻，只读节点再次读取页面P1，由于BufferPool中不存在P1，因此从共享内存上读取了最新的P1，但是只读节点并没有回放LSN=300的日志，读取到了一个对其来说超前的 未来页面。未来页面 的问题是：部分页面是 未来页面，部分页面是正常的...
Spark的数据写入至Hologres
相较于使用PostgreSQL JDBC驱动的方法，还可以设置读取的并发参数，根据Hologres表的Shard进行分片，从而实现并发读取，显著提升了性能。示例如下。val spark=SparkSession.builder.appName("ReadFromHologres").master("local[*]")....
TimeseriesFieldsToGet
指定要读取的时序数据列的列名和类型。数据结构 message TimeseriesFieldsToGet { optional string name=1;optional int32 type=2;} 名称 类型 是否必选 描述 name string 是 列名。type int32 是 数据类型标识。其中LONG=1、BOOLEAN=2、...
配置OSS输入组件
OSS输入组件用于读取OSS数据源的数据。同步OSS数据源的数据至其他数据源的场景中，您需要先配置OSS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前，请确认您已完成以下...
配置OSS输入组件
OSS输入组件用于读取OSS数据源的数据。同步OSS数据源的数据至其他数据源的场景中，您需要先配置OSS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前，请确认您已完成以下...
0016-00000404
问题描述 无法读取请求中指定的Object。问题原因 您读取的Object是归档类型，该Object当前处于不可读取的状态，可能原因如下：没有对Object完成RestoreObject操作。例如，没有提交RestoreObject请求。上一次提交RestoreObject已超时。已经...
读取环境变量
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取环境变量 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 在 ...
ListStatefulAsyncInvocationFunctions-列举已开启...
nextToken string 用来表示当前调用返回读取到的位置，空代表数据已经读取完毕。data array 返回的实际数据列表。AsyncConfigMeta 任务配置所属的服务及函数元数据。示例 正常返回示例 JSON 格式 {"nextToken":"\"\"","data":[{...
Dataphin管道任务报错“您尝试读取的列越界,源文件...
问题描述 用户使用Dataphin管道任务报错“您尝试读取的列越界,源文件该行有[62]列,您尝试读取第[63]列”问题原因 数据分隔符和字段里面的特殊符号一致，导致字段被拆分。解决方案 修改字段分隔符，或者修改字段里面的特殊符号。适用于 ...
迁移实施
闪电立方支持的具体存储方式如下。闪电立方本地NAS存储 源数据写入闪电立方本地NAS中，以明文本地文件形式存储。适用于源端数据，需要通过自定义方式读取的场景，如源为本地对象存储，需通过特定的工具来读取数据。
迁移实施
闪电立方支持的具体存储方式如下。闪电立方本地NAS存储 源数据写入闪电立方本地NAS中，以明文本地文件形式存储。适用于源端数据，需要通过自定义方式读取的场景，如源为本地对象存储，需通过特定的工具来读取数据。
ListNotificationHistoriesStatistics-...
操作 访问级别 资源类型 条件关键字 关联操作 cmn:ListNotificationHistoriesStatistics 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 NextToken string 否 标记当前开始读取的位置，置空表示从头开始 1 MaxResults integer 是 ...
配置告警规则
MySQL InnoDB每秒从Buffer Pool读取页的次数 Per Second InnoDB平均每秒从Buffer Pool读取页的次数（逻辑读）。MySQL InnoDB每秒往Buffer Pool写入页的次数 Per Second InnoDB平均每秒往Buffer Pool写入页的次数。MySQL InnoDB Buffer Pool...
ListPublicDatasetTags-获取公共数据集分类
5EAB96C0EB6B NextToken string 翻页 Token 用来表示当前调用返回读取到的位置，空代表数据已经读取完毕 ba6d88e2-a6f2-4d2c-a2ae-68b76b078445 MaxResults integer 分页数 10 TotalCount integer 总记录数 100 Tags array 公共数据集标签 ...
ListEvents-获取事件列表
操作 访问级别 资源类型 条件关键字 关联操作 cmn:ListEvents 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 NextToken string 否 标记当前开始读取的位置，置空表示从头开始 1 MaxResults integer 是 本次读取的最大数据记录数量 ...
Dataphin从FTP同步数据到HIVE报错“您尝试读取的列...
问题描述 用户从FTP同步数据到HIVE报错“您尝试读取的列越界,源文件该行有[1]列,您尝试读取第[2]列”。问题原因 文件编码格式错误。解决方案 检查文件编码格式，需要保持和选择的格式一样。适用于 Dataphin 列越界
使用paiio读写MaxCompute表数据
分布式读取时，系统根据 slice_count 将表均分为多个分片，读取 slice_id 对应的分片。slice_id 为默认值0时，如果 slice_count 取值为1，则表示读取整张表。如果 slice_count 大于1，则表示读取第0个分片。slice_count 否 INT 1 在分布式...
表设计
在读取时需要对所有桶进行读取，可以采用并行读取的方式进行加速。方法三：表上仍然采用均匀的方式写入数据，给表建立一个多元索引，通过多元索引进行Timestamp等字段的有序查询。多元索引在数据分布上本身会进行一次散列，分成多个分片，...
ListComponents
DD6B1B2A-5837-5237-ABE4-FF0C8944*NextToken string 返回读取到的数据位置，空代表数据已经读取完毕。DD6B1B2A-5837-5237-ABE4-FF0C89568980 MaxResults integer 本次请求所返回的最大记录条数。20 TotalCount integer 本次请求条件下的...
集成表格存储Tablestore
本文分别从数据读取和数据写入两种场景，介绍 云工作流 集成 Tablestore 的示例代码、参数说明和集成输出。背景信息 Tablestore 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。...
ListLogs-查询syslog日志
操作 访问级别 资源类型 条件关键字 关联操作 cmn:ListLogs 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 NextToken string 否 标记当前开始读取的位置，置空表示从头开始 1 MaxResults integer 是 本次读取的最大数据记录数量。...
ListQuotaAlarms-查询配额用量告警列表
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
ListWorkspaces-查询工作空间列表
请求语法 GET/api/workspaces 请求参数 名称 类型 必填 描述 示例值 nextToken string 否 用来标记当前开始读取的位置，置空表示从头开始 beb1eff55bf03a13cf321a395dxxxxxx maxResults integer 否 本次读取的最大数据记录数量，默认 10，...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
配置Greenplum输入组件
Greenplum输入组件用于读取Greenplum数据源的数据。同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 ...
新建元表
调试测试配置 任务调试时默认读取 设置任务调试时默认读取的数据表，支持选择生产表和开发表。如果选择可读取生产表，调试时可读取对应的生产表数据，存在数据泄漏风险，请谨慎操作。若设置了任务调试时默认读取生产表，则需申请个人账号的...
新建元表
调试测试配置 任务调试时默认读取 设置任务调试时默认读取的数据表，支持选择生产表和开发表。如果选择可读取生产表，调试时可读取对应的生产表数据，存在数据泄漏风险，请谨慎操作。若设置了任务调试时默认读取生产表，则需申请个人账号的...
运行报错"您尝试读取的列越界,源文件该行有[31]列,
问题描述 Dataphin中管道任务抽取FTP数据，报错“ERROR DlinkTaskPluginCollector-脏数据:{"message":"您尝试读取的列越界,源文件该行有[31]列,您尝试读取第[32]列,数据详情[.]”，且读取的中文数据有乱码。完整的报错信息如下：2021-11-08...
任务拆分和执行
IDataItem 就是待处理的数据对象，有两种类型：SingleDataItem：只包含一条数据，当 getCountPerWrite 方法的返回值小于或等于 1 时是该类型。MultiDataItem：包含多条数据，当 getCountPerWrite 方法的返回值大于 1 时是该类型。可根据...
GetShardIterator
调用GetShardIterator接口获取读取当前Shard记录的起始iterator。请求消息结构 message GetShardIteratorRequest { required string stream_id=1;required string shard_id=2;} 名称 类型 是否必选 描述 stream_id string 是 当前Stream的...
SQL
shared_blks_read bigint 该语句读取的共享块的总数。shared_blks_dirtied bigint 该语句弄脏的共享块的总数。shared_blks_written bigint 该语句写入的共享块的总数。local_blks_hit bigint 该语句造成的本地块缓冲命中总数。local_blks_...
配置Greenplum输入组件
Greenplum输入组件用于读取Greenplum数据源的数据。同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 ...
- 产品推荐
- 这些文档可能帮助您