使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化Client。已创建二级...
GetStreamRecord
调用GetStreamRecord接口读取当前Shard的增量内容。请求消息结构 message GetStreamRecordRequest { required string shard_iterator=1;optional int32 limit=2;} 名称 类型 是否必选 描述 shard_iterator string 是 当前Shard读取的...
GetRange
调用GetRange接口读取指定主键范围内的数据。请求消息结构 message GetRangeRequest { required string table_name=1;required Direction direction=2;repeated string columns_to_get=3;不指定则读出所有列。optional TimeRange time_...
读取资产变量
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取控制台 资产管理 中字符串类型的资产变量 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
归档直读
归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作，请参见 创建存储空间。RAM用户必须有以下权限：oss:PutBucketArchiveDirectRead、oss:...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
分页显示查询分析结果
您可以通过分页指定每次读取500行，共4次读取完成，示例如下：*|select count(1),url group by url limit 0,500*|select count(1),url group by url limit 500,500*|select count(1),url group by url limit 1000,500*|select count(1),url...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
读取优化
离线计算访问Hbase建议禁止缓存 当离线访问HBase时，往往就是一次性的读取，此时读取的数据没有必要存放在blockcache中，建议在读取时禁止缓存。scan.setBlockCache(false)服务端优化 请求是否均衡 读取的压力是否都在一台或者几台之中，在...
读取Word文本
1.组件介绍 说明 必要前置组件：启动Word 利用本组件可以读取Word文本内容 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件...
Postgres CDC（公测中）
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
SPI-串行外设接口
读取flash w25q128 的JEDEC ID值*@returns {objct} 返回 JEDEC 值值*/function getJEDEC(){/*根据w25q数据手册，读取JEDEC ID要先发送命令[0x90,0,0,0]*/var cmd=[0x90,0,0,0];根据w25q数据手册，要读取的ID长度为2，因此定义长度为2的 ...
读取联邦表
本文介绍了读取已保存的联邦表的 API 及示例。注意 本文涉及 API 中所有的占位符，例如"$df0"，必须包含单引号或双引号。函数路径 fascia.biz.api.dataframe.read_fed_table 函数定义 def read_fed_table(fed_table)->HDataFrame:参数 fed_...
通过SDK使用二级索引
} 步骤三：读取索引表中数据 从索引表中单行或者范围读取数据，当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。您可以通过 Java SDK、Go SDK、Python SDK、Node.js SDK、.NET SDK 和 PHP SDK ...
读取文本文件内容
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取文本文件内容 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 ...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
授权概述
操作 授权方式 说明 读Logstore的权限配置 通过默认角色读取Logstore数据 授权MaxCompute投递任务使用阿里云系统角色AliyunLogDefaultRole读取源Logstore中的数据。通过自定义角色读取Logstore数据 授权MaxCompute投递任务使用自定义角色...
读取环境变量
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取环境变量 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 在 ...
WorkQueue
INT 否 1 shuffle 是否每个Epoch都随机重洗数据，取值如下：True：每个Epoch都随机重洗数据。False：不进行数据重洗。BOOL 否 True seed 重洗数据的随机种子。取值为 None 时，表示系统自动选取随机种子。INT 否 None prefix 工作项（文件...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
方案扩展
读取Feed流 先读取自己关注的大V列表。通过GetRange读取自己的收件箱。范围起始位置是上次读取到的最新Feed的ID；结束位置可以是当前时间，也可以是MAX，建议是MAX值。如果有关注的大V，则再次并发读取每一个大V的发件箱。如果关注了10个大...
TableInBatchGetRowRequest
在BatchGetRow操作中，TableInBatchGetRowRequest表示要读取的一个表的请求信息。数据结构 message TableInBatchGetRowRequest { required string table_name=1;repeated bytes primary_key=2;Plainbuffer编码 repeated bytes token=3;...
源Logstore读取错误
本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。加工引擎启动成功后，开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取，在加工过程中会持续不断的读取源Logstore中的数据。本环节产生错误主要是由于对源...
读数据表
读数据表组件用于读取MaxCompute表数据，默认读取本项目的表数据。如果跨项目读取表数据，则需要在表名前添加项目名。说明 目前 Designer 算法组件支持读取的数据类型为DOUBLE、BIGINT、STRING、BOOLEAN、DATETIME。读数据表组件支持读取...
数据投递仪表盘
总览指标 总览指标信息如下所示：读Logstore流量总计：从源Logstore的各个Shard中读取到的日志条数。投递成功行数总计：从源Logstore的各个Shard中读取日志后，投递到目标云产品成功的日志条数。投递失败行数总计：从源Logstore的各个Shard...
离线批量读取数据
表格存储提供了BulkExport接口用于在大数据场景下批量读取数据表中的数据。数据写入到数据表后，您可以根据指定条件进行数据读取。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。参数 参数 说明...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
SQL
PyODPS默认不限制从Instance读取的数据规模，但Project Owner可能在MaxCompute Project上增加保护设置，以限制对Instance结果的读取，此时只能使用受限读取模式读取数据，在此模式下可读取的行数受到Project配置限制，通常为10000行。...
API概览
区块链查询接口 接口 描述 QUERYRECEIPT 读取指定的交易回执 QUERYTRANSACTION 读取指定的交易内容 QUERYBLOCK 读取指定的区块基础（块头）信息 QUERYLASTBLOCK 读取最近区块基础（块头）信息 QUERYBLOCKBODY 读取指定的区块数据内容 ...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
数据读写
读取次数 读取次数最大为600000次/min。超过限制时，返回状态码403，提示Read QPS Exceed。如果您有更大的使用需求，请提 工单 申请。Shard 写入流量 日志库已配置索引，原始数据写入流量最大为5 MB/s。日志库未配置索引，原始数据写入流量...
前言
BucketLifecycle.php 设置、读取和清除存储空间的 生命周期 BucketLogging.php 设置、读取和清除存储空间的 访问日志 BucketReferer.php 设置、读取和清除存储空间的 防盗链 BucketWebsite.php 设置、读取和清除存储空间的 静态网站托管 ...
支持的数据脱敏算法
身份证映射替换 行政区划随机码表 敏感类型：个人敏感 企业敏感 设备敏感 适用场景：数据存储 数据分享 身份证随机替换 行政区划随机码表 军官证随机替换 种类编码随机码表 护照随机替换 用途字段随机码 港澳通行证随机替换 用途字段随机码...
- 产品推荐
- 这些文档可能帮助您