数据是否压缩 当数据量较大时,建议在写数据到Kafka时就进行压缩,这样可显著节省通过网络读取的数据量。网络传输阶段往往比解压数据阶段更耗时,特别是采用公网导入数据时。网络 如果是VPC环境下的阿里云Kafka集群,您可通过VPC网络读取...
说明 本章节中的示例使用了curl,一种通过URL来传输数据的命令行工具。通过HTTP API发送 POST 请求到/write 路径是数据写入TSDB For InfluxDB®的主要方式。假设已经成功创建好数据库 mydb,现在我们来探索如何通过HTTP API将数据写入 mydb...
Fetch API是一种从边缘节点获取数据的方法。通过Fetch API,您可以使用HTTP或HTTPS协议从边缘节点请求数据,并将数据返回给用户。它类似于浏览器环境中的Fetch API,可以用于动态加载内容、与后端服务进行交互、实现A/B测试等场景。Fetch ...
Fetch API是一种从边缘节点获取数据的方法。通过Fetch API,您可以使用HTTP或HTTPS协议从边缘节点请求数据,并将数据返回给用户。它类似于浏览器环境中的Fetch API,可以用于动态加载内容、与后端服务进行交互、实现A/B测试等场景。Fetch ...
与Put操作不同,Post操作使用AccessKey Secret对Policy进行签名,计算出签名字符串作为Signature表单域的值,OSS通过验证该值从而判断签名的合法性。提交表单的URL为Bucket域名,不需要在URL中指定Object。即请求行是 POST/HTTP/1.1 ,不能...
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。快速了解数据加工 观看以下视频,快速了解数据加工。日志服务 提供丰富的数据加工视频,您可以通以下链接查看更多介绍和操作指导。更多信息,请参见 数据加工视频专区。视频主题 ...
数据服务旨在为企业搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性、安全性和有效性。使用场景包括:最小粒度的数据输出:当企业需要对外提供数据时,相较于直接对外提供表数据,使用API的方式可以控制到...
用途 读数据表 算子用于从数据源中读取数据,作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源,支持的数据源类型...
XIHE_REMOTE_CALL_MAX_BATCH_SIZE 通过REMOTE_CALL函数远程调用 函数计算服务 中自定义的函数时,向函数计算服务发送的数据行数。SET ADB_CONFIG XIHE_REMOTE_CALL_MAX_BATCH_SIZE=500000;常用Hint 类别 参数 描述 示例 文档链接 查询超时...
操作 授权方式 说明 读Logstore的权限配置 通过默认角色读取Logstore数据 授权MaxCompute投递任务使用阿里云系统角色AliyunLogDefaultRole读取源Logstore中的数据。通过自定义角色读取Logstore数据 授权MaxCompute投递任务使用自定义角色...
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
SAP Table输入组件用于读取SAP Table数据源的数据。同步SAP Table数据源的数据至其他数据源的场景中,您需要先配置SAP Table输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建...
同步Hologres数据源的数据至其他数据源的场景中,您需要先配置Hologres输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源,如何创建,请参见 创建Hologres数据源。...
归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作,请参见 创建存储空间。RAM用户必须有以下权限:oss:PutBucketArchiveDirectRead、oss:...
POST请求通常用于向服务提交数据,参数可以通过请求体或表单字段进行传递。接口入参:接口入参指定了客户端向服务发送请求时所携带的参数,并规定了参数的传递方式。常见的接口入参包括Query和Header。Query:使用Query方式时,参数会作为...
本教程介绍如何在Web端通过表单上传方式直接上传数据到OSS。Web端常见的上传方法是用户在浏览器或App端上传文件到应用服务器,应用服务器再把文件上传到OSS。这种方式需通过应用服务器中转,传输效率明显低于数据直传至OSS的方式。数据直传...
Teradata输入组件用于读取Teradata数据源的数据。同步Teradata数据源的数据至其他数据源的场景中,您需要先配置Teradata输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。前提条件 已创建...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
Vertica输入组件用于读取Vertica数据源的数据。同步Vertica数据源的数据至其他数据源的场景中,您需要先配置Vertica输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前,请...
OSS输入组件用于读取OSS数据源的数据。同步OSS数据源的数据至其他数据源的场景中,您需要先配置OSS输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前,请确认您已完成以下...
OceanBase输入组件用于读取OceanBase数据源的数据。同步OceanBase数据源的数据至其他数据源的场景中,您需要先配置OceanBase输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在...
与执行大量的GetRow操作相比,使用BatchGetRow操作可以有效减少请求的响应时间,提高数据的读取速率。请求消息结构 message BatchGetRowRequest { repeated TableInBatchGetRowRequest tables=1;} 参数 类型 是否必填 描述 tables repeated...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
PolarDB输入组件用于读取PolarDB数据源的数据。同步PolarDB数据源的数据至其他数据源的场景中,您需要先配置PolarDB输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前,...
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中,您需要先配置IBM DB2输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
Greenplum输入组件用于读取Greenplum数据源的数据。同步Greenplum数据源的数据至其他数据源的场景中,您需要先配置Greenplum输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 ...
AnalyticDB for PostgreSQL输入组件用于读取AnalyticDB for PostgreSQL数据源的数据。同步AnalyticDB for PostgreSQL数据源的数据至其他数据源的场景中,您需要先配置AnalyticDB for PostgreSQL输入组件读取的源数据源信息,再配置数据同步...
后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目分组。当数据源类型为Hbase 0.9.4/1.1.x/1.2.1/2.x、...
MaxCompute输入组件用于读取MaxCompute数据源的数据。同步MaxCompute数据源的数据至其他数据源的场景中,您需要先配置MaxCompute输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在...
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
调用GetRow接口根据指定的主键读取单行数据。请求消息结构 message GetRowRequest { required string table_name=1;required bytes primary_key=2;Plainbuffer编码为二进制。repeated string columns_to_get=3;不指定则读出所有的列。...
为数据表创建二级索引后,您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表,且数据表的最大版本数(max Versions)必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
为提升用户体验,云原生多模数据库 Lindorm 会不定期地发布版本,用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm计算引擎的版本更新说明。查看计算引擎版本 进入SparkUI界面。如何进入,请参见 进入SparkUI界面。单击 ...