Presto FAQ
如果每个Stripe太小，一次次地读取Stripe花费在网络上的开销可能比直接读取整个文件的开销还要大。如何开启大查询功能？当您查询的数据需要消耗比较多的内存导致一直失败时，您可以开启虚拟集群的大查询功能。开启方法，在查询中添加HINT，...
归档直读
功能对比 开启归档直读的前后对比如下：项目 未开启归档直读（默认）开启归档直读 取回方式 先解冻，再读取 直接读取 取回费用 ① 低 高 取回时间 分钟级 毫秒级 ① 关于取回费用的具体价格，请参见 OSS产品定价。操作步骤 使用OSS控制台 ...
数据源概览
静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC文件 文本文件 外部数据源 Databricks数据洞察读取外部数据源时要求配置其与数据源实例的网络连接。OSS EMR HDFS MySQL Redis MaxCompute ...
创建及管理外部表
使用限制 Hologres支持跨工作空间读取外部表数据，您当前使用的账号需要拥有其他工作空间的MaxCompute表访问权限，才可以使用HoloStudio一键创建外部表直接读取MaxCompute表数据。当MaxCompute的源头表存在时，您才可以新建外部表并读取...
创建及管理外部表
使用限制 Hologres支持跨工作空间读取外部表数据，您当前使用的账号需要拥有其他工作空间的MaxCompute表访问权限，才可以使用HoloStudio一键创建外部表直接读取MaxCompute表数据。当MaxCompute的源头表存在时，您才可以新建外部表并读取...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，请参见 二级索引简介。前提条件 已初始化Client。具体操作，请参见 ...
高级配置：内存缓存本地目录
无需修改业务代码，直接读取缓存配置的目标本地目录中的文件，即可享受加速效果。同一服务的不同实例之间会形成一个p2p网络。在进行实例扩容时，可以通过p2p网络从其他实例中就近读取缓存的文件，以加速实例扩容的速度。注意事项 为保持...
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
读取优化
Short-Circuit Local Read（已经默认开启）当前HDFS读取数据需要经过DataNode，开启Short-Circuit Local Read后，客户端可以直接读取本地数据。Hedged Read（已经默认开启）优先会通过Short-Circuit Local Read功能尝试本地读。但是在某些...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取...
通过SDK使用二级索引
} 步骤三：读取索引表中数据 从索引表中单行或者范围读取数据，当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。您可以通过 Java SDK、Go SDK、Python SDK、Node.js SDK、.NET SDK 和 PHP SDK ...
BLOB数据类型（邀测中）
直接读取整个BLOB列的完整内容 ResultSet resultSet=stmt.executeQuery("select*from"+tableName+"where p1=1");byte[]readBytes2=resultSet.getBytes(3);方式二：获取BLOB列中的InputStream对象进行读取。说明 仅Lindorm JDBC Driver为2.1...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化Client。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取数据...
读取OSS数据
方式二：直接读取OSS数据，与MaxCompute内部表的操作相同。OSS外部表会被当作一个普通的内部表一样使用，不同之处在于，MaxCompute是直接从OSS读取对应的数据。注意事项 在使用外部表读取OSS数据时，需要注意：您需要创建好OSS外部表后，才...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取...
PolarDB PostgreSQL版架构介绍
由于只读节点可以直接读取Shared-Storage上的WAL文件，因此主节点只把WAL日志的元数据发送（复制）到只读节点，包括：Header，PageID。在只读节点上，通过WAL的元数据直接读取Shared-Storage上完整的WAL文件。通过上述优化，能显著减少主...
管理MaxCompute Catalog
从MaxCompute Catalog表中读取数据 MaxCompute Catalog能够从MaxCompute服务读取物理表的Schema，因此无需在Flink中声明对应Schema即可直接读取数据。例如：SELECT*FROM `<catalogName>`.`<projectName>`.`<tableName>`;不声明任何参数的...
JindoFS实战演示
在通过JindoFS SDK访问OSS数据前，可先指定表和分区预先缓存数据，在后续查询分析时，可直接读取缓存中的数据，提高效率。本视频为您介绍如何在Hadoop集群中部署缓存服务，并通过JindoFS SDK指定表和分区来预先缓存数据。云上计算云下数据...
Readable Protobuf
PolarDB MySQL版 提供的Readable Protobuf功能，支持使用可视化函数来直接读取经过Protobuf序列化且经过ZLIB压缩的数据，而不需要借助额外的组件。前提条件 PolarDB 集群版本需为 PolarDB MySQL版 8.0版本且Revision version为8.0.2.2.5及...
Spark的数据写入至Hologres
Hologres兼容PostgreSQL，因此Spark也可以用读取PostgreSQL的方式直接读取Hologres数据，进行ETL处理，再写入Hologres及其他数据源，完成大数据开发抽取、处理、加载的完整闭环。前提条件 实例版本需为V0.9及以上版本。请在Hologres管控台...
COPY
COPY 命令中提到的文件会被服务器（而不是客户端应用）直接读取或写入。因此它们必须位于数据库服务器（不是客户端）的机器上或者是数据库服务器可以访问的。它们必须是 PolarDB用户（运行服务器的用户 ID）可访问的并且是可读或者可写的。...
系统运维工具集SysAK使用说明
rs 每秒向设备发出的读取请求数 ws 每秒向设备发出的写入请求数 rsecs 每秒从设备读取的扇区数 wsecs 每秒写入设备的扇区数 rqsize 向设备发出的请求的平均大小 qusize 向设备发出的请求的平均队列长度 svctm 向设备发出的I/O请求的平均...
Linux实例中数据恢复
如果手动挂载时报分区表丢失，您可以尝试如下三种办法进行处理：通过fdisk恢复分区 通过testdisk恢复分区 通过testdisk直接恢复数据 通过fdisk恢复分区 对数据盘分区时，分区磁盘的起止扇区一般使用默认的值，所以可以先尝试直接使用 fdisk...
性能说明FAQ
NFS read_ahead_kb 参数定义了Linux内核在顺序读取操作期间要提前读取或预取的数据大小（以KB为单位）。对于 5.4.*之前的Linux内核版本，read_ahead_kb 参数的值是通过 NFS_MAX_READAHEAD 乘以 rsize（在挂载选项中设置的客户端读取数据...
环境说明
C Link SDK中的Demo文件开发于Linux系统，您可以直接在Linux系统中快速体验并使用。移植C Link SDK的更多信息，请参见 SDK移植。开发环境 C Link SDK可实现跨平台的移植，对开发环境要求灵活，只需支持以下条件：开发语言：C99标准的C语言...
环境要求与配置
C Link SDK中的Demo文件开发于Linux系统，您可以直接在Linux系统中快速体验并使用。开发环境 C Link SDK可实现跨平台的移植，对开发环境要求灵活，只需支持以下条件：开发语言：C99标准的C语言。开发工具：不限。支持C语言编译即可。编译...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
在NFS（Network File System）文件系统中通过read、copy_file_range等系统调用读取文件时，与同场景下的Alibaba Cloud Linux 2相比，可能会存在明显的性能退化情况。本文介绍在Alibaba Cloud Linux 3系统的ECS实例中，在NFS文件系统下读取...
在Linux轻量版设备中安装IoT安全运营中心的安全Agent
对设备软、硬件有以下要求：硬件要求：CPU 架构：arm32（armv7），arm64，x86，x86_64 系统可用RAM：不低于 1MB 固件分区尺寸：不低于 1MB 软件要求：操作系统：Linux 包含发行版和内核版（内核版指直接使用linux源码编译出来的linux系统）...
任务拆分和执行
} 当不需要对读取的数据进行转换时，可以不设置该服务，这样会直接把读取的数据交给写服务。该服务可以单独指定线程池，当没有设置时默认使用任务 handler 的线程池。Write 阶段：将数据写入数据源。说明 集群任务 Write 阶段的相关代码，...
Linux实例使用df和du命令查看磁盘时结果不一致
df命令使用statfs系统调用，直接读取分区的超级块信息，获取分区使用情况，如果运行中的进程持有被删除文件的句柄，分区超级块中的信息不会更改，df命令仍会统计被删除文件的信息，最终导致du和df命令统计结果不一致。解决方案 您可以通过...
迁移指南
外部读取器：直接读取存储在Delta Lake中的数据。有关如何读取Delta表的信息，请参阅Integrations。示例 假设您已将Parquet数据存储在directory/data-pipeline 中，并希望创建一个名为events的表。您始终可以读入DataFrame并另存为Delta表...
初始化
调用接口时，程序直接访问凭证，读取您的访问密钥（即AccessKey）并自动完成鉴权。配置方法 配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。Linux和macOS系统配置方法 执行以下命令：export ALIBABA_CLOUD...
初始化
调用接口时，程序直接访问凭证，读取您的访问密钥（即AccessKey）并自动完成鉴权。配置方法 配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。Linux和macOS系统配置方法 执行以下命令：export ALIBABA_CLOUD...
初始化
调用接口时，程序直接访问凭证，读取您的访问密钥（即AccessKey）并自动完成鉴权。配置方法 配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。Linux和macOS系统配置方法 执行以下命令：export ALIBABA_CLOUD...
Link Visual SDK更新记录
本章节介绍了生活物联网平台LinkVisual设备端Linux SDK（设备端SDK）与LinkVisual视频Media SDK（自有品牌App端SDK）的更新记录。2024年4月 SDK名称 操作系统/语言 版本号 更新描述 发布时间 相关文档 LinkVisual视频Media SDK Android 2.7...
Linux实例负载高问题排查和异常处理
rd_sec/s：每秒读取的扇区的次数。wr_sec/s：每秒写入的扇区的次数。avgrq-sz：平均每次磁盘I/O操作的扇区大小。avgqu-sz：磁盘请求队列的平均长度。await：从请求磁盘操作到系统完成处理，每次请求的平均消耗时间，包括请求队列等待时间。...
增强容器资源可见性
背景信息 Alibaba Cloud Linux的容器资源视图功能接口默认状态下是未启动的，当您在启动该功能后，如果在容器中使用 top、free 等命令，让容器读取以下接口的数据时，将直接获取容器资源信息，而不是获取容器所在的宿主机（即ECS实例）资源...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
- 产品推荐
- 这些文档可能帮助您