BatchGetRow
Java SDK：批量读取数据 Go SDK：批量读取数据 Python SDK：批量读取数据 Node.js SDK：批量读取数据.NET SDK：批量读取数据 PHP SDK：批量读取数据 服务能力单元消耗 如果本次操作整体失败，则不消耗任何服务能力单元。如果请求超时，结果...
设置列索引的排序键
总体流程如下：按照主键索引遍历并将读取到的完整数据保存至数据文件，然后将排序列添加到排序缓存区，其中每个线程使用不同的数据文件，累积达到一定数据后再写入；不断遍历并插入到排序缓存区，当排序缓存区满时，在内存中根据排序键组合...
OSS-HDFS数据源
说明 文件数据列（index）和常量列（value）配置二选一。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取LONG字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部...
GetRange
Java SDK：范围读取数据 Go SDK：范围读取数据 Python SDK：范围读取数据 Node.js SDK：范围读取数据.NET SDK：范围读取数据 PHP SDK：范围读取数据 服务能力单元消耗 GetRange操作消耗读服务能力单元的数值为查询范围内所有行主键数据大小...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
HDFS数据源
您也可以指定column字段信息（文件数据列和常量列配置二选一），配置如下。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
表引擎
StripeLog 支持并发读取数据文件，将所有列存储在同一个大文件中，减少了文件数，查询性能比TinyLog好。Log 支持并发读取数据文件，每个列会单独存储在一个独立文件中，查询性能比TinyLog好。Integrations Integrations系列引擎适用于将...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
数据库
blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位：毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位：毫秒。stats_reset timestamp with time zone 统计信息最近一次...
数据库
blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位：毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位：毫秒。stats_reset timestamp with time zone 统计信息最近一次...
Performance Insight
IO：数据文件读写时间、日志文件写入时间、逻辑读取、物理读取、物理异步读取等。Object statistics使用方法 确认参数 OPT_TABLESTAT 和 OPT_INDEXSTAT 的值为 ON。示例如下：mysql>show variables like"opt_%_stat;Variable_name|Value|+-...
GetRow
Java SDK：读取单行数据 Go SDK：读取单行数据 Python SDK：读取单行数据 Node.js SDK：读取单行数据.NET SDK：读取单行数据 PHP SDK：读取单行数据 服务能力单元消耗 如果请求的行不存在，则消耗1读 CU（读服务能力单元）。如果请求的行...
Dataphin中创建Python读取MaxCompute物理表中数据
概述 本文描述如何在Dataphin中创建Python文件读取MaxCompute物理表中数据。详细信息 在Dataphin创建Shell文件，执行以下代码：pip install pyodps 2.在Dataphin创建Python文件，执行以下代码：from odps import ODPS o=ODPS('your-access-...
场景：配置增量数据离线同步任务
OSS Reader Object 指定路径 说明 与调度参数结合实现每日读取指定文件数据。配置增量同步 数据集成离线同步任务中，可以使用调度参数来指定同步源表及目标表的数据路径以及数据范围，调度参数的配置方式与其他类型任务一致，没有特殊限制...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
在NFS（Network File System）文件系统中通过read、copy_file_range等系统调用读取文件时，与同场景下的Alibaba Cloud Linux 2相比，可能会存在明显的性能退化情况。本文介绍在Alibaba Cloud Linux 3系统的ECS实例中，在NFS文件系统下读取...
RDS SQL Server I/O高问题
数据文件的读请求操作主要包括查询请求产生的数据页读取和数据库备份产生的数据页读取，事务日志文件在做备份时会有较多的读I/O负载，其他情况主要是写I/O负载。当发现实例的I/O吞吐较高时，您可以在 自定义指标 中增加以下性能指标，然后...
使用OSS Foreign Table进行数据湖分析
ORC数据类型与 AnalyticDB PostgreSQL版 数据类型的映射关系，请参见 ORC文件数据类型对照表。支持访问PARQUET格式的二进制文件。PARQUET数据类型与 AnalyticDB PostgreSQL版 数据类型的映射关系，请参见 Parquet文件数据类型对照表。支持...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
FTP Check节点
FTP数据源读取文件系统中的标记文件。FTP Check节点根据配置的检测策略，定期检测FTP数据源中该标记文件是否存在。如果检测该标记文件存在，则表示外部数据库中的数据已准备就绪，可以被访问，FTP Check节点会将检测成功的结果反馈至下游...
22.8版本新特性概览
远程文件系统的本地缓存 当ClickHouse从本地磁盘文件系统读取数据时是非常快的，例如阿里云ECS本地盘或者云盘上的数据被OSS缓存在Page Cache中再进行读取。但是，如果ClickHouse从远程文件系统（例如OSS）读取数据，则系统不会感知到这些...
使用OSS外表高速导入OSS数据
说明 AnalyticDB PostgreSQL 的每个数据分区（Segment节点）将按轮询方式并行对OSS上的数据文件进行读取，文件的数目建议为数据节点数（Segment个数）的整数倍，从而提升读取效率。在 AnalyticDB PostgreSQL 中，创建READABLE外部表。创建...
查询Profile
本文介绍 云数据库 SelectDB 版 的Profile功能和使用方式，为查询性能分析提供参考和依据。打开查询Profile 通过如下命令打开会话变量 is_report_success。SET enable_profile=true;打开查询Profile后，执行查询时，SelectDB会产生该查询的...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
背景信息以及准备工作
DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障原因等。对于一个服务而言，日志文件记录了服务运行的所有详细信息。在进行故障排除、状态监控或者预测告警时，都需要对日志文件进行查询分析。阿里云对象存储服务...
添加数据源概述
文件类 说明 DataV目前不支持从其他文件存储中读取大型的数据文件。CSV文件 无。静态JSON 无。API类 添加API数据源 您可以在组件配置页面的 数据 面板中选择一种GET或POST任意一种请求方式，并将API地址直接粘贴到 URL 字段中。添加Open ...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
Python SDK使用说明
然后，可以使用以下 Python 代码读取配置文件并调用阿里云 SDK。此处以v20161101版本为例，调用DescribeCasters接口：#!usr/bin/env python#coding=utf-8 from configparser import ConfigParser from aliyunsdkcore.client import ...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
JINDODATA指标
slicelet_read_bytes_total_window jindodata_metrics_jindofsx_ns_slicelet_read_bytes_total_window 一段时间内读取小文件存储的数据量。单位：Byte。backend_read_bytes_total jindodata_metrics_jindofsx_ns_backend_read_bytes_total ...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
COPY
COPY 用于在PolarDB表和标准文件系统文件之间移动数据。简介 COPY 在 PolarDB表和标准文件系统文件之间移动数据。COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY ...
Linux系统挂载NFS协议文件系统
创建NAS NFS协议文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享访问文件系统的目的。本文介绍如何通过阿里云Linux ECS实例挂载NAS NFS协议文件系统。前提条件 在创建文件系统的地域，已有可用的云服务器ECS...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
- 产品推荐
- 这些文档可能帮助您