DML差异
LOAD DATA 支持 以非常高的速度将文本文件中的行读取到表中。LOAD XML 不支持 将数据从XML文件读取到表中。REPLACE 支持，详情请参见 REPLACE INTO。REPLACE的运行与INSERT完全相同，不同之处在于，如果表中的旧行与PRIMARY KEY或UNIQUE...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
在NFS（Network File System）文件系统中通过read、copy_file_range等系统调用读取文件时，与同场景下的Alibaba Cloud Linux 2相比，可能会存在明显的性能退化情况。本文介绍在Alibaba Cloud Linux 3系统的ECS实例中，在NFS文件系统下读取...
功能特性
FTP：从 FTP 系统中读取文件的配置，需要您输入 FTP 服务器访问信息。DB：从 DB 中读取数据的配置，需要您输入数据库访问配置信息，建议使用备库来进行核对。离线：离线数据仓库访问的配置信息。数据源管理 您可以在产品中添加多种不同类型...
PHP SDK使用说明
本示例通过从配置文件中读取AccessKey，来实现API访问的身份验证。AlibabaCloud:accessKeyClient($config['access_key_id'],$config['access_key_secret'])->asDefaultClient();使用RPC风格调用接口。此处以调用 添加直播域名 接口为例介绍...
SDK示例
从指定的core-site.xml文件中读取配置 conf.addResource(new Path(PATH_TO_CORE_SITE_XML));fileSystem=FileSystem.get(conf);} 未配置core-site.xml文件，使用以下代码加载 文件存储 HDFS 版 相关配置进行初始化操作。private void init()...
使用PyJindo访问阿里云OSS-HDFS
out_file.write(str.encode("hello world,pyjindo"))out_file.close()in_file=fs.open(file_path,"rb")#读取文件全部内容并保存在变量data中。data=in_file.read()print("写入的数据为%s."%(data))in_file.close()#列出文件。ls_file=fs....
.NET SDK使用说明
本示例通过从配置文件中读取AccessKey，来实现API访问的身份验证。var accessKeyId=config.Get("default","access_key_id");var accessKeySecret=config.Get("default","access_key_secret");创建 AcsClient 实例 var profile=...
数据缓存
ReadFromFileCacheBytes 从缓存文件中读取的数据量。ReadTotalBytes 总共读取的数据量。SkipCacheBytes 创建缓存文件失败，或者缓存文件被删，需要再次从远程读取的数据量。WriteInFileCacheBytes 保存到缓存文件中的数据量。...
基于Go database/sql接口的应用开发
在Go项目程序的 go.mod 文件中添加以下依赖：require github.com/apache/calcite-avatica-go/v5 v5.0.0 replace github.com/apache/calcite-avatica-go/v5 => github.com/aliyun/alibabacloud-lindorm-go-sql-driver/v5 v5.0.6在.go 文件中添加...
PAI-TF超参支持
batch_size=10 learning_rate=0.01 TensorFlow Python SDK提供了相应的参数以便获取相应的超参，您可以通过 tf.app.flags.FLAGS 读取所需的超参，再将其传入运行脚本中，即可在模型训练文件中读取到相应的超参定义。具体方法如下：假设上面...
RDS SQL Server I/O高问题
性能指标 I/O类型 说明 Page_Reads 读 由于未命中缓存，每秒从数据文件中读取的数据页的个数。Page_Write 写 每秒向数据文件中写入的数据页的个数。Log_Bytes_Flushed/sec 写 每秒向日志文件中写入的字节数。Backup_Restore_Throughput/sec...
导入Amazon S3文件
日志最大跨行数 打开 首行作为字段名称 开关后，将使用CSV文件中的首行作为字段名称。例如提取下图中的首行作为日志字段的名称。自定义字段列表 关闭 首行作为字段名称 开关后，请根据需求自定义日志字段名称，多个字段名称之间用半角逗号...
读取文本文件内容
组件配置示例 在 目标文件路径 中，填写“D:\data\新建文本文档.txt”在 读取方式 中，选择单选框选项为“按行读取整个文本文件”在 文件编码 中，选择下拉框选项为“GBK”高级选项保持默认值 4.2.示例执行结果 如下图所示，该流程成功执行...
导入OSS数据
首行作为字段名称 打开 首行作为字段名称 开关后，将使用CSV文件中的首行作为字段名称。例如提取下图中的首行为日志字段的名称。自定义字段列表 关闭 首行作为字段名称 开关后，请根据需求自定义日志字段名称，多个字段名称之间用半角逗号...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
TensorFlow常见问题
通常首先将数据预处理逻辑存放在某个Python文件中，然后将模型定义在另一个Python文件中，最后通过一个Python文件串联整个训练过程。例如，在test1.py中定义函数，如果test2.py文件需要使用test1.py中的函数，且将test2.py作为程序入口文件...
访问OSS数据源
读取OSS中的文件并打印出来行数和第一行内容。同账号访问OSS数据 {"args":["oss:/testBucketName/data/readme.txt"],"name":"spark-oss-test","file":"oss:/testBucketName/data/example.py","conf":{"spark.driver.resourceSpec":"small",...
二级索引
您也可以将读取的数据导出到本地JSON格式的文件中。说明 如果读取的数据行不存在，则返回结果为空。命令格式 get-pk '[primaryKeyValue,primaryKeyValue]' 配置项说明请参见下表。配置项 是否必填 示例值 说明-p，-pk 是["86",6771]数据表...
CSV文件
Both header true，false false 一个布尔标记符，用于声明文件中的第一行是否为列的名称 Both escape 任意字符窜 \ 用于转译的字符 Both inferSchema true，false false 指定在读取文件时spark是否推断列类型 Both ignoreLeadingWhiteSpace...
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
Dataphin集成任务是否可以读取ftp中的空文件
问题描述 集成任务从ftp数据源读取数据，如果读取的文件中没有数据，任务能否正常执行？解决方案 允许数据文件为空。这样任务依然会执行成功，但是不会获取到数据。适用于 Dataphin-数据集成
FTP Check节点
FTP数据源读取文件系统中的标记文件。FTP Check节点根据配置的检测策略，定期检测FTP数据源中该标记文件是否存在。如果检测该标记文件存在，则表示外部数据库中的数据已准备就绪，可以被访问，FTP Check节点会将检测成功的结果反馈至下游...
EFC加速NAS或CPFS文件访问
说明 读取文件耗时和吞吐量可能随运行环境和测量方式而变化。本文是在一个有着三个ECS节点且节点实例规格均为ecs.g7ne.8xlarge的ACK集群中获取的数据结果。其中，efc-demo的3个分布式缓存Worker Pod均运行于一个ECS节点上，并且efc-app ...
SAML配置
标识符（实体 ID）：从上一步的元数据文件中自动读取 entityID 的值。回复 URL（断言使用者服务 URL）：从上一步的元数据文件中自动读取 Location 的值。在 SAML签名证书 区域，单击 下载，获取 联合元数据XML。说明 联合元数据XML即为认证...
WorkQueue
reader=tf.TextLineReader()#从文件列表中读取2条记录。keys,values=reader.read_up_to(work_queue.input_producer(),num_records=2)with tf.train.MonitoredTrainingSession()as sess:sess.run(.)MaxCompute表数据源 TableRecordDataset...
TableRecordDataset
您可以使用TableRecordDataset接口按照行读取MaxComepute表数据并构建数据流。TensorFlow社区推荐在1.2及以上版本，使用Dataset接口代替线程和队列构建数据流。通过多个Dataset接口的组合变换生成计算数据，可以简化数据输入代码。警告 ...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
PyODPS概述
t.open_writer()as writer:writer.write(out)单机处理数据的思维，逐行读取数据，然后逐行处理数据，再逐行写入目标表。整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用...
macOS客户端通过VPN访问SMB协议文件系统
说明 挂载完成后，macOS客户端会去读取挂载的NAS中所有文件。文件读取过程中，myshare 可能显示为空，请您耐心等待。通过macOS客户端命令行操作 执行 mount_smbf 命令行挂载SMB协议文件系统。示例如下：mount_smbfs '/guest@nas-mount-...
指标说明
process_max_fds 读取/proc/{PID}/limits 文件中，Max Open Files 所在行的值获得，该值是软限制（Soft Limit），软限制是内核为相应资源强制执行的值，而硬限制（Hard Limit）充当软限制的上限。process_cpu_seconds_total 该指标计算使用...
指标说明
process_max_fds 读取/proc/{PID}/limits 文件中，Max Open Files 所在行的值获得，该值是软限制（Soft Limit），软限制是内核为相应资源强制执行的值，而硬限制（Hard Limit）充当软限制的上限。process_cpu_seconds_total 该指标计算使用...
HBase数据源
配置格式如下所示："range":{"startRowkey":"aaa","endRowkey":"ccc","isBinaryRowkey":false } 否 无 scanCacheSize HBase Reader每次从HBase中读取的行数。否 256 scanBatchSize HBase Reader每次从HBase中读取的列数。否 100 HBase ...
集成OSS应用示例
fetch 读取文件哈希值，通过查询Fabric链码确认哈希值存在于账本中，然后从OSS下载对应的文件到本地。push and fetch 依赖一些环境变量，需预先进行设置：export baas_user="user"#在阿里巴巴 BaaS 控制台中创建的用户名。export baas_...
OSS存储读写分离最佳实践
缓存命中时，ossfs重复读取文件时，将通过内核缓冲区高速缓存处理，仅使用未被其他进程使用的可用内存。parallel_count 以分片模式上传或下载大文件时，分片的并发数，默认值为20。max_multireq 列举文件时，访问文件元信息的最大并发数。...
基础开发
Go 由于老版本的Go（小于1.13）不支持Go proxy的功能，因此如果应用的工程文件中的 go.mod 文件指定了一个偏小的版本，经常会导致无法利用到阿里镜像源的加速能力，导致依赖拉取失败。推荐在不影响工程构建的前提下，尽量升级工程文件中...
restore（解冻文件）
使用该选项的步骤如下：您需要指定.txt或者XML格式的本地文件，并在本地文件中换行填写所有待解冻的Object。ossutil读取本地文件中的所有Object，然后对这些Object进行批量解冻。说明 当其中一个Object操作出现错误时，ossutil会将该Object...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
通过文件管理优化性能
使用案例 测试数据生成：创建10,000个小文件，每个文件中包含10,000行连接数据：（src_ip,src_port,dst_ip,dst_port），基于这些文件创建外部表：conn_rand%spark import spark.implicits._import scala.util.Random val numRecords=100*...
- 产品推荐
- 这些文档可能帮助您