COPY
带一个文件名的 COPY 指示 PolarDB服务器直接从一个文件读取或者写入到一个文件。该文件必须是 PolarDB用户（运行服务器的用户 ID）可访问的并且应该以服务器的视角来指定其名称。当指定了 PROGRAM 时，服务器执行给定的命令并且从该程序的...
FTP数据源
您必须保证读取文件为类CSV格式，并且提供给数据同步系统权限可读。如果Path指定的路径下没有符合匹配的文件抽取，同步任务将报错。是 无 column 读取字段列表，type指定源数据的类型，index指定当前列来自于文本第几列（以0开始），value...
Dataphin中管道任务从CSV文件读取数据显示乱码
问题描述 Dataphin中管道任务从CSV文件读取数据显示乱码。问题原因 CSV文件编码的问题。解决方案 将CSV文件转化为UTF-8格式，本地CSV输入配置文件编码选择UTF-8。适用于 Dataphin
OSS-HDFS数据源
说明 实际启动的并发数是您的OSS-HDFS待读取文件数量和您配置作业并发数两者中的小者。当指定通配符，OSS-HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/oss-hdfs/代表读取oss-hdfs目录下游所有的文件。...
如何查看服务器日志
如何进入查看服务器日志？首先进入部署好的服务器。docker ps 查看所有镜像。进入到rpa-base镜像。docker exec-it 镜像CONTAINER ID/bin/bash 执行cd ...将文件从一个服务器复制到另外一个服务器。scp-r root@106.15.XXX.252:/root/logs/root
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
Parquet（推荐）
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt...
HDFS数据源
说明 实际启动的并发数是您的HDFS待读取文件数量和您配置作业并发数两者中的小者。当指定通配符，HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/bazhen/代表读取bazhen目录下游所有的文件。HDFS Reader...
HttpFile数据源
否 不压缩 encoding 读取文件的编码配置。否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null（空指针），数据同步提供nullFormat定义哪些字符串可以表示为null。例如：nullFormat:"null"：表示“可见字符”。如果源头数据是null，...
OSS数据源
否 不压缩 encoding 读取文件的编码配置。否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null（空指针），数据同步提供nullFormat定义哪些字符串可以表示为null。例如：配置 nullFormat:"null"，等同于“可见字符”，如果源头数据...
HBase数据源
scanBatchSize":"100",/HBase client每次RPC从服务器端读取的列数。hbaseVersion":"094x/11x",/HBase版本。column":[/字段。{"name":"rowkey",/字段名。type":"string"/数据类型。},{"name":"columnFamilyName1:columnName1","type":...
使用paiio读写MaxCompute表数据
PAI支持从配置文件读取配置信息，您可以将配置文件放置在挂载的文件系统中，然后在代码中通过环境变量引用。编写配置文件，内容如下。access_id=xxxx access_key=xxxx end_point=http://xxxx 参数 描述 access_id 阿里云账号的AccessKey ID...
功能特性
FTP：从 FTP 系统中读取文件的配置，需要您输入 FTP 服务器访问信息。DB：从 DB 中读取数据的配置，需要您输入数据库访问配置信息，建议使用备库来进行核对。离线：离线数据仓库访问的配置信息。数据源管理 您可以在产品中添加多种不同类型...
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
JMeter使用CSV参数文件
在使用JMeter压测时，如果有同样的动态压测需求，建议您在JMeter脚本中添加Config Element：CSV Data Set Config，从CSV文件中读取参数。同时，PTS支持切分CSV文件，将CSV文件中的数据分配到每个压测引擎。背景信息 CSV Data Set Config 是...
JMeter使用CSV参数文件
在使用JMeter压测时，如果有同样的动态压测需求，建议您在JMeter脚本中添加Config Element：CSV Data Set Config，从CSV文件中读取参数。同时，PTS支持切分CSV文件，将CSV文件中的数据分配到每个压测引擎。背景信息 CSV Data Set Config 是...
ECS实例数据传输的实现方式
从远程服务器复制文件到本地 从远程复制到本地，只要将从本地复制到远程的命令的后2个参数调换顺序即可。scp remote_username@remote_ip:remote_folder local_file 在两台Linux主机间复制目录 命令基本格式：scp-r file_source file_target...
TensorFlow常见问题
使用 tf.gfile.Glob、tf.gfile.FastGFile、tf.WhoFileReader()及 tf.train.shuffer_batch()，适用于批量读取文件（读取文件之前需要获取文件列表。如果批量读取，还需要创建Batch）。使用 Designer 搭建深度学习实验时，通常需要在界面右侧...
如何提高Nginx Web服务器的安全性
本文介绍如何提高Nginx Web服务器的安全性的操作步骤。背景信息 Nginx是一个轻量级的，高性能的Web服务器以及反向代理和邮箱（IMAP或POP3）代理服务器。它运行在UNIX、GNU、linux、BSD、Mac OS X、Solaris和Windows各种版本。根据调查统计...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
RDS SQL Server I/O高问题
性能指标 I/O类型 说明 Page_Reads 读 由于未命中缓存，每秒从数据文件中读取的数据页的个数。Page_Write 写 每秒向数据文件中写入的数据页的个数。Log_Bytes_Flushed/sec 写 每秒向日志文件中写入的字节数。Backup_Restore_Throughput/sec...
集群吞吐性能测试
集群吞吐=（1.4+1.4+1.4+1.1+1.1+1.45）*1000÷8=981.25 MB/s 顺序读性能测试 预估值：1000 MB/s 按顺序读取 文件存储 HDFS 版 上的文件。顺序读取 文件存储 HDFS 版 上面500个大小为4 GB的文件，读写数据的缓存大小为8 MB，并将统计数据...
FUSE使用说明
hello world 如果您想使用Python方式写入和读取文件，请参见如下示例：使用Python写 write.py 文件，包含如下内容。usr/bin/env python36 with open("/mnt/jfs/test/test.txt",'w',encoding='utf-8')as f:f.write("my first file")f.write...
Logtail采集详情
当日志文件产生了修改事件，才会触发采集流程，Logtail开始读取文件。如果您要采集历史日志文件，请参见 导入历史日志文件。为保证采集日志的时效性以及稳定性，Logtail会对待采集的目录注册事件监听（Linux下使用 Inotify）以及定期轮询。...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准...
SSH服务的相关介绍
目标服务器根据SSH服务配置，在用户对应目录及文件中读取到有效的公钥信息。目标服务器生成一串随机数，然后使用相应的公钥对其加密。目标服务器将加密后的密文发回客户端。客户端使用默认目录或-i参数指定的私钥尝试解密。如果解密失败，...
FS-文件系统
mode String 否 读取文件内容返回格式不填此参数返回为String数组，填入 'b' 为字节数组。返回 返回值 说明 data Array类型，读取到的数据。fs.unlinkSync(String path)删除对应PATH的文件。入参 属性 类型 是否必填 描述 path String 是 ...
PTS在虚拟用户和RPS模式下读取多文件参数的方式
本文介绍在虚拟用户模式和RPS模式下，PTS读取多文件参数的方式。虚拟用户模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该...
性能监控FAQ
优化该参数将提升频繁读取文件属性场景的文件系统性能。maxFileToCache 最大缓存的inode数量。优化该参数将提升反复访问海量小文件场景的文件系统性能。prefetchPct、prefetch及write-behind buffer 占用page pool的最大比例。优化该参数将...
挂载文件系统或读取文件系统报错时该如何解决？
本文主要介绍挂载文件系统或读取文件系统报错的原因以及解决方案。问题现象 文件系统挂载失败，未挂载的文件系统在尝试挂载时会报 Bad geometry 错误。文件系统读写失败，报 Cannot read inode bitmap 内核日志。问题原因 使用LVM（Logical...
在文件存储 HDFS 版上使用Presto
说明 在本文中Presto是通过连接Hive的元数据服务来读取 文件存储 HDFS 版 上的数据，在 文件存储 HDFS 版 上使用Presto时需要额外配置一些依赖包。具体操作，请参见 步骤二：配置Presto。步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在...
lo-funcs
这两个函数从服务器的文件系统中读和写文件，使用的是数据库所有者的权限。因此，默认情况下它们的使用被限制于超级用户。相反，客户端的导入和导出函数读写的是客户端的文件系统，使用的是客户端程序的权限。除了读取或写入所请求的大对象...
使用前须知
nas-nfs-nas_audit_dashboard_cn 展示NAS文件系统操作统计信息，包括创建操作数、删除文件数、读取文件数等信息。nas-nfs-nas_detail_dashboard_cn 展示NAS文件系统明细信息，包括最近访问的文件数量、操作趋势等信息。SMB nas-smb-nas_...
RAM凭据插件
如果应用无法设置从classpath和可执行jar包中读取默认配置文件（managed_credentials_providers.properties），或需自定义配置文件名称时，可调用以下代码设置自定义配置文件,并按以下顺序读取：1."your-config-name"配置绝对路径+文件名称...
使用前须知
nas-nfs-nas_audit_dashboard_cn 展示NAS文件系统操作统计信息，包括创建操作数、删除文件数、读取文件数等信息。nas-nfs-nas_detail_dashboard_cn 展示NAS文件系统明细信息，包括最近访问的文件数量、操作趋势等信息。SMB nas-smb-nas_...
开发应用概述
管理远程服务器 使用IntelliJ IDEA上传文件至远程服务器 本文介绍在IntelliJ IDEA中使用Cloud Toolkit上传文件至远程服务器。使用Eclipse上传文件至远程服务器 本文介绍在Eclipse中使用Cloud Toolkit上传文件至远程服务器。上传和下载远程...
CSV文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"csv...
快速入门-本地文件备份
为了避免因误删除文件、本地服务器中毒等情况引起的数据丢失，建议您通过 云备份 对本地服务器的所有目录及文件进行备份。云备份 对支持配置灵活备份策略，将数据备份至云端，您可以随时查看和恢复数据。本文介绍备份本地服务器文件的操作...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
元数据性能测试
如果为true,则读取文件并报告平均读取时间.默认为false.非必选项>create_write性能测试 使用20个Map，10个Reduce的MapReduce作业，创建1000个文件。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar...
- 产品推荐
- 这些文档可能帮助您