配置FTP输出组件
任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。Dataphin支持通过 批量添加 和 新建输出字段 的方式配置输出字段：...
配置FTP输出组件
任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。Dataphin支持通过 批量添加 和 新建输出字段 的方式配置输出字段：...
NFS协议
但是，一旦ECS-1打开一个文件，写入若干数据，然后执行了文件关闭操作，之后在任何一个计算节点重新打开该文件都可以保证能访问到新写入的数据。例如，生产者ECS生产了文件X，生产完毕后执行了close。然后给消息队列发一条消息说，文件X...
使用须知
如果使用文件网关写入较大的文件，单一文件大小应保持在缓存盘容量的30%以下，且不能多个大文件并发写入，否则容易造成缓存盘写满的情况。1.0.37及之前版本的文件网关支持的最大文件大小是1.2TB。超过该值，文件将无法上传至OSS。1.0.38及...
使用CNFS管理NAS共享存储卷（推荐）
步骤四：查看写入的数据是否在其他Pod内共享 执行以下命令，查看写入的1 G的临时文件是否在其他Pod cnfs-nas-static-sts-1中共享。kubectl exec cnfs-nas-static-sts-1-ls-arlth/data 预期输出：total 1G-rw-r-r-1 root root 1.0G Dec 15 ...
使用CNFS管理NAS隔离存储卷（推荐）
步骤四：查看写入的数据是否在其他Pod中隔离 执行以下命令，查看1 G的临时文件是否在Pod cnfs-nas-dynamic-sts-1中隔离。kubectl exec cnfs-nas-dynamic-sts-1-ls-arlth/data 预期输出：sh-4.4#ls-arlth total 8.0K drwxr-xr-x 1 root root...
使用CNFS管理NAS共享存储卷（推荐）
步骤四：查看写入的数据是否在其他Pod内共享 执行以下命令，查看写入的1 G的临时文件是否在其他Pod cnfs-nas-static-sts-1中共享。kubectl exec cnfs-nas-static-sts-1-ls-arlth/data 预期输出：total 1G-rw-r-r-1 root root 1.0G Dec 15 ...
UPSERT
option(','hint_option)*')')hint_option:=expression 说明 支持批量写入，指定需要写入的相关列，可以在Values关键字中确定几行数据。支持upsert on duplicate key操作，类似check and put操作，要求upsert指定的value值可以确定一行。...
使用CNFS管理NAS隔离存储卷（推荐）
步骤四：查看写入的数据是否在其他Pod中隔离 执行以下命令，查看1 G的临时文件是否在Pod cnfs-nas-dynamic-sts-1中隔离。kubectl exec cnfs-nas-dynamic-sts-1-ls-arlth/data 预期输出：sh-4.4#ls-arlth total 8.0K drwxr-xr-x 1 root root...
Java SDK 快速开始
创建完成后，项目目录结构应如下：在上图中的 java 目录创建自定义包名，例如：com.example.demo，并将 DemoSample.java（点击下载 DemoSample.java 文件）中的内容完整拷贝至创建的包中，并将 SDK 必须使用的 client.crt、client.key、...
上传文件概述
本文介绍对象存储OSS Java SDK的多种文件上传方式。在OSS中，操作的基本数据单元是文件（Object）。OSS Java SDK提供了以下几种文件上传方式：简单上传：包括流式上传和文件上传。最大不能超过5GB。表单上传：最大不能超过5GB。追加上传：...
Java SDK 快速开始
创建完成后，项目目录结构应如下：在上图中的 java 目录创建自定义包名，例如：com.example.demo，并将 DemoSample.java（点击下载 DemoSample.java 文件）中的内容完整拷贝至创建的包中，并将 SDK 必须使用的 client.crt、client.key、...
Event Time Column（Segment Key）
写入时为了追求写入性能，都为Append Only方式写入，文件数会越来越多。因此系统会在后台周期将文件进行合并。如果设置了Event_time_column（Segment Key），系统将文件基于Segment Key范围排序后，选择Segment Key范围相邻的文件进行合并...
使用扩展属性定制列存索引
表示优先考虑存储空间，尽可能地将数据切分后跨越多个文件写入，以最大化减少内部碎片，即每次写入最多产生1个4 KB的内部碎片。1：ForPerformance。表示优先考虑性能，每次写入一个ExtentSize的文件。IO性能最好，内部碎片率最大化，空间...
Linux系统挂载NFS协议文件系统
其中，“尽快”刷回NAS服务端，则涉及NAS所提供的如下多节点一致性模型：基于超时的最终一致性 NFS会缓存目录或者文件的属性（FileAttr），操作系统会根据FileAttr是否发生变化，来判断这个目录或者文件是否在其他ECS被修改过。同时，加载...
Java SDK 快速开始
创建完成后，项目目录结构应如下：在上图中的 java 目录创建自定义包名，例如：com.example.demo，并将 DemoSample.java（点击下载 DemoSample.java 文件）中的内容完整拷贝至创建的包中，并将 SDK 必须使用的 client.crt、client.key、...
SSL 链路加密
说明 在 Java 中使用 JKS 证书文件时，jdk7 和 jdk8 需要修改默认的 jdk 安全配置，在应用程序所在主机的 jre/lib/security/java.security 文件中，修改如下两项配置：jdk.tls.disabledAlgorithms=SSLv3,RC4,DH keySize,RSA keySize若不...
将OSS数据写入AnalyticDB for MySQL 3.0
写入数据 异步执行以下SQL将OSS table目录下dla_table_1文件中的数据写入AnalyticDB for MySQL adb_demo数据库的shipping表。执行 OSS 到 AnalyticDB for MySQL 的全量数据写入。run-async=true*/INSERT INTO ads_database_schema.shipping...
容量和清理说明
按文件 blob ID 清理 假如已知大文件的 blob ID，可以将大文件的 blob ID写入一个文件中，比如在文件 ids.txt 中写入下述几个大文件 blob ID e152814d14939a20f5399acf80b606ad018f872a b747204ba81985a3f41314ef55d4c4a24868ede2 然后执行...
SparkSQL合并小文件功能使用说明
开启小文件合并功能 开启小文件合并功能后，SparkSQL的写入操作（例如insert、create table等）将自动合并生成的输出文件，但功能只作用于当前写入操作生成的文件，不会对历史数据进行合并。同时，该功能支持非分区表以及静态、动态分区...
导出至HDFS
方式三：INSERT OVERWRITE PARTITION 与 INSERT INTO PARTITION 使用方法相同，但使用 INSERT OVERWRITE PARTITION 时，会覆盖掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。...
Linux系统挂载SMB协议文件系统
file_mode：向用户授予普通文件的读取、写入和执行权限。必须以0开头，例如：0755、0644等。如果未设置file_mode，则默认file_mode=0755。mfsymlinks：支持symbol link功能。cache：cache=strict：设置SMB文件系统使用客户端缓存。如果未...
流式数据通道概述
解决高并发抢锁导致流式服务不可用，避免 batch size 太小导致MaxCompute产生大量小文件的问题。流式存储服务（DataHub、Kafka）实时同步MaxCompute 消息服务实时同步MaxCompute解除并发数及 batch size 的限制。解决消息服务实时同步到...
Java SDK接入指南
您可以使用EDAS提供的Java SDK进行API调用。前提条件 安装Java SDK必须用1.6或更高版本的 JDK。获取Java SDK 您可以通过以下两种方式获取Java SDK：通过Maven直接获取（联网环境下推荐）打开Maven项目下的 pom.xml 文件，添加aliyun-java-...
手动部署Java Web环境（Alibaba Cloud Linux 2）
执行以下命令，查看JDK安装后文件的路径。find/usr/jdk-name 'jdk-17.*' 回显信息如下所示。usr/jdk/jdk-17.0.8 打开配置文件。vim/etc/profile 在配置文件末尾，按 i 进入编辑模式。添加以下信息。说明 JAVA_HOME 值需替换为实际JDK安装的...
OGG插件介绍
Pump：Extract从源端抽取的数据会先写到本地磁盘的Trail文件，Pump进程会负责将Trail文件的数据投递到目标端；Collector：目标端负责接收来自源端的数据，生成Trail文件 Replicat：负责读取目标端的Trail文件，转化为相应的DDL和DML语句...
手动部署Java Web环境（Alibaba Cloud Linux 3）
usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar Using CATALINA_OPTS:Tomcat started.Tomcat is running with pid:4517 步骤四：部署测试项目并验证 将需要部署的Java Web项目文件WAR包上传到网站根目录下，...
手动部署Java Web环境（CentOS 7）
1.el7_9.x86_64 Using CLASSPATH:/usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar Using CATALINA_OPTS:Tomcat started.Tomcat is running with pid:11837 步骤四：部署测试项目并验证 将需要部署的Java Web...
CreateFileTrans-创建文件转写任务
bucket AudioOutputOssPath string 否 开启音频转码时，转码音频写入到的 OSS 文件路径，需要以"tingwu/"为前缀。tingwu/dir/filename VideoOutputEnabled boolean 否 是否开启视频转码，默认是 false。false VideoOutputOssBucket string ...
快速入门
下面是一个以Java JDBC通过PreapredStatement接口的参数化查询方式写入时空数据的Java代码示例。建立连接 Connection connection=DriverManager.getConnection(url,properties);final String tableName="testtbl"/建表 try(Statement stmt=...
写入HDFS出现无法close文件的异常
本文介绍写入HDFS出现无法close文件的异常的解决方案。具体报错 java.io.IOException:Unable to close file because the last block xxx:xxx does not have enough number of replicas.问题原因 一般是由于DataNode写入负载过大引起的，...
实时计算场景优化
DataXceiver error processing WRITE_BLOCK operation src:/10.*.*.*:35692 dst:/10.*.*.*:50010 java.io.IOException:Premature EOF from inputStream 配置预留磁盘空间 背景：HDFS对于打开的文件写入流，会预先保留128 MB Blocksize的...
PutTimeseriesData
调用PutTimeseriesData接口写入时序数据。请求消息结构 message PutTimeseriesDataRequest { required string table_name=1;required TimeseriesRows rows_data=2;optional MetaUpdateMode ...Java SDK：写入时序数据 Go SDK：写入时序数据
文件网关支持哪些字符集
本文介绍文件网关支持的字符集。OSS的文件命名只支持UTF-8字符集，非UTF-8命名的文件无法上传到OSS中。因此，文件网关目前仅支持向OSS上传UTF-8命名的文件。...如发现已有非UTF-8命名文件写入文件网关，请提交工单进行处理。
近实时增量导入
commit接口调用代表原子提交这段时间写入的数据。如返回成功就代表写入数据查询可见，满足读写快照隔离级别。如返回失败，可支持重试，如果不是数据损坏等不可恢复的错误，则存在重试成功的可能，不需要重新写入数据，否则需要重写数据之后...
配置审计服务关联角色
当您设置对象存储OSS的存储空间（Bucket）用于接收资源快照时，配置审计需向您指定的存储空间写入快照文件，需要通过服务关联角色获取存储空间的写入权限。当您设置日志服务SLS的日志库（Logstore）用于接收资源日志时，配置审计需向您指定...
配置Gremlin请求超时时间
vi Test.java 输入 i，将以下内容根据业务需求在本地修改完成后复制粘贴至Test.java文件中。package com.gdb.alibaba;import org.apache.tinkerpop.gremlin.driver.Cluster;import org.apache.tinkerpop.gremlin.driver.Client;import org....
创建快照
背景信息 创建快照所需时间为分钟级别，并取决于文件系统实际写入数据的容量大小。文件系统的第一份快照为全量快照，耗时较久。再次创建快照，相对耗时较短，但依然取决于和上一份快照之间的数据变化量。变化越大，耗时越久。创建快照时，...
如何避免多进程/多客户端并发写同一日志文件可能出现...
问题现象 文件存储 NAS（Apsara File Storage NAS）为多客户端提供了统一名字空间的文件共享读写能力，但在多进程/多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上...
通过HTTP API写入数据
数据写入的时候，需要设置参数 db 的值，该值必须是一个已有的数据库。如果您没有通过参数 rp 来设置数据保留策略的话，那么数据会写到 db 默认的数据保留策略中。想要获得完整的参数信息，请参阅文档 HTTP API 。我们称POST的主体内容，...
- 产品推荐
- 这些文档可能帮助您