SDK 使用指南
格式转换工具 TAPP 接口示例/使用 rapidjson 第三方库对 json 进行构造和解析 INTERFACE std:string TestJson(){ using namespace:rapidjson;std:vector<std::string>ret;std:string stringFromStream=R"({"dictVersion":1,"content":[{...
从采集到分析-TSDB For InfluxDB®让你的数据产生价值
在写入前指定数据写入的数据库和保留策略（如果不指定，则写入默认的保留策略），数据可以按行或者Batch的方式写入。为了提高写入吞吐，推荐Batch的写入方式，Batch行数按数据大小可以在100~1000行左右。SDK下载，请参见 地址，程序编译...
HTTP API 概览
TSDB 提供了一个基于 HTTP 的应用程序编程接口，以便与外部系统集成。几乎所有 TSDB 的特性都可以通过 API 来访问，比如查询时间序列数据、管理元数据和存储数据点。TSDB 的 HTTP API 本质上是 RESTful 的，同时也提供了替代访问策略，因为...
应用实践：Transformer模型训练加速
PAI-Rapidformer提供了丰富的模型训练加速方法，您只需要安装Rapidformer专属镜像，即可通过黑盒或者白盒化的方式对模型训练进行优化。本文为您介绍如何使用Rapidformer优化PyTorch版的Transformer模型训练。前提条件 已安装Rapidformer...
基于Indexing Service实现数据流管理
{"min_age":"7d","actions":{"delete":{"delete_searchable_snapshot":true } } } } } } 以上新建的索引生命周期策略表示，当托管索引满足以下任意条件时，将触发滚动更新，生成新的后备索引，原索引保留7天后将自动删除：写入文件数超过...
资源
a+：类似于 r+，但写入时只能写入文件末尾。同时，PyODPS中文件资源支持以二进制模式打开，例如一些压缩文件需要以这种模式打开。rb：指以二进制读模式打开文件。r+b：指以二进制读写模式打开。表资源 创建表资源 o.create_resource('test_...
Python SDK示例：资源
a+：类似于 r+，但写入时只能写入文件末尾。同时，PyODPS中文件资源支持以二进制模式打开，例如一些压缩文件需要以这种模式打开。rb：指以二进制读模式打开文件。r+b：指以二进制读写模式打开。表资源 创建表资源 o.create_resource('test_...
文件
本文介绍文件类WVFile相关的JSAPI，供您在通过跨平台DevOps创建H5端应用或者小程序时参考。文件类WVFile的JSAPI提供写入、读取文件内容、获取文件信息、文件下载、文件上传的相关能力。WVFile.write 将指定的文件内容写入磁盘。输入参数...
0041-00000203
问题描述 请求触发镜像回源时，数据无法写入OSS。问题原因 Bucket处于被保护状态时，无法向该Bucket写入文件。问题示例 无 解决方案 确保回源文件写入的Bucket未处于保留策略的保护状态。相关文档 镜像回源 保留策略
FS-文件系统
蜂窝模组 4.0.1 HaaS600-EC600U 是 蜂窝模组 4.0.1 HaaS600-N715 是 蜂窝模组 4.0.1 fs.writeSync(String path,String|ArrayBuffer data,Object options)在文件系统中写入文件。入参 属性 类型 是否必填 描述 path String 是 写入文件的...
文件网关支持哪些字符集
本文介绍文件网关支持的字符集。OSS的文件命名只支持UTF-8字符集，非UTF-8命名的文件无法上传到OSS中。因此，文件网关目前仅支持向OSS上传UTF-8命名的文件。...如发现已有非UTF-8命名文件写入文件网关，请提交工单进行处理。
文件网关的缓存有什么作用
本地客户端通过文件网关向OSS上传文件时，数据会先写入文件网关的缓存。当文件完全写入缓存并关闭后，文件网关会将缓存中的文件上传至OSS。如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会...
文件网关支持的OSS Bucket类型说明
客户端写入文件到网关时，网关至少记录两个动作，写入文件以及设置文件修改时间。网关会尽量合并这两个动作，但仍可能针对某个文件向存储桶发起多个操作。设置修改时间会被转换成修改存储桶里的对象的元数据，通过调用拷贝对象API来实现，...
管理健康报告
本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的数据，并包括SQL查询、表分析和导入任务三个核心部分。查看健康报告 进入EMR Serverless StarRocks实例...
合约 API与内置类库
合约 API 根据功能主要分为以下 4 类：区块链交互 API 工具类 API Pedersen密码学API ElGamal隐私保护API（半同态加密）调试类 API 内置类库 区块链交互 API bool CheckAccount(const Identity&id/*in*/);检查当前状态下，id 指定的账号...
合约 API与内置类库
合约 API 根据功能主要分为以下 4 类：区块链交互 API 工具类 API Pedersen密码学API ElGamal隐私保护API（半同态加密）调试类 API 内置类库 区块链交互 API bool CheckAccount(const Identity&id/*in*/);检查当前状态下，id 指定的账号...
整库离线同步至OSS
说明 当上一步骤中 写入单个文件 开关为关闭状态时，即单表写入OSS多个文件时，此处的OSS文件名为写入OSS文件的前缀名称，实际写入的文件名会添加随机字符串。功能 描述 文件建立方式 写入OSS时的文件建立方式，支持写入已有文件或自动建立...
常见问题
Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量？如何限制单条查询语句消耗内存的大小？如何提升非JOIN语句的查询效率？Ranger开启Impala后，新扩容的Impala节点无法正常工作，该怎么办？...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
写入文件提示DataXceiver Premature EOF from ...
本文介绍写入文件提示DataXceiver Premature EOF from inputStream异常的解决方案。具体报错 DataXceiver error processing WRITE_BLOCK operation src:/10.*.*.*:35692 dst:/10.*.*.*:50010 java.io.IOException:Premature EOF from ...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
API概览
本产品（小程序Serverless/2019-06-15）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
通过HTTP API写入数据
有很多方法可以向TSDB For InfluxDB®写入数据，包括通过命令行界面（command line interface）和客户端（client libraries）。在这一章中，我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...
配置FTP输出组件
后缀格式 写入文件个数选择生成多个文件时，支持序列后缀或UUID随机后缀。重要 当加载策略选择为追加数据时，仅能生成UUID随机数后缀。高级配置 行分隔符 非必填项，填写行之间分隔符，支持多字符分隔符。如果您没有填写，则系统以换行符号...
配置FTP输出组件
后缀格式 写入文件个数选择生成多个文件时，支持序列后缀或UUID随机后缀。重要 当加载策略选择为追加数据时，仅能生成UUID随机数后缀。高级配置 行分隔符 非必填项，填写行之间分隔符，支持多字符分隔符。如果您没有填写，则系统以换行符号...
计费常见问题
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件存储 HDFS 版 服务如何停止计费？如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
424错误
The object you specified is immutable 问题原因：Bucket处于被保护状态时，无法向该Bucket写入文件。解决方案：确保回源文件写入的Bucket未处于合规保留策略的保护状态。请通过 GetBucketWorm 获取Bucket的保护状态。Meta is too large ...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
logstash-input-oss插件使用说明
A：OSS还在写入文件时，触发了阿里云Logstash从OSS中获取数据，此时已经写入OSS中的数据会记录到MNS的队列中，并通过Logstash管道传输到阿里云Elasticsearch中。还未写入到OSS的这部分数据会继续写入到OSS中，等待下次事件触发后再进行写入...
Parquet（推荐）
read/write Key 取值范围 默认值 说明 Write compression None,Uncompressed,bzip2,defalte,gzip,lz4,snappy None 声明Spark应该使用什么样的压缩编码器来读取或写入文件 Read Merge Schema true，false 配置值spark.sql.parquet....
在本地控制台上使用文件网关
客户端写入文件到网关时，网关至少记录两个动作，写入文件以及设置文件修改时间。网关会尽量合并这两个动作，但仍可能针对某个文件向存储桶发起多个操作。设置修改时间会被转换成修改存储桶里的对象的元数据，通过调用拷贝对象API来实现，...
使用mount命令挂载ext4文件系统
如果使用本场景推荐的挂载参数，任何内存的修改都会同步写入磁盘，并且所有数据第一时间保序写入文件系统日志。即使发生低概率异常，文件系统恢复后也能保证数据不丢失。优点：数据安全性高，可以确保系统宕机后文件系统的数据不丢失。缺点...
应用场景
各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。网页或者移动应用的静态和动态资源分离 利用海量互联网带宽，OSS可以实现海量数据的互联网并发下载。OSS提供原生的 传输加速 功能，...
0026-00000002
问题原因 您发起了PutObject或CopyObject等涉及到文件写入操作的请求，但是您试图写入的文件名已经存在同名文件，导致写入失败。问题示例 比如您发起了如下请求：PUT/object-exist.txt ...
0026-00000201
问题原因 您发起了PutObject或CopyObject等涉及到文件写入操作的请求，但是您试图写入的文件名已经存在同名文件，导致写入失败。问题示例 比如您发起了如下请求：PUT/object-exist.txt ...
配置Hive输出组件
使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输出组件。更多信息，...
- 产品推荐
- 这些文档可能帮助您