Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
通过CNFS自动收集异常退出的JVM转储文件
当您的业务是使用Java开发，且设置的JVM堆空间过小时，程序会发生OOM（Out Of Memory）的问题。此时您可以使用CNFS（Container Network File System）作为记录日志的载体，挂载到容器内相应目录中，当JVM发生OOM时，CNFS可以将日志记录到...
通用型NAS计费
文件空洞是指由重复的0填充而没有实际写入文件的字节，一般通过truncate、lseek或fallocate命令创建。当开启回收站功能后，在文件保留时间内回收站中暂存的文件将按照原存储类型计费。即删除容量型文件系统中的文件后，该文件暂存在回收站...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
对于一些较复杂的分析任务，需要通过MapReduce任务读取HDFS上的JSON文件，写入Elasticsearch集群。本文介绍如何通过ES-Hadoop，借助MapReduce任务向Elasticsearch写入数据。操作流程 准备工作 创建同一专有网络下的阿里云Elasticsearch和E-...
应用场景
OSS支持流式写入和文件写入两种方式。网页或者移动应用的静态和动态资源分离 利用海量互联网带宽，OSS可以实现海量数据的互联网并发下载。OSS提供原生的 传输加速 功能，支持上传加速、下载加速，提升跨国、跨洋数据上传、下载的体验。同时...
写入时序数据
以下示例用于向test_timeseries_table时序表中写入多个时序数据。private static void putTimeseriesData(TimeseriesClient client){ List<TimeseriesRow>rows=new ArrayList();for(int i=0;i;i+){ Map,String>tags=new HashMap,String>();...
Java SDK快速入门
示例代码 本示例中，创建一个 SLSQuickStart.java 文件，并调用接口分别完成创建Project、创建Logstore、创建索引、写入日志数据和查询日志数据。示例如下：import com.aliyun.openservices.log.common.Index;import ...
快速入门
java-jar lindorm-sample-1.0.0.jar path_to_sample/sample_template.json 默认创建schema为ship的4个索引表(index on id,z2,z3,attr)。若要创建指定的索引表，可以参见 创建索引表。查询数据 在sample_template.json中设置查询参数，使用...
HDFS数据源
将读取的文件写入这个临时目录。全部写入后，将临时目录下的文件移动到您指定的目录（在创建文件时保证文件名不重复）。删除临时目录。如果在此过程中，发生网络中断等情况造成无法与HDFS建立连接，需要您手动删除已经写入的文件和临时目录...
安全告警概述
进程异常行为 检测资产中是否存在超出正常执行流程的行为，包括但不限于以下子项：Linux系统计划任务配置文件写入 Linux计划任务文件异常篡改 Linux可疑命令执行 反弹Shell，更多信息，请参见 云安全中心反弹Shell多维检测技术详解。...
使用NFSv4 ACL进行权限管理
touch:cannot touch‘dir0/file’:Permission denied 验证是否有写权限（例如，向 dir0/file 文件中写入内容）。执行命令 sudo su player-c 'echo 456>>dir0/file' 如果返回如下信息，则表示用户player无写权限。bash:dir0/file:Permission...
基于SPL的Kafka消费
kafkaConsumer->[虚拟Topic]->真实Logstore 重要 目前仅支持使用Kafka官方SDK库（Java SDK和基于librdkafka的库）进行消费。已知第三方库python-kafka在基于SPL进行Kafka消费时存在问题。如果您要使用Python消费，请使用Kafka官方的Python...
在文件存储 HDFS 版上使用TensorFlow
hadoop fs-touchz dfs:/f-xxxx.cn-xxxx.dfs.aliyuncs.com:10290/test_tensorflow/words 向文件（例如，words）中写入数据。echo"hello tensorflow"|hadoop fs-appendToFile-dfs:/f-xxxx....
挂载OSS
访问权限：考虑到多个节点向 OSS 写入文件的一致性问题，InputMapping 挂载服务本身针对 OSS 是只读行为，应用程序通过文件系统接口的操作，在 任何情况 下都不会修改 OSS 上对应文件的内容，也不会删除 OSS 上的对应文件。修改限制：在...
OSS-HDFS数据源
将读取的文件写入这个临时目录。全部写入后，将临时目录下的文件移动到您指定的目录（在创建文件时保证文件名不重复）。删除临时目录。如果在此过程中，发生网络中断等情况造成无法与OSS-HDFS建立连接，需要您手动删除已经写入的文件和临时...
常见Latency（时延）事件的处理建议
AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中存在后台进程正在执行fsync。写入AOF文件...
OSS挂载
B)InputMapping 挂载文件的访问权限 考虑到多个节点向 OSS 写入文件的一致性问题，InputMapping 挂载服务本身针对 OSS 是只读行为；应用程序通过文件系统接口的操作，在 任何情况 下都不会修改 OSS 上对应文件的内容，也不会删除 OSS 上的...
在文件存储 HDFS 版上使用Presto
hadoop fs-ls dfs:/f-xxxxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/tmp/presto_test/*如果返回信息显示刚创建的表数据，则表示Presto可以向 文件存储 HDFS 版 写入数据。进行Word Count计算，检验Presto能否读取 文件存储 HDFS 版 上的...
常见Latency（时延）事件的处理建议
AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中存在后台进程正在执行fsync。写入AOF文件...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
配置审计服务关联角色
当您设置对象存储OSS的存储空间（Bucket）用于接收资源快照时，配置审计需向您指定的存储空间写入快照文件，需要通过服务关联角色获取存储空间的写入权限。当您设置日志服务SLS的日志库（Logstore）用于接收资源日志时，配置审计需向您指定...
Tomcat 连接池连接 OceanBase 数据库示例程序
代码如下：<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.40</version></dependency>application.properties 文件介绍 application.properties 文件配置连接到 OceanBase 数据库的数据...
使用Java实现Kafka消费
授予RAM用户向指定Project写入数据权限的具体操作，请参见 授权。如何获取AccessKey的具体操作，请参见 访问密钥。无 topic 日志服务Logstore名称。test enable.auto.commit 是否自动提交消费点位，建议设置为true。true auto.commit....
离线同步常见问题
（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？Elasticsearch writer配置了Settings，...
数据查询
说明 通过兼容TSDB接口的多值写入、HTTP SQL API写入、Java Native SDK写入、行协议写入等四种方式写入的数据，在进行单值查询时，需要将metric指定为metric@field来兼容多值数据的读取。其中，metric为table名，field为具体查询值的列名。...
使用Flink写入数据（Transaction Table2.0）
Flink Upsert写入任务的Checkpoint间隔建议设置3分钟以上，设置太小的话，写入效率得不到保障，并且可能引入大量小文件。MaxCompute与实时计算Flink版的字段类型对照关系如下。Flink 数据类型 MaxCompute 数据类型 CHAR(p)CHAR(p)VARCHAR(p...
上下游存储
Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么作用？为什么Flink和Kafka之间的网络是连通的，但是依然会有timeout expired while fetching...
通过Logstash写入数据到AnalyticDB MySQL 2.0
为此，我们优化了一个基于jdbc的Logstash output plugin插件，请参见 logstash-ouput-analyticdb，专门用于以聚合方式向分析型数据库MySQL版写入日志数据。通过logstash-output-analyticdb将数据写入分析型数据库MySQL版时的性能，相较于...
SDK FAQ
使用Java Demo识别录音文件没有识别结果，使用文档中的语音文件识别可以正常识别，该如何解决？您可以使用 file 命令查看语音格式，检查该格式是否符合产品要求。模型支持的标准8K数据格式为8 KHz采样率、16 bit采样位数、单声道WAV格式；...
CDC问题
因为RDS MySQL 5.6该类型实例没有向日志文件里写入数据，导致下游同步工具无法读取增量的变更信息。建议您使用可写实例或者升级RDS MySQL至更高版本。MySQL全量数据读取完后一直卡住。MySQL CDC全量阶段读取时间过长，导致最后一个分片数据...
兼容Kafka
Blob Topic Kafka的数据写入Blob Topic时，会把Kafka数据的value写入Blob中，如果Kafka数据的key不为NULL，则会写入DataHub的Attribute，其中key为”_kafka_key_“，value为Kafka数据的key。Header Kafka的Header对应DataHub的Attribute，...
对象存储OSS使用Java实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Java语言实现的示例。说明：建议优先使用OSS提供SDK，本文提供的只是签名...
通过SkyWalking上报Java应用数据
当日志文件大小超过该值，归档当前的日志文件，并将日志写入到新文件中。300*1024*1024 logging.max_history_files 最大历史日志文件数量。默认情况下，负数或0表示关闭。1 配置方式 系统属性 使用-Dskywalking.+agent.config 配置文件的...
通过SkyWalking上报Java应用数据
当日志文件大小超过该值，归档当前的日志文件，并将日志写入到新文件中。300*1024*1024 logging.max_history_files 最大历史日志文件数量。默认情况下，负数或0表示关闭。1 配置方式 系统属性 使用-Dskywalking.+agent.config 配置文件的...
Linux系统挂载SMB协议文件系统
file_mode：向用户授予普通文件的读取、写入和执行权限。必须以0开头，例如：0755、0644等。如果未设置file_mode，则默认file_mode=0755。mfsymlinks：支持symbol link功能。cache：cache=strict：设置SMB文件系统使用客户端缓存。如果未...
Hudi
超过可写入的parquet文件大小时，将写入到新的文件组。120*1024*1024 byte（120 MB）单位是byte。hoodie.parquet.small.file.limit 小文件的大小阈值，小于该参数的文件被认为是小文件。104857600 byte（100 MB）单位是byte。在写入时，...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
快速入门
注意事项 如果您使用Maven开发MapReduce程序，可以从 Maven库 中搜索 odps-sdk-mapred、odps-sdk-commons 和 odps-sdk-core 获取不同版本的Java SDK，pom.xml文件需要配置的依赖信息如下。groupId>...
Schema Registry管理
mvn exec:java-Dexec.mainClass=io.confluent.examples.clients.basicavro.ProducerExample \-Dexec.args="$HOME/.confluent/java.config"该命令使用了之前准备的客户端配置文件$HOME/.confluent/java.config。命令执行完成后，会输出如下...
- 产品推荐
- 这些文档可能帮助您