ELK技术栈 - logstash学习笔记（六）
GeoIP 地址查询归类GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有用。配置示例filter { geoip { source => "mes...
ELK技术栈 - logstash学习笔记（五）
时间处理(Date)之前章节已经提过，filters/date 插件可以用来转换你的日志记录中的时间字符串，变成 LogStash::Timestamp对象，然后转存到 @timestamp 字段里。注意：因为在稍后的 outputs/elasticsearch 中常用的 %{+YYYY.MM.dd...
ELK技术栈 - logstash学习笔记（四）
编码插件(Codec)Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec 来自 Coder/decoder 两个单词的首字母缩写)。在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入 期处理不同类型的数据，这全是因为有了 cod...
ELK技术栈 - logstash学习笔记（三）
读取 Syslog 数据syslog 可能是运维领域最流行的数据传输协议了。当你想从设备上收集系统日志的时候，syslog 应该会是你的第一选择。尤其是网络设备，比如思科 —— syslog 几乎是唯一可行的办法。我们这里不解释如何配置你的 syslog.conf, rsyslog.conf 或者 ...
ELK技术栈 - logstash学习笔记（二）
标准输入最好使用一个配置文件进行运行配置示例input { stdin { add_field => {"key" => "value"} codec => "plain" tags => ["add"] ...
ELK技术栈 - Elasticsearch 学习笔记（三）（下）
空白搜索搜索API最常用的一种形式就是空白搜索，也就是不加任何查询条件的，只是返回集群中所有 文档的搜索。GET /_search返回内容如下（有删减）：{ "hits" : { "total" : 14, "hits" : [ { ...
ELK技术栈 - Elasticsearch 学习笔记（三）（上）
将文档路由到从库中分片 = hash(routing) % 主分片数量routing 值可以是任何的字符串， 默认是文档的 _id ，但也可以设置成一个自定义的值。 routing 字符串被传递到一个哈希函数以生成一个数字，然后除以索引的主分片的数量 得到 余数 remainder. 余数将总是在 ...
ELK技术栈 - Elasticsearch 学习笔记（二）（下）
使用外部系统的版本还有一种常见的情况就是我们还是使用其他的数据库来存储数据，而Elasticsearch只是帮我们检索数据。这也就意味着主数据库只要发生的变更，就需要将其拷贝到Elasticsearch中。如果多个进程同时发生，就会产生上文提到的那些并发问题。如果你的数据库已经存在了版本号码，或者也...
ELK技术栈 - Elasticsearch 学习笔记（二）（上）
索引一个文档文档通过 索引 API被索引——存储并使其可搜索。但是最开始我们需要决定我们将文档存储 在哪里。正如之前提到的，一篇文档通过 _index , _type 以及 _id 来确定它的唯一性。我们 可以自己提供一个 _id ，或者也使用 index API 帮我们生成一个。使用自己的ID如果...
ELK技术栈 - Elasticsearch 学习笔记（一）（下）
段落搜索curl -XPOST '172.18.118.222:9200/megacorp/employee/_search?pretty' -d ' { "query" : { "match_phrase" : { "about" : "rock climbing&#...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
