キバナ。 JSONを含む@Messageからフィールドを抽出します -- None フィールド と lucene フィールド と kibana フィールド と logstash-grok フィールド 関連 問題

Kibana. Extract fields from @message containing a JSON












0
vote

問題

日本語

JSONを含む@MessageフィールドからKiabanaフィールドで抽出したいと思います。 EX:

<事前> <コード> Audit{ uuid='xxx-xx-d3sd-fds3-f43', action='/v1.0/execute/super/method', resultCode='SUCCESS', browser='null', ipAddress='192.168.2.44', application='application1', timeTaken='167' }

私はこれに似たもので始まりました:

<事前> <コード> filter { if ([message]~ = "Audit") { grok { match => { "message" => "%{WORD:uuid}, %{WORD:action}, %{WORD:resultCode}, %{WORD:browser}, %{WORD:ipAddress}, %{WORD:application}, %{NUMBER:timeTaken}" } add_field => ["action", "%{action}"] add_field => ["application", "%{application}"] } } }

しかしそれは現実から遠すぎるようです。

英語

I would like to extract in Kiabana fields from @message field which contains a json. ex:

Audit{ uuid='xxx-xx-d3sd-fds3-f43', action='/v1.0/execute/super/method',  resultCode='SUCCESS',  browser='null',  ipAddress='192.168.2.44',  application='application1',  timeTaken='167' }  

Having "action" and "application" fields I hope to be able to find top 5 requests that hits the application.

I started with something similar to this:

filter {     if ([message]~ = "Audit") {         grok {             match => {                 "message" => "%{WORD:uuid}, %{WORD:action}, %{WORD:resultCode}, %{WORD:browser}, %{WORD:ipAddress}, %{WORD:application}, %{NUMBER:timeTaken}"             }             add_field => ["action", "%{action}"]             add_field => ["application", "%{application}"]         }     } } 

But it seems to be too far from reality.

</div
           
 
 

回答リスト

1
 
vote

「監査」の内容が実際にJSON形式である場合は、フィルタプラグイン "json"

を使用できます。 <事前> <コード> json{ source => "Audit" }

それはあなたのために解析をするでしょう、そしてすべてを作成します。 Grok / Add_fieldを必要としません。

 

If the content of "Audit" is really in json format, you can use the filter plugin "json"

json{     source => "Audit" } 

It will do the parsing for you and creates everything. You don't need grok / add_field.

</div
 
 

関連する質問

0  Grokを使用してLogstashでログ文字列を解析する方法  ( How to parse a log string in logstash using grok ) 
Grokを使って以下の文字列を解析しようとしています; <事前> <コード> 2018-06-08 13:26:02.002851: <action cmd="run" options="IGNORE_ERROR" path="/usr/lib/vmwar...

7  ログスタッシュGrok Filter Apache Access Log  ( Logstash grok filter apache access log ) 
私はここで見ているが、作業分解能を見つけることができなかった。 Logstash Configファイル内でGrok Filterを使用して、Apache-Accessログファイルをフィルタリングしようとします。ログメッセージは次のようになります。<コード> {...

8  パイプで区切られたデータのためのGrok Pattern  ( Grok pattern for data separated by pipe ) 
データがパイプシンボルで区切られているログファイルがあります。 "|"。例は以下の通りです。誰もがLogstashのためにそれを抽出するためにGrokパターンを書く方法を知っていますか? 2014-01-07 11:58:48.7694 | LogSour...

0  Logstash 2.4.0:Grokはカスタムパターンで静かに失敗します  ( Logstash 2 4 0 grok fails silently on custom patterns ) 
カスタムパターンをLogstash 2.4.0で動作させることで試している(そして失敗した)。これがconfファイルの関連部分です: <事前> <コード> #some parsing happens above... grok { pat...

0  タイムスタンプ日付フィルタのLOGSTASHを使用してログ値を取得しませんか?  ( Timestamp not getting my log value using date filter logstash ) 
http通話と時間通話時にログ日付を取得するために次の設定がありますが、@TimestampはLogSeatサーバーからLogstash 1を送信したときに表示されます。 <事前> <コード> input { beats { ...

0  Logstash、Grok Filterが固定長フィールドで動作しない  ( Logstash grok filter not working for fixed length fields ) 
LogstashをLogStashするためのNewBieで、固定長フィールドの入力ファイルと、以下のように正規表現で設定されたログ標準の設定ファイルがあります。 Log Stash設定ファイルの内容First-Pipeline.conf <事前> <コー...

0  Logstashでグロックパターンを書く方法  ( How to write grok pattern in logstash ) 
Logstashから始めようとしていて、私のアプリケーションには次の種類のログがあります。ここで5は5つのラインを示していますが、異なる関連事項のために収集された統計であることを示します。 これらは基本的にはリソースの1つを示す各行を持つアプリケーションの統...

0  フィルタ内のカスタムパターンを指定した場合のログスタッシュはコンパイルを停止します  ( Logstash stops compiling when given custom pattern inside a filter ) 
だから、問題はこれです。私は./patternsディレクトリにカスタムパターンファイルを持っています。 それはこのように見えます: <事前> <コード> NODELISTENUM(([A-Za-z0-9]{0,20})(-)?([A-Za-z0-9]{0,20...

0  ログスタッシュGrok Filterアクセス​​ログ  ( Logstash grok filter access log ) 
誰かが私のGrokフィルターを使って私を助けますか? 私が解析したいアクセスログはこれです: <事前> <コード> 10.00.000.00 - - [08/Feb/2019:09:06:54 -0500] "GET /aft_ms_management_1...

0  logstash '無効な設定を読み込めません'  ( Logstash cannot load an invalid configuration ) 
次の入力のためにLogstashを設定しようとしています - Nginx Access、Nginx Error&AMP;カスタムパターンとアンプに従ってログ。以下はlogstash.conf です <事前> <コード> input { beats { ...




© 2022 cndgn.com All Rights Reserved. Q&Aハウス 全著作権所有