OpenSearchのScrollAPIを使ってみた

経緯

とある調査で大量のログをOpenSearchから取得したくなりました

最初はsizeを100,000で設定して一括で取得しようとしたのですが、sizeの最大値は10,000とのことでしたので、エラーメッセージで推奨されたスクロールAPIを使用することにしました

OpenSearchのScrollAPIを実際に使ってみた

検索（1回目）

1回目は以下のクエリを実行します

レスポンスとして結果とscroll_idが返るので、scroll_idをメモしておきます

GET _search?pretty&scroll=1h
{ "version": true, "size": 10000, "sort": [ { "time": { "order": "asc", "unmapped_type": "boolean" } } ], "aggs": { "2": { "date_histogram": { "field": "time", "fixed_interval": "3h", "time_zone": "Asia/Tokyo", "min_doc_count": 1 } } }, "stored_fields": [ "*" ], "script_fields": { "body_bytes_sent_int": { "script": { "source": "if (doc.containsKey('body_bytes_sent') ) { \n\treturn Integer.parseInt(doc['body_bytes_sent.keyword'].value)\n}", "lang": "painless" } } }, "docvalue_fields": [ { "field": "time", "format": "date_time" } ], "_source": { "excludes": [] }, "query": { "bool": { "must": [], "filter": [ { "bool": { "should": [ { "query_string": { "fields": [ "request_body" ], "query": "*birthday*" } } ], "minimum_should_match": 1 } }, { "match_phrase": { "request_uri": "/api/account/profile_update" } }, { "match_phrase": { "app_version": "ios_4.0.29" } }, { "range": { "time": { "gte": "2023-07-14T15:00:00.000Z", "lte": "2023-07-21T14:59:59.999Z", "format": "strict_date_optional_time" } } } ], "should": [], "must_not": [] } }, "highlight": { "pre_tags": [ "@kibana-highlighted-field@" ], "post_tags": [ "@/kibana-highlighted-field@" ], "fields": { "*": {} }, "fragment_size": 2147483647 }
}

検索（2回目以降）

2ページ目以降は以下のクエリを実行すると取得できます

2回目の実行時は2ページ目、3回目の実行時は3ページ目が返る感じです

scroll_idパラメータには上で取得した値をセットします

scrollパラメータにはスナップショットを保存する期間をセットします

scrollパラメータなしで実行するとスナップショットが破棄？されてヒットしなくなるので気をつけてください

GET _search/scroll
{ "scroll" : "1h", "scroll_id": "FGlnY...（省略）...MUQ=="
}

スナップショットの削除

DELETE _search/scroll
{ "scroll_id": "FGlnY...（省略）...MUQ=="
}