[ELK] index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] 발생시 처리

index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] 발생 증상

• 기존에 개발계 테스트용도로 설치된 키바나 대시보드에서 조회가 안되고 해당 문구가 발생하며 조회가 안됨
• 엘라스틱서치 로그를 통해 high disk watermark[90%] exceeded .. free: 1.3gb[5.3%], shards will be relocated away from thie node; 해당 내용이 확인됨

---

발생원인

• 노드 디스크가 90%이상 사용중이면 해당 마스터노드에서는 모든 인덱스를 read-only로 만들어버림 (확인 시 디스크 용량 95%이상 사용중이었음)
• read-only 상태로 들어간 인덱스는 디스크 공간이 여유가 생겨도 read-only를 풀어주기 전까지 자동으로 돌아오지않음

---

해결방법

• 오래된 인덱스 제거
• 기존에 존재하는 인덱스에서 도큐먼트를 제거
• 노드의 디스크 공간 증대
• 클러스터에 데이터 노드 추가 
• 노드에 디스크 용량 제한 해제 (비추천)

---

결론

• 인덱스 라이프사이클 매니지먼트를 잘활용하자