DEVNOTE

Bucket(버킷) 정의 원시 데이터와 인덱스 파일이 저장되는 저장소 데이터에 대한 인덱스 파일과 데이터 자체를 포함하는 디렉토리 인덱싱된 데이터를 관리하는 단위 Bucket(버킷) 종류 Warm 버킷 : 새로 입력된 데이터가 들어있는 곳, 검색할 때 가장 먼저 검색이 이루어지는 공간 Cold 버킷 : Warm 버킷에서 롤링된 버킷, Cold버킷도 검색이 이루어지긴하지만 Warm버킷에서 검색이 끝난 후에 검색이 이루어짐 Frozen 버킷 : Cold 버킷에서 일정시간이 지나면 이동되며, Frozen 버킷으로 이동시 데이터가 삭제됨 (Splunk에서는 삭제되기 전에 스크립트를 실행시켜서 데이터를 백업하거나 다른 작업을 처리할 수 있게 기능을 제공함) Thawed 버킷 : Frozen 된 데이터를 재입력하기..

SPLUNK 기능 및 구성 SPLUNK는 검색, 저장, 배포, 수집 4가지 기능을 수행 SPLUNK는 SearchHeader, Indexer, Deployment, Forwarder로 구성 SearchHeader 검색 결과를 화면으로 사용자에게 제공하는 역할 Splunk Daemon에 접근하여 검색을 수행하며, 분산검색시 하나 이상의 SearchHeader가 필요 다른 인스턴스에 비해 메모리 리소스를 많이 잡아먹음 Indexer 인덱스를 생성하여 데이터 인덱싱 및 관리를 수행함 Forwarder에서 전달한 데이터를 파싱하여 정규화된 패턴(정의된 sourcetype)으로 필드로 분류하는 작업으로 이루어짐 이벤트를 자동으로 Key / Value 형태로 필드를 나누며, 저장소 역할을 함 Deployment 인..

SPL 쿼리시 SQL로 쿼링할 때처럼 잘안되서, 해당 부분 정리 참고 https://docs.splunk.com/Documentation/Splunk/7.3.2/SearchReference/SQLtoSplunk (Splunk docs 참고) 비교 SQL command SQl example SPL example SELECT * SELECT * FROM mytable source=mytable WHERE SELECT * FROM mytable WHERE mycolumn=5 source=mytable mycolumn=5 SELECT SELECT mycolumn1, mycolumn2 FROM mytable source=mytable | FIELDS mycolumn1, mycolumn2 AND/OR SELECT ..