잡동사니
액션 기반 서비스 모니터링 ( Action Based Service Monitoring )
미니렉스
2017. 3. 15. 20:27
주요 기능 - Probe Agent
- 지정된 주기로 반복 실행
- 오류발생 자체 판단 및 부가정보 생성
- 이상징후 / 장애 알림 메시지 생성
- 장애등급 판단
- Agent 동작 이상시 보고 ( 예 : fileSystem Full, CPU/MEM Usage )
- log file Monitoring
- tail -f logfile | grep error
- Network Montoring
- TIME_WAIT
- Process Monitoring
- ps -ef | grep ollehmap
- 유효성 체크
- REST API
- 자동등록 : Postman 설정파일
- 요청방법 : 현재날짜, 현재요일, 주말/공휴일
- HEADER 정보
- 요청주기 : 1분 ( 요청간격을 보장할 수 있는, 수량이 많아도, 응답이 느려도 )
- 응답결과 : Exclude / Include String , Element Count, JSON Structure Count, XML Structure Count, Request Timeout
- Status Code
- Request Timeout ( 3초 이상 - 3등급, 5초 이상 - 2등급 , 7초이상 - 1등급
- 적용예 : pingdom
- isExist
- 자동 생성된 file path를 기반으로
- 파일 존재 유무 : 현재날짜, 현재요일, 주말/공휴일
- 검증결과 : 존재유무, 크기, 생성일, 변경일
- 적용예 : kdap 수신확인, 색인전송확인, 프로세스 시작/종료
- isValid
- monitorXXX.sh 실행결과를 입력으로
- 파일내 라인체크 : 첫줄 , 전체 , 마지막줄
- 라인별 파싱 : 숫자, 문자, 기타
- 숫자검증결과 : Threshold Level 1,2,3,ok
- 문자검증결과 : Today String, Exclude / Include String , Element Count, JSON Structure Count, XML Structure Count
- 적용예 : egrep, wc
- DB Query
- 테이블스페이스 모니터링
- 주요 쿼리 응답시간
- 필요한가?
<이상징후 발생시 추가정보 확보>
- dnsresolve
- tracert
- Request / Response
- Response Time
주요기능 - MsgSender
<알림 전송 수단>
- 이메일
- SMS
Twitter DM전용앱
<알림 그룹>
- Level 1,2,3,ok
- 장애 지속시 재전송 여부
- 대상자 그룹관리 - 모바일웹 페이지 기반
<알림 대상 정보>
- 이름, 핸펀번호, 이메일,
트위터, 레벨별 수신여부
<알림 그룹>
- 알림시간대/요일
- 알림레벨
- 알림방법
<알림 메시지 구성>
- 서버명, 단계별 상태, 상세 메시지
- Callback URL : 알림 수신 관리 ( 거부, 추가 등록 등 )
주요기능 - ProveCenter
<DashBorad>
- Response Time
- UPtime / OutageTime
- Uptime Since
<Monitoring Detail>
- DownTime : 29 min
- UpTime : 99.70%
- ResponseTime : Min/Max/AVG
- Log : Uptime Change, ResponseTime, Test Result Log
<Health Check>
- Agent --> MessageSender
- Central --> Agents
<Remote Configuration Update>
- Central –> Agents
<Check Status>
- Central --> Agents
- Configuration
- log
개발환경
<Agent 와 Center>
- TCP
- UDP
- Message Queue
<개발언어>
- Spark Streaming
- R
- Python
- Java
- C
- Shell Script
<Storage>
- FileDB ( indexedFile )
- PPAS / mySQL / NOSQL