액션 기반 서비스 모니터링 ( Action Based Service Monitoring )

주요 기능 - Probe Agent

• 지정된 주기로 반복 실행
• 오류발생 자체 판단 및 부가정보 생성
• 이상징후 / 장애 알림 메시지 생성
• 장애등급 판단
• Agent 동작 이상시 보고 ( 예 : fileSystem Full, CPU/MEM Usage )

 

• log file Monitoring
  • tail -f logfile | grep error
• Network Montoring
  • TIME_WAIT
• Process Monitoring
  • ps -ef | grep ollehmap
• 유효성 체크
• REST API
  • 자동등록 : Postman 설정파일
  • 요청방법 : 현재날짜, 현재요일, 주말/공휴일
  • HEADER 정보
  • 요청주기 : 1분 ( 요청간격을 보장할 수 있는, 수량이 많아도, 응답이 느려도 )
  • 응답결과 : Exclude / Include String , Element Count, JSON Structure Count, XML Structure Count, Request Timeout
  • Status Code
  • Request Timeout ( 3초 이상 - 3등급, 5초 이상 - 2등급 , 7초이상 - 1등급
  • 적용예 : pingdom
• isExist
  • 자동 생성된 file path를 기반으로
  • 파일 존재 유무 : 현재날짜, 현재요일, 주말/공휴일
  • 검증결과 : 존재유무, 크기, 생성일, 변경일
  • 적용예 : kdap 수신확인, 색인전송확인, 프로세스 시작/종료
• isValid
  
  • monitorXXX.sh 실행결과를 입력으로
  • 파일내 라인체크 : 첫줄 , 전체 , 마지막줄
    • 라인별 파싱 : 숫자, 문자, 기타
  • 숫자검증결과 : Threshold Level 1,2,3,ok
  • 문자검증결과 : Today String, Exclude / Include String , Element Count, JSON Structure Count, XML Structure Count
  • 적용예 : egrep, wc
• DB Query
  • 테이블스페이스 모니터링
  • 주요 쿼리 응답시간
  • 필요한가?

<이상징후 발생시 추가정보 확보>

• dnsresolve
• tracert
• Request / Response
• Response Time

주요기능 - MsgSender

<알림 전송 수단>

• 이메일
• SMS
• Twitter DM
• 전용앱

<알림 그룹>

• Level 1,2,3,ok
• 장애 지속시 재전송 여부
• 대상자 그룹관리 - 모바일웹 페이지 기반

<알림 대상 정보>

• 이름, 핸펀번호, 이메일, 트위터, 레벨별 수신여부

<알림 그룹>

• 알림시간대/요일
• 알림레벨
• 알림방법

<알림 메시지 구성>

• 서버명, 단계별 상태, 상세 메시지
• Callback URL : 알림 수신 관리 ( 거부, 추가 등록 등 )

주요기능 - ProveCenter

<DashBorad>

• Response Time
• UPtime / OutageTime
• Uptime Since

<Monitoring Detail>

• DownTime : 29 min
• UpTime : 99.70%
• ResponseTime : Min/Max/AVG
• Log : Uptime Change, ResponseTime, Test Result Log

<Health Check>

• Agent --> MessageSender
• Central --> Agents 

<Remote Configuration Update>

• Central –> Agents

<Check Status>

• Central --> Agents
• Configuration
• log

개발환경

<Agent 와 Center>

• TCP
• UDP
• Message Queue

<개발언어>

• Spark Streaming
• R
• Python
• Java
• C
• Shell Script

<Storage>

• FileDB ( indexedFile )
• PPAS / mySQL / NOSQL