API World for Mobile Developers

액션 기반 서비스 모니터링 ( Action Based Service Monitoring ) 본문

잡동사니

액션 기반 서비스 모니터링 ( Action Based Service Monitoring )

미니렉스 2017. 3. 15. 20:27

system monitoring에 대한 이미지 검색결과

주요 기능 - Probe Agent

  • 지정된 주기로 반복 실행
  • 오류발생 자체 판단 및 부가정보 생성
  • 이상징후 / 장애 알림 메시지 생성
  • 장애등급 판단
  • Agent 동작 이상시 보고 ( 예 : fileSystem Full, CPU/MEM Usage )

 

  • log file Monitoring
    • tail -f logfile | grep error
  • Network Montoring
    • TIME_WAIT
  • Process Monitoring
    • ps -ef | grep ollehmap
  • 유효성 체크
  • REST API
    • 자동등록 : Postman 설정파일
    • 요청방법 : 현재날짜, 현재요일, 주말/공휴일
    • HEADER 정보
    • 요청주기 : 1분 ( 요청간격을 보장할 수 있는, 수량이 많아도, 응답이 느려도 )
    • 응답결과 : Exclude / Include String , Element Count, JSON Structure Count, XML Structure Count, Request Timeout
    • Status Code
    • Request Timeout ( 3초 이상 - 3등급, 5초 이상 - 2등급 , 7초이상 - 1등급
    • 적용예 : pingdom
  • isExist
    • 자동 생성된 file path를 기반으로
    • 파일 존재 유무 : 현재날짜, 현재요일, 주말/공휴일
    • 검증결과 : 존재유무, 크기, 생성일, 변경일
    • 적용예 : kdap 수신확인, 색인전송확인, 프로세스 시작/종료
  • isValid
    • monitorXXX.sh 실행결과를 입력으로
    • 파일내 라인체크 : 첫줄 , 전체 , 마지막줄
      • 라인별 파싱 : 숫자, 문자, 기타
    • 숫자검증결과 : Threshold Level 1,2,3,ok
    • 문자검증결과 : Today String, Exclude / Include String , Element Count, JSON Structure Count, XML Structure Count
    • 적용예 : egrep, wc
  • DB Query
    • 테이블스페이스 모니터링
    • 주요 쿼리 응답시간
    • 필요한가?

<이상징후 발생시 추가정보 확보>

  • dnsresolve
  • tracert
  • Request / Response
  • Response Time


주요기능 - MsgSender

<알림 전송 수단>

  • 이메일
  • SMS
  • Twitter DM
  • 전용앱

<알림 그룹>

  • Level 1,2,3,ok
  • 장애 지속시 재전송 여부
  • 대상자 그룹관리 - 모바일웹 페이지 기반

<알림 대상 정보>

  • 이름, 핸펀번호, 이메일, 트위터, 레벨별 수신여부

<알림 그룹>

  • 알림시간대/요일
  • 알림레벨
  • 알림방법

<알림 메시지 구성>

  • 서버명, 단계별 상태, 상세 메시지
  • Callback URL : 알림 수신 관리 ( 거부, 추가 등록 등 )


주요기능 - ProveCenter

<DashBorad>

  • Response Time
  • UPtime / OutageTime
  • Uptime Since

<Monitoring Detail>

  • DownTime : 29 min
  • UpTime : 99.70%
  • ResponseTime : Min/Max/AVG
  • Log : Uptime Change, ResponseTime, Test Result Log

<Health Check>

  • Agent --> MessageSender
  • Central --> Agents 

<Remote Configuration Update>

  • Central –> Agents

<Check Status>

  • Central --> Agents
  • Configuration
  • log


개발환경

<Agent 와 Center>

  • TCP
  • UDP
  • Message Queue

<개발언어>

  • Spark Streaming
  • R
  • Python
  • Java
  • C
  • Shell Script

<Storage>

  • FileDB ( indexedFile )
  • PPAS / mySQL / NOSQL


Comments