[데이터분석 실무] 로그 분석

로그 설계/수집/관리/분석을 현업 전문가의 슬라이드를 참고해 정리합니다.

(서비스) 로그 : 이벤트에 대한 기록, 유저의 행동에 대한 기록

• 로그 예시
  123.65.150.10 – – \[23/Aug/2010:03:50:59 +0000\] “GET /my\_homepage HTTP/1.1” 200 2262 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +[http://www.google.com/bot.html](http://www.google.com/bot.html))”
• 이벤트 : 유저의 회원가입, 로그인,로그아웃, 결제, 쿠폰획득

1. 로그 설계와 정의

• 데이터 관계자(지표를 보는 사람들, 분석가, 개발자) 의견을 종합한 로그 설계
• 이벤트 정의

2. 로그 수집

• JSON 형태로 저장된 데이터 (key:value)
• 저장소 접근 및 데이터 추출/분석 환경 세팅 (스키마 설계)
• 고려할만한 요소
  • 메타데이터 : 서비스를 구성하는 정보에 대해 식별자와 그 상세정보가 매핑된 데이터로 정적 데이터양이 많고, 로그 목표에 필요하지 않은 경우 메타데이터 사용.
  • Context Identifier 문맥식별자 : 하나의 행동으로 일어난 로그들이 같은 식별자를 가지도록 함으로써 인과관계/선후관계 파악에 도움을 줌.
  • Unique Identifier 고유식별자 : 고유 식별자를 가지도록 하여 중복 로그 식별 및 분석(특정 로그를 기준으로 잡을 때)에 도움을 줌.

3. 데이터 품질 관리(완전성 검토) 및 문제 해결

서비스가 성장할수록 이벤트/항목의 증가하기 때문에 지속적으로 변경 혹은 특이사항 발생할 수 있다. 문제 상황이 발생하기 전에 데이터품질 관리 차원에서 다음의 task를 수행한다.

• 의도한 시점에 의도한 형태로 정확한 값이 로깅되는 지 테스트
• 서비스 구성요소별 로그 관리
• 로그 문서화

4. 로그 분석

로그 데이터 분석에 앞서 다음의 사항들을 고려한다.

• 유저의 행동을 효과적으로 잘 설명할 수 있는가?
• 분석 프레임 (목적 및 질문 선정) 설정 후 분석
• 집계할 지표에 대한 고민

---

Reference/Source : https://speakerdeck.com/devinjeon/jamag-ndc19-joheun-rogeuran-mueosinga-joheun-rogeureul-wihae-goryeohaeya-hal-geosdeul, https://www.brainlabsdigital.com/marketing-library/the-complete-guide-to-log-analysis-with-big-query/