구글 시트와 빅쿼리 연동으로 대용량 로그 분석 자동화 시스템 구축하기

목차

조직의 로그는 남겨야 의미 있고, 분석돼야 가치가 있다
대용량 로그 처리를 위한 구조 설계
BigQuery에 로그 데이터를 자동 저장하는 방법
Google Sheets에서 BigQuery 데이터 자동 시각화하기
실무 적용을 위한 자동화 전략과 운영 팁
데이터는 저장보다 분석, 분석보다 활용이 핵심이다

 

 

조직의 로그는 남겨야 의미 있고, 분석돼야 가치가 있다

대부분의 조직은 하루에도 수백, 수천 건의 데이터 이벤트를 만든다.
이메일 송수신, 문서 작성, 로그인 기록, 클라우드 파일 열람, 시스템 접근 등 모든 행위가 로그로 남지만, 이 정보들은 어디선가 자동으로 사라지거나, 실시간 알림 수준에 머물고 만다.

문제는 여기에 있다. 데이터는 존재하지만, 해석되지 않는다.
특히 Google Workspace 기반 조직에서는 로그인 로그, Gmail 활동 로그, Drive 파일 기록 등 다양한 데이터를 Admin Console이나 API를 통해 확인할 수 있지만, 그 양이 일정 규모를 넘어서면 Sheets 하나로는 분석이 불가능해진다.

이런 경우 Google BigQuery를 연동해 대용량 로그를 쌓고,
Google Sheets를 시각화 도구로 활용하면 ‘자동 수집 → 자동 저장 → 자동 분석’이라는 구조가 완성된다.
이 글에서는 Google Workspace 환경에서 Sheets + BigQuery 기반 로그 분석 자동화 시스템을 설계하고 운영하는 구체적인 전략을 소개한다.

 

 

대용량 로그 처리를 위한 구조 설계

Google Workspace의 Admin Console은 사용자 활동에 대한 기본 로그(로그인, 파일 열람, 메일 송수신 등)를 제공하지만, 실시간 조회 이외에는 분석 목적에 적합하지 않은 인터페이스다. Google은 이 문제를 해결하기 위해 Admin Reports API + BigQuery Export 기능을 제공하고 있다.

로그를 분석하기 위한 기본 흐름은 다음과 같다.

Google Workspace에서 감사 로그 데이터를 Admin Reports API 또는 Admin Console 내 BigQuery Export 기능으로 수집
Google Cloud Platform(GCP)의 BigQuery에 데이터셋으로 저장
Google Sheets에서 BigQuery 데이터를 실시간 불러오기
필터, 조건부 계산, 피벗 분석 등을 통해 관리자/담당자에게 시각화 제공

이 구조를 구축하면 다음과 같은 상황을 자동 분석할 수 있다:

로그인 실패 횟수 추이
시간대별 외부 공유 시도
특정 사용자 파일 삭제 내역
부서별 메일 전송량 추이
업무 시간 외 행위 패턴

이와 같은 행위 기반 데이터를 일 단위, 주 단위로 자동 집계하고 보고하면 단순 통계가 아닌 보안, 효율, 협업 개선을 위한 인사이트로 활용할 수 있다.

 

 

BigQuery에 로그 데이터를 자동 저장하는 방법

로그 수집의 핵심은 BigQuery에 자동 저장되도록 설정하는 것이다.
이를 위해서는 관리자 권한이 필요하며, GCP 프로젝트를 사전에 생성해야 한다.

절차 요약:
Google Workspace Admin Console 접속
[보안] → [로그 전송] 메뉴에서 BigQuery 연동 설정
GCP에서 BigQuery 데이터셋 생성 (예: workspace_audit_logs)
로그 유형 선택: 로그인, 드라이브, Gmail, 관리자 활동 등
일 단위로 로그가 BigQuery 테이블에 자동 저장됨

저장된 로그는 구조화된 JSON 형태로 BigQuery 테이블에 누적되며,
로그가 누적될수록 데이터를 쿼리(Query)하여 분석하는 구조로 전환된다.

예시 테이블 이름 구조:
workspace_audit_logs.login_2025_07_10
workspace_audit_logs.gmail_2025_07_10

이 방식은 Sheets로 처리할 수 없는 수십만 건의 로그도 누적 가능하며,
필터링, 시간 추이 분석, 사용자 그룹별 분리 등 확장이 자유롭다.

 

Google Sheets에서 BigQuery 데이터 자동 시각화하기

BigQuery는 대용량 데이터를 잘 다루지만, 실무자가 직접 쿼리를 다루기는 어렵다.
이때 Google Sheets를 연동하여 필요한 정보만 추출·정제된 형태로 가져올 수 있다.

방법 1: Google Sheets → BigQuery 커넥터 사용
Sheets 상단 메뉴 → 데이터 → 데이터 커넥터 → BigQuery 연결

GCP 프로젝트 선택 → 데이터셋 선택 → 쿼리 직접 입력 or 테이블 전체 조회

연결 후, Sheet에서 실시간 쿼리 결과 자동 반영

sql
복사
편집
SELECT
  protopayload_auditlog.authenticationInfo.principalEmail AS 사용자,
  COUNT(*) AS 로그인횟수,
  FORMAT_TIMESTAMP("%Y-%m-%d", timestamp) AS 날짜
FROM
  `workspace_audit_logs.login_*`
WHERE
  _TABLE_SUFFIX BETWEEN '2025_07_01' AND '2025_07_10'
GROUP BY 날짜, 사용자
ORDER BY 날짜 DESC
이 쿼리는 10일간의 사용자별 로그인 횟수를 요약해 주는 예시이며,
실제 업무 환경에서는 특정 부서만 필터링하거나, 2단계 인증 실패 사례만 추출할 수도 있다.

방법 2: Looker Studio 연동 (선택적 시각화)
Google Sheets에서 데이터를 불러온 뒤,
Looker Studio와 연동해 차트·그래프 형태의 실시간 대시보드로 구성할 수 있다.
이는 임원 보고용 자료로도 활용할 수 있으며, Slides로 자동 캡처도 가능하다.

 

 

실무 적용을 위한 자동화 전략과 운영 팁

단순히 구조를 만드는 것으로 끝나지 않는다.
이 시스템을 실제로 운영하기 위해선 자동화 트리거와 정기 보고 전략이 필요하다.

실전 팁:
Google Sheets에서 BigQuery 연동 시, 1시간 간격 자동 새로고침 설정
쿼리 결과에 조건부 서식 추가: 위험 IP, 외부 공유 기록 등 강조
로그인 실패 5회 이상 사용자 → Google Chat으로 알림 전송
주간 통계 데이터 자동 슬라이드 변환 (Apps Script 활용)
이상 행위 탐지 시 자동 이메일 보고 (MailApp 활용 가능)

이러한 자동화 구조는 ‘로그를 수집하는 시스템’이 아닌
‘문제를 미리 감지하고, 개선을 유도하는 시스템’으로 발전할 수 있다.

 

 

데이터는 저장보다 분석, 분석보다 활용이 핵심이다

대부분의 조직은 데이터를 쌓는 데에는 익숙하지만,
그 데이터를 분석하고 실무에 반영하는 구조는 갖추지 못한 경우가 많다.
Google Sheets와 BigQuery를 연동하면, 누구나 접근 가능한 방식으로 대용량 로그 분석 시스템을 만들 수 있고,
조직의 보안, 운영, 효율, 협업 품질을 수치로 관리할 수 있게 된다.

Google Workspace 기반으로 설계된 이 시스템은
IT팀뿐 아니라 전사 구성원이 데이터를 의사결정에 활용할 수 있도록 돕는 인프라다.
데이터가 쌓이는 것을 기다리기만 하지 말고, 지금부터 의미 있는 로그를 자동 수집하고,
의미 있게 분석하고, 실무에 반영하는 구조를 시작해 보자.