데이터 웨어하우스 비용 최적화: BigQuery 사용량 모니터링 시스템 구축기

1. 들어가며

2. 배경 및 문제점

1. BigQuery 콘솔에서는 쿼리를 실행하기 전에 예상 처리량을 확인할 수 있지만, Metabase에서는 이러한 기능이 제공되지 않았습니다.

2. Metabase는 BigQuery와 연동할 때 서비스 계정을 사용하기 때문에, 쿼리 실행 시 서비스 계정으로 실행되어 누가 얼마나 쿼리를 사용하는지 파악하기 어려웠습니다.

3. 사용량 대시보드

3-1. 구축 과정

3-2. 결과

4. 사용량 Alert

4-1. 기존의 Slack Alert 메시지

1. 메타베이스로 쿼리를 실행한 경우 Metabase User ID를 확인할 수는 있었으나, ID로는 누구인지 한 눈에 알 수 없어 해당 ID를 복사한 후 대시보드에 붙여넣기하여 누구인지를 확인해야 했습니다.

2. Slack 멘션이 적용되지 않아, 사용자가 스스로 인지하고 과다 사용 이유를 공유하는 프로세스가 부재했습니다. 메시지가 오면 대시보드를 통해 과다 사용자를 식별한 후, Slack에서 직접 멘션하여 사용 이유를 묻거나 쿼리를 개별적으로 확인해야 했습니다.

1. 알림 메시지가 적절한 대상자에게 전달되어야 한다.

2. 수신자가 문제 상황을 인지하고 있음을 확인할 수 있는 피드백 루프가 마련되어야 한다.

3. 사용자가 자발적으로 사용 이유를 공유하고, 문제 해결 후 그 결과를 기록할 수 있는 수단을 제공해야 한다.

4-1. 구축 과정

1. Pub/Sub Topic 생성

1. Topic
1. Topic은 Pub/Sub에서 메시지가 게시되는 논리적 채널로, 모든 메시지는 Topic을 통해 전달됩니다. 이는 메시지를 전달할 수 있는 기본 단위로, 로그 데이터나 이벤트를 시스템에 게시할 때 가장 먼저 설정해야 하는 요소입니다.
1. Topic은 여러 사람이 편지를 넣는 공동 우체통입니다. 발신자들은 편지를 작성하여 이 우체통에 넣습니다.

2. Subscription
1. Subscription은 특정 Topic에 게시된 메시지를 구독하기 위해 설정된 리소스로, Topic에서 메시지를 받아 보관하고, 이 메시지들을 Subscriber에게 전달할 준비를 합니다.
1. Subscription은 특정 우체통에서 편지를 받아보는 개인 우편함입니다. 우체통에 들어온 편지는 구독자의 개인 우편함으로 전달됩니다.

3. Publisher와 Subscriber:
1. Publisher는 메시지를 생성하고 Topic에 게시하는 주체입니다. 현재 시스템에서는 Log Router가 필터링된 로그를 Topic에 게시하는 Publisher 역할을 합니다.
1. Publisher는 편지를 작성하여 우체통에 넣는 사람입니다.
2. Subscriber는 메시지를 구독하여 처리하는 주체로, 구독한 Subscription을 통해 Topic의 메시지를 받아 이를 처리합니다. 현재 시스템에서는 Cloud Function이 Subscription을 통해 메시지를 받아 처리하고 Slack 알림을 보냅니다.
1. Subscriber는 개인 우편함에서 편지를 꺼내어 읽고 필요한 작업을 수행하는 사람입니다.

4. Ack (Acknowledgement): Ack는 Subscriber가 메시지를 성공적으로 처리했음을 Pub/Sub 시스템에 알리는 신호입니다. Subscriber는 메시지를 처리한 후 Pub/Sub에 Ack를 전송하며, 이 신호가 수신되면 Pub/Sub 시스템은 해당 메시지를 큐에서 제거합니다. 만약 Ack가 설정된 시간 내에 수신되지 않으면 Pub/Sub는 동일한 메시지를 다시 전달합니다.
1. Ack는 수신자가 편지를 잘 받았음을 발신자에게 확인시켜 주는 과정입니다. 이 확인이 없으면 발신자는 편지가 제대로 전달되지 않았다고 판단하고 다시 보낼 수 있습니다.

2. Log Router 설정

• resource.type="bigquery_resource": BigQuery 리소스에서 발생한 로그를 필터링합니다.

• proto_payload.method_name="jobservice.jobcompleted": BigQuery 작업이 완료되었음을 나타내는 로그를 필터링합니다.

• proto_payload.service_data.job_completed_event.job.job_statistics.total_billed_bytes > 53687091200: 청구된 총 바이트 수가 50GB(50*1024*1024*1024)를 초과하는 로그를 필터링합니다.

resource.type="bigquery_resource" AND
proto_payload.method_name="jobservice.jobcompleted" AND
proto_payload.service_data.job_completed_event.job.job_statistics.total_billed_bytes > 53687091200

3. Cloud Function 설정

1. Pub/Sub 메시지 파싱: Pub/Sub 메시지에서 필요한 정보를 추출합니다. 여기에는 이메일, 사용량, 쿼리, Metabase User ID 등이 포함됩니다.

2. Metabase User ID 매핑: Metabase User ID를 이메일로 변환합니다. 이를 위해 Cloud SQL에 저장된 Metabase 데이터베이스에서 사용자 정보를 조회합니다.

3. Slack 알림 전송: Slack API를 사용하여 특정 사용량 이상의 쿼리 발생 시, 슬랙 채널에 해당 사용자를 멘션하여 과다 사용량 알림을 보냅니다.
1. 코드를 작성하기 전에, Slack API에서 app을 만들어 줍니다. OAuth & Permissions의 Scope에 아래 세 가지 권한을 추가했습니다. 전체 권한에 대한 자세한 정보는 Permission scopes에서 확인할 수 있습니다.
1. chat:write : Send messages as @BigQuery Alert
2. users:read : View people in a workspace
3. users:read.email : View email addresses of people in a workspace
2. 초기에는 Slack 웹훅을 사용하여 알림을 전송하려 했으나, 웹훅으로는 특정 사용자를 멘션하는 기능을 만들 수 없었습니다. 따라서 Slack API를 사용하여 이메일을 통해 사용자 ID를 조회하고, 멘션을 포함한 알림을 전송하는 방식으로 구성했습니다. (참고: webhooks)

4-2. 결과

5. 결론 및 효과

• 비용 감축: 데이터 웨어하우스, 데이터 마트 제작과 더불어 실시간 모니터링과 알림 시스템을 도입한 후, 비효율적인 쿼리를 신속하게 감지하고 대응할 수 있게 되어 BigQuery 사용 비용을 상당량 줄일 수 있었습니다. 또한 Analytics Engineer를 비롯한 데이터 직군이 일일이 사용량을 모니터링하고 추적하는 데 드는 시간을 절약할 수 있었습니다.

• 투명성 강화: 사용자들이 자신의 데이터 사용량을 투명하게 볼 수 있게 되었으며, 높은 처리량의 쿼리를 실행한 경우 사용자들이 스스로 인지하고 그 원인을 공유하는 프로세스를 통해 자발적인 책임감을 높였습니다.

• 쿼리 피드백: 쿼리에 익숙하지 않은 사용자들이 실행한 쿼리에 대해 피드백을 제공할 수 있는 시스템이 만들어짐으로써 사용자들이 더 최적화된 쿼리를 작성할 수 있게 되었습니다.

6. 앞으로

1. 데이터 리터러시 교육
전사 구성원들이 자신의 업무에 데이터를 효과적으로 사용할 수 있도록 돕기 위해 새로운 요구 사항에 대응하여 시스템을 발전시키는 것은 물론이고 SQL 교육, 데이터 웨어하우스 및 데이터 마트 활용 교육, BI툴 사용법 교육 등 전사 교육 프로그램을 강화하여 구성원들의 데이터 활용 능력을 높이고자 합니다.

2. FinOps 확대
잡플래닛의 데이터 조직은 AI 연구와 대규모 언어 모델(LLM) 개발을 위해 BigQuery에 적재된 데이터를 활용하고 있습니다. 앞으로는 데이터 웨어하우스 비용 모니터링뿐만 아니라 전체적인 클라우드 비용 관리(FinOps)로 확대할 계획입니다. 이를 통해 모든 클라우드 리소스의 비용을 체계적으로 관리하고 최적화하여, AI 및 연구에 필요한 리소스를 효율적으로 활용할 수 있도록 지원할 예정입니다.

7. 마치며

Analytics Engineer (경력)

잡플래닛 | ★ 3.6

https://www.jobplanet.co.kr/job/search?posting_ids[]=1269621