올 자바로 MSA 크롤러 플랫폼을 만들어봤다. API Gateway + Worker Service 패턴.

Redis Streams로 태스크 큐, MinIO로 원본 저장, PostgreSQL로 메타데이터. 플러그인 기반 아키텍처라 크롤러 추가가 쉽다.

Phase 1~5를 하루 만에 끝내고 테스트 145개 통과. 멀티에이전트로 코드 리뷰까지 돌려서 버그 24개 잡았다.