독자적 AI 관리 소프트웨어
Django RESTPostgreSQLCelery / Redis
운영 컨텍스트
클라이언트는 스프레드시트 사일로에 걸친 단편화된 데이터와 14개 이상의 도매 포털에 대한 수동 점검으로 인해 가격 결정에 48시간의 지연을 겪고 있었습니다.
시스템 아키텍처
- 분산 스크래핑 네트워크: 15분마다 가격 데이터를 비동기적으로 수집하기 위해 회전 프록시 네트워크에 Scrapy 스파이더를 구현했습니다.
- 작업 큐 오케스트레이션: 메시지 브로커로 Redis와 함께 Celery를 활용하여 고동시성 데이터 정규화 작업을 처리했습니다.
- 예측 분석 엔진: 실시간 날씨 API 데이터를 과거 공급 로그와 교차 참조하여 부족을 예측하는 Pandas/NumPy 알고리즘을 개발했습니다.