独自のAI管理ソフトウェア

運用コンテキスト

クライアントは、スプレッドシートサイロ全体でのデータの断片化と14以上の異なる卸売ポータルの手動チェックにより、価格決定に48時間の遅延に直面していました。

システムアーキテクチャ

• 分散スクレイピングネットワーク: ローテーションプロキシネットワーク上でScrapyスパイダーを実装し、15分ごとに非同期に価格データを収集しました。
• タスクキューオーケストレーション: Celeryとメッセージブローカーとして使用されるRedisを利用して、高並行性のデータ正規化タスクを処理しました。
• 予測分析エンジン: リアルタイムの気象APIデータと過去の供給ログを相互参照して不足を予測するPandas/NumPyアルゴリズムを開発しました。