Optimizing multiple object tracking with graph neural networks on a graphcore IPU

Abstract

This thesis presents a comprehensive study focused on enhancing the efficiency of MOT using GNNs, specifically by leveraging the capabilities of Graphcore's IPUs. In the realm of real-time applications such as autonomous driving, robotics, and surveillance, the ability of GNNs to effectively model complex interactions between objects is crucial. However, the computational intensity of GNNs, particularly in key message passing operations, poses significant performance bottlenecks. Initially, I discuss the subtleties of adapting an existing PyTorch model to Ten- sorFlow and tailoring it for IPU execution. Then, a comparative analysis was con- ducted between IPU and GPU by running the model on both platforms. This phase focused on evaluating the baseline performance of the model on these two computing architectures, using metrics such as average training and inference time per epoch. The findings from this phase provided a foundational understanding of the strengths and limitations inherent to each platform in handling the model training. Subsequently, the study advanced to the implementation of optimizations spe- cific to the IPU, focusing on enhancing the model's message passing operations that are vital for the efficiency of GNNs. The effects of these targeted IPU-centric optimizations, along with adjustments made to IPU-specific configurations, were evaluated.Bu tez, Çoklu Nesne Takibi'nin verimliliğini Grafiksel Sinir Ağları kullanarak, özellikle Graphcore'un IPU'sunun yeteneklerinden yararlanarak artırmaya odaklanan kapsamlı bir çalışmayı sunmaktadır. Otonom sürüş, robotik ve gözetleme gibi gerçek zamanlı uygulamalar alanında, Grafiksel Sinir Ağları'nın nesneler arasındaki karmaşık etkileşimleri etkili bir şekilde modelleme yeteneği önem taşımaktadır. Ancak özellikle mesaj iletim operasyonlarında, Grafiksel Sinir Ağları'nın hesaplama yükü, önemli performans darboğazlarına yol açmaktadır. Başlangıçta, PyTorch ile geliştirilmiş mevcut bir Çoklu Nesne Takibi modelini TensorFlow'a uyarlamak ve IPU üzerinde çalıştırmak için yapılması gereken özelleştirmeler incelenmektedir. Ardından, model her iki platformda çalıştırılarak IPU ve GPU arasında karşılaştırmalı bir analiz yapılmıştır. Bu aşama, ortalama eğitim ve tahminleme süresi gibi metrikler kullanılarak bu iki mimari üzerinde modelin temel performansını değerlendirmeye odaklanmıştır. Bu aşamada elde edilen bulgular, her iki platformun model eğitimi için güçlü yönlerini ve sınırlamalarını anlamamızı sağlamıştır. Sonrasında, çalışma, Grafiksel Sinir Ağları'nın verimliliği için hayati öneme sahip olan mesaj iletim operasyonlarını geliştirerek, IPU'ya özgü optimizasyonların uygulanmasına ilerlemiştir. Bu amaç doğrultusunda IPU tabanlı optimizasyonların etkileri, IPU'ya özgü yapılandırmalarla birlikte değerlendirilmiştir.