LevijoyNasıl çalışır
Ham görüntüden atlayış listesine; perde arkasında olanlar.
Levijoy videoyu bir insanın izlediği gibi izlemez. Atın vücudundaki birkaç noktayı her karede takip eder, bunu basit bir hareket sinyaline dönüştürür ve ardından bu sinyaldeki hangi anların gerçek atlayış olduğunu bulur. İşte süreç, adım adım.
Bu neden zor
Gerçek yarışma görüntüleri dağınıktır.
Bir parkurun yayın ya da telefon görüntüsü temiz bir laboratuvar verisi değildir. Kamera atı izlemek için yatay döner ve yakınlaşır, başka biniciler kadraja girip çıkar, engel kanatları, çiçekler ve pankartlar arka planı doldurur.
Yalnızca "aşağı yukarı hareket eden bir şey" arayan her sistem çabucak şaşırır. Levijoy, atın gerçek atlayışını alanda olan diğer her şeyden ayırmak zorundadır.
1. adım
Atı yalnızca algılamayın, takip edin.
Bu sistemin ilk sürümü, pek çok bilgisayarlı görü aracında olduğu gibi her karede atın dış hatlarını çıkarmaya çalışıyordu. At atladığı anda bu yaklaşım çöktü; dış hat parçalandı ve kamera hareketi sinyali bastırdı.
Levijoy bunun yerine atın vücudundaki üç sabit noktayı, yani cidagoyu, kuyruk sokumunu ve enseyi (kulakların hemen arkası), her karede takip eder. Belirli noktaları izlemenin, hayvanın tüm dış hatlarını çıkarmaya çalışmaktan çok daha güvenilir olduğu ortaya çıktı.
2. adım
Atları her açıdan tanımak üzere eğitildi.
Yarışma görüntüleri tek ve tutarlı bir açıdan çekilmez. Kamera bir parkuru yandan, çapraz açıdan, arkadan ya da atın kısa süre bir engelin arkasında kaldığı anlarda yakalayabilir.
Takip modeli tüm bu durumları kapsayan gerçek görüntülerle eğitildi, ardından en çok zorlandığı kareler bulunup özellikle bunlarla yeniden eğitilerek geliştirildi. Böylece kamera ve at birbirine göre hareket ettikçe de çalışmaya devam eder.
3. adım
Hareketi sinyale dönüştürmek.
Üç nokta takip edildikten sonra Levijoy, ham piksel konumlarından temiz ve karşılaştırılabilir bir sinyale ulaşmak için sabit bir sıra izler:
Ham kare
Sıradan video karesiyle başlanır; görüntünün özel bir niteliğe sahip olması gerekmez.
Poz çıkarımı
O karede cidago, kuyruk sokumu ve ense bulunur.
Bileşik Y
Bu noktaların yerden ne kadar yüksekte olduğu kare kare izlenir; her an en güvenilir takip edilen nokta seçilir.
Trendden arındırılmış
Kameranın yavaş yatay dönüşü çıkarılır; geriye yalnızca hızlı aşağı yukarı hareket, atlayışlar dahil, kalır.
Normalleştirilmiş
Kameranın yakınlaştırması dengelenir; böylece yakından ve uzaktan çekilmiş bir atlayış sisteme aynı görünür.
Tespit edilen atlayışlar
Temizlenmiş sinyaldeki tepe noktaları bulunur; her biri bir atlayış adayıdır.
Tüm süreç bir bakışta.
4. adım
Bir atlayışı onaylamadan önce iki kez kontrol etmek.
Sinyaldeki her sıçrama bir atlayış değildir. Düzenli galop adımları daha küçük ve düzenli tümsekler oluşturur; zaman zaman takibin kendisi de hata yapar, örneğin model atı kalabalıkta kısa bir süre kaybettiğinde.
Levijoy galop adımlarını her tümseğin ne kadar belirgin olduğunu karşılaştırarak eler, ardından kalan adayları harekete düzgün bir eğri oturtarak bir kez daha kontrol eder: gerçek bir atlayış temiz bir yay çizerek yükselip iner, takip hatası ise düzensiz görünür. Gerçek bir atlayışa benzemeyen her şey, nihai sayıma ulaşmadan elenir.
Sürekli gelişiyor
Gerçek görüntülerden sürekli öğreniyor.
Takip modeli bir kez eğitilip bırakılmadı. İlk eğitimden sonra daha önce görmediği görüntüler üzerinde çalıştırıldı ve en çok zorlandığı kareler ek eğitim verisi olarak geri beslendi.
Bu geri besleme döngüsü, modelin attaki her noktayı ne kadar hassas konumlandırdığını belirgin biçimde iyileştirdi. Levijoy daha fazla ahır, at ve kamera düzeniyle karşılaştıkça aynı süreci kullanmaya devam edeceğiz.
