Algoritmalar herhangi bir sahneyi çizgi romana dönüştürebilir

Çizgi romanlar, hikaye anlatan bir dizi durağan görüntülerden oluşur. Görüntüler genellikle çizerler tarafından olabildiğince stilize edilir. Grafik sanatçılarının yeteneklerine hayran olmamızın en büyük sebeplerinden birisi de aslında budur.

Fakat takdir edersiniz ki böyle bir sanatı öğrenmesi oldukça zor. Bu durum da, sanatı üretmeyi zaman alıcı ve pahalı bir hale getiriyor. Yani sanatçılar, yayıncılar ve okuyucular, bir görüntüyü istenildiği gibi başka bir çizgi roman tarzını taklit edebilecek bir teknolojiye sahip olsalardı oldukça çok severlerdi.

Zaten bu tür bir algoritmanın zaten var olduğu da ortaya çıktı. 2015’te Almanya’daki bir grup araştırmacı, bir görüntünün sanatsal stilini diğerine aktarmanın bir yolunu keşfetti. O zamandan beri, diğer araştırmacılar bunu daha hızlı ve daha doğru yapabilmek adına bu yaklaşımı sürekli olarak geliştirmeye çalıştılar.

Ancak şimdiye kadar yapılan çalışmalar anaakım üzerinden giderek Picasso ve Van Gogh gibi sanatçıların tarzını diğer imgelere aktarma ya da sıradan resimleri geceden gündüze çevirme gibi tekniklere odaklanmış durumda. Peki bu algoritmalar, çizgi roman sanatçılarının ürettiği stilize görüntüler ile ne kadar iyi çalışabilir?

Van Gogh’un çizim stilinin başka bir fotoğrafa kopyalanması

Bu soruya Polonya’daki Varşova Teknoloji Üniversitesi’nden Maciej Pęśko ve Tomasz Trzciński’nin çalışmaları sayesinde bir cevap almamız mümkün hale geliyor. Bu adamlar çizgi grafiklere çeşitli görüntü stili transferi uygulayarak sonuçları karşılaştırdılar.

Önce biraz arka plana odaklanalım. Bu yaklaşım, Tübingen Üniversitesi’nden Leon Gatys’in derin sinir ağlarının sanatsal tarzını kaydedip analiz etmesinin yolunu araştıran birkaç arkadaşla başladı. Bu ağların her biri, bir görüntüyü farklı bir düzeyde analiz eden katmanlardan yani şekiller, renkler ve çizgilerden oluşuyor.

Gatys’in ve çalışmasının arkasındaki temel anlayış, sanatsal tarzın katmanların kendisinde değil, aralarındaki korelasyonlarda yakalanmış olması. Bu, bir sanatçının tarzını sanatın içeriğinden ayırmayı ve hatta onu bir görüntüden diğerine aktarmayı mümkün kılan yegane bir teknik.

Bilgisayar Vizyon Topluluğu’nda şaşkınlık yaratan şey işte tam olarak buydu. Bu çalışma ayrıca, nöral stil transferi olarak bilinen bilgisayar vizyonunun yeni alt disiplinlerinin temeli haline gelmiş durumda.

Tabi konuya dair çözülmesi gereken bazı sorunlar da var. Yeni yaklaşımla ilgili problemlerden birisi de hesaplama yoğunluğu. Modern masaüstü bilgisayarlarda 512×512 piksel görüntü için bu birkaç saniye sürüyor. Yani bir fotoğrafı analiz etmek, stilini tespit edip çıkarmak ve bu stili başka bir sahneye uygulamak biraz zaman alıyor.

Gandalf’ın Picasso’nun stili ile yeniden resmedilmesi.

Bu nedenle bilgisayar bilimcileri, bu görevi daha çabuk yapabilecek farklı yaklaşımlar aramaya başlayarak benzer bir işi yapan başka algoritmalar da ortaya çıkardılar. Ancak hız ve kalite arasında da bir ticaret mevcut.

Pęśko ve Trzciński’ye tekrar bakalım. Bu adamlar, çizgi romanlarla ilişkili grafik stillerini aktarma görevinde çok çeşitli nöral stil transfer algoritmalarını test ettiler. Kendileri çalışmalarında özellikle herhangi bir grafik imaj üzerinde çalışma potansiyeline sahip en hızlı tekniklere odaklandıklarını belirtip konuya dair “Bu, çizgi roman aktarımı bağlamında çeşitli yöntemlerle elde edilen sonuçları değerlendirip karşılaştırmak için yapılan ilk deneme. Çoğunlukla görüntü başına yürütme süreleri 2 saniyeyi geçmeyen yöntemlere odaklanıyoruz.” diyorlar.

Bu şekilde, 12-gigabyte Titan X grafik işlem birimi kullanılarak işlenen 600×450 piksel görüntüler üzerinde beş farklı algoritma test edildi. Sonuç olarak birbirinden farklı çizgi roman stillerini temsil eden görüntüleri seçtiler ve bunları bir Google görsel aramasından rastgele seçilen görsellere aktardılar.

Son olarak da, algoritmaların stil transferine ne kadar iyi entegre olduğunu değerlendirmek için sonuçları 100 kişiye gösterdiler.

Alınan sonuçlar, tekniğin bu alandaki en iyi teknoloji olduğunu gösteriyor. En iyi sonuç veren algoritma, 2017’de geliştirilen ve oyların yüzde 30’unu alan, ‘uyarlanabilir örnek normalleştirmesi’ olarak bilinen bir tekniktir. Pęśko ve Trzciński, “Bu yöntem, stilistik benzerlik açısından karikatür veya çizgi romanlara en yakın sonuçlar verdiği varsayımlarımızı doğruluyor” diyor.

Bununla birlikte, elbette ki sonuçlar hiçbir şekilde mükemmel değil. Uygulanan tüm teknikler, uygunsuz renk transferi ve bulanıklaştırma gibi sorunlardan bir yere kadar muzdarip olabiliyor. Araştırmacılar ise halen geliştirecek şeylerinin olduğu inancında.

Bu araştırma aslında büyük bir fırsat. Çünkü ABD’deki çizgi roman pazarı 1 milyar dolar değerinde. Ve dünyada Hindistan gibi kültürlerini çizgi romanların etrafında geliştiren pek çok ülke var. Yani büyüme potansiyeli olan oldukça geniş pazarlar var.

Bu yüzden yüksek kaliteli çizgi roman oluşturma yeteneği, bu pazarları tekeline almak isteyen herkes için önemli bir fark yaratacaktır.

Stil transferi başarıyla uygulansa da başka bir sorun daha var. O da güçlü karakterler ve ilgi çekici hikayeler geliştirme zorunluluğu. Algoritmalar bu konuda şu anda yardımcı olamıyor. Ya da, henüz olamıyor…

Bu yazı İlkan Akgül tarafından çevrilmiştir.

Yorum Bırakın:

E-posta adresiniz yayımlanmayacaktır

Site Footer