Soru
Steam’e her yıl yaklaşık 20 bin oyun çıkıyor ve çoğu neredeyse hiç görülmüyor. Büyük bir yayıncısı olmayan bağımsız bir stüdyo, çıkıştan önce hangi tercihleriyle görünür olma şansını artırabilir?
Veri
- 2018–2025 arasında çıkan 92.492 oyun: mağaza bilgileri, etiketler, diller, fiyat ve aylık inceleme geçmişi.
- Büyük yayıncı desteği olan oyunları ayırdım; soru bağımsız oyunların organik başarısıyla ilgili.
- Başarı ölçüsü olarak ilk yıldaki inceleme sayısını kullandım. 500’ü geçen oyunu “hit” saydım.
- Veri kalitesinin kendisi de bir bulgu çıktı: 2021 öncesi oyuncu etiketleri seçilimli, başarılı oyunlar iki kat fazla etiket taşıyor. Etikete dayanan sonuçları 2021 sonrası oyunlarla yeniden hesapladım.
Yöntem
Çalışma Google Data Analytics çerçevesini izliyor: sor, hazırla, işle, analiz et, paylaş, harekete geç.
- Ön kayıt. Beş hipotezi veriye bakmadan önce yazıp tarihledim. Ön kayıtta olmayan analizleri “keşifsel” olarak işaretledim.
- Nedenselliğe yaklaşan yöntemler. Eğilim skoru eşleştirmesi, plasebo eşikli süreksizlik regresyonu ve ilişkinin ters yönde işleyip işlemediğini görmek için tekrarlanan dil kayıtları.
- Makine öğrenmesi. Zamana göre bölünmüş bir LightGBM modeli (2023’e kadar eğitim, 2024–2025 test), SHAP katkıları ve mağaza metninden sinyal çıkaran metin modelleri.
- Harita. Benzer oyunları yan yana koyan bir UMAP gömmesi; sitede her yıldız bir oyun.
Bulgular
- Oyunların çoğu görülmüyor. Bağımsız oyunların %54’ü ilk yılında 10’dan az inceleme alıyor; %4,8’i 500’ü geçiyor. Yıllık çıkış 2,8 katına çıktı, ama hit oranı her yıl %4,0 ile %5,4 arasında kaldı.
- Early Access ilgiyi zamana yayıyor. İlgisi ikinci yıla taşan oyunların hit oranı, hızla parlayıp sönenlerin iki katı.
- Çince desteği ilişkili, ama bir kısmı ters yönde. Basitleştirilmiş Çince destekleyen oyunlar %57–75 daha fazla inceleme alıyor. Ancak en başarılı oyunlar Çinceyi çıkıştan sonra 13 kat daha sık ekliyor; başarı dili de getiriyor.
- Tanıdık olan kazanıyor. Etiket kombinasyonu ne kadar alışılmadıksa ilgi o kadar az.
- Bir hiti taklit etmek işe yaramıyor. Büyük hitlere çok benzeyen sonraki oyunların %15,5’i hit oluyor; aynı bölgeye hitten önce çıkanların da %16,7’si.
- “50 inceleme eşiği” diye bir şey yok. Bir milyon aylık dilimde 50 incelemede bir sıçrama bulunmuyor.
- Mağaza metni bilgi taşıyor. Açıklamayı eklemek, modelin ayırt etme gücünü (PR-AUC) 0,27’den 0,31’e çıkarıyor. Uzun ve somut açıklamalar başarıyla birlikte görülüyor; “eşsiz”, “destansı” gibi kelimeler değil.
Neyi bilmiyorum
- Bunlar ilişkiler. Yarı nedensel yöntemler bazı alternatif açıklamaları eliyor ama deney yerine geçmiyor.
- Kendi “ters U” hipotezim, yani orta derecede alışılmadık oyunların en çok ilgi göreceği fikri, desteklenmedi.
- Metin modelinin sonucu bir üst sınır; ödül ve satış cümlelerini çıkarsam da sızıntının tamamen bittiğinden emin olamıyorum.
Ne öğrendim
Hipotezi önceden yazmak, sonuç beklediğim gibi çıkmadığında bile onu dürüstçe raporlamamı kolaylaştırdı. Hangi analizin önceden planlandığı, hangisinin sonradan bakıldığı okuyucu için de açık oldu.