Her YouTube tavsiyesi size tıklamayı kazananın görsel olduğunu söyler. Biz hem iki parçayı da puanlayan bir araç oluşturduk, sonra onları izole eden bir deney yaptık — ve başlığın sinyalin daha büyük kısmını taşıdığı ortaya çıktı. İki video arasında başlıkları değiştirmek, puanın daha iyi performans göstereni seçme yeteneğini sadece zayıflatmadı, tam tersine çevirdi.
Temel çıkarımlar
- Her videoya komşusunun başlığını vermek, 100 üzerinden ortalama 11.3 puan, en fazla 60 puanlık bir değişimle puanı hareket ettirdi.
- Sadece %3.9’u farklı bir başlıkla aynı puanı aldı, bu yüzden başlık modelde yuvarlama hatası değil.
- Değişim sonrası, puan daha iyi performans göstereni %42.7 oranında seçti — şansın altında, yani sıralama zayıflamadı, tersine döndü.
- Sadece görsel temelli bir puan %59.5’te kalırdı; sadece başlık temelli biri %35.2’ye düşerdi. Gözlemlenen %42.7, başlığa çok daha yakındır.
- Bu, görsellerin değerlessiz olduğu anlamına gelmez. Deney sadece başlığı değiştirdi, bu yüzden başlığın payını ölçer ve görselin doğrudan hiçbir şey söylemez.
YouTube'da başlık mı, görsel mi daha önemli?
Bu deneyin kanıtlarına göre, başlık, kanal ortalamasını aşan bir videoyu, onu geride bırakan birinden ayıran sinyalin daha büyük kısmını taşır. Bu, görsel analizine odaklanan bir araçtan beklediğimiz sonuç değildi ve tamamen başka bir şeyi kontrol etmek için tasarlanmış bir kontrolden ortaya çıktı.
Bu iddia sınırlarla verilmeli. Bu, gerçek performansı takip ettiği gösterilen bir puanı neyin hareket ettirdiğini ölçer — izleyici davranışının doğrudan ölçümü değildir. Ayrıca, zaten izleyici, konu ve tasarım bütçesi sabit tutulan tek bir kanal içindeki paketlemeyi karşılaştırır.
Yine de yön net ve etki büyüklüğü belirgindir.
Başlığın katkısını nasıl izole ettik?
Kurulum, aynı kanaldan ve ortanca 6 gün arayla yayınlanan, biri kanalın kendi tabanını açıkça aşan, diğeri açıkça altına düşen 321 video çiftiydi. Normalde puanlandığında, model %59.5 oranında doğru sıraladı — %50’lik yazı tura oranına karşı.
Sonra her görseli ikinci kez puanladık — diğer videoyun başlığıyla. Görüntü baytları iki okuma arasında tamamen aynıydı. Boru hattındaki hiçbir şey değişmedi. Bu yüzden birinci ve ikinci okuma arasındaki her puan değişimi sadece başlığa atfedilebilir.
Bir deneyden iki soru
İlk soru, başlığın puanı hiç hareket ettirip ettirmediğidir. Başlık ve görseli birlikte puanladığını iddia eden, ancak başlık değiştirildiğinde çıktısı neredeyse tepki vermeyen bir araç, aslında sadece bir yarısını puanlıyor ve ikisini reklam yapıyor.
İkincisi daha keskindir: değiştirilmiş girdilerle tüm sıralama testini yeniden çalıştırmak, hangi yarının ayırt edici gücünü taşıdığını ortaya koyar. Üç olası sonuç, her birinin ne anlama geldiğini belirterek deneyden önce yazılmıştı.
| Eğer puan şuyla sürüyorsa | Değişim sonrası tahmini doğruluk | Yorum |
|---|---|---|
| Sadece görsel | %59.5 — değişmeden | Başlıkları değiştirmek önemli bir şeyi değiştirmez |
| İki yarım da eşit | Yaklaşık %50 — şans | İki katkı birbirini iptal eder |
| Sadece başlık | %35.2 — tamamen tersine | Başlıkları tersine çevirerek sıralamayı tersine çevirir |
| Gözlemlediğimiz | %42.7 | Başlık odaklı, ancak sadece başlık değil |
Başlıkları değiştirdiğimizde ne oldu?
Puan çok fazla hareket etti. 0-100 ölçeğinde ortalama mutlak değişim 11.3 puan, medyan 8, 90. yüzdelik 26 ve tek bir maksimum değişim 60 puan oldu. Sadece %3.9’u farklı bir başlıkla aynı puanı aldı.
Ölçek için, bu ortalama 11.3 puanlık kayma, modelin bir çiftteki iki video arasında normalde koyduğu tipik farktan daha büyüktür. Sadece başlığı değiştirmek, modelin normalde bir kanalın hitiyle başarısızı arasındaki tüm mesafeden daha fazla puan hareket ettirebilir.
Sonra sıralama testi. Değiştirilmiş girdilerle puan, 321 çiftin 137’sinde daha iyi performans göstereni seçti — %42.7, %95 güven aralığı %37.2 ile %48.3 ve %50’e karşı p-değeri 0.0101. Bu, şansın önemli ölçüde altındadır.
Neden tersine dönme bir ölçüm hatası olamaz?
Bir başlığı değiştirmek, başlık ve görsel arasındaki uyumu da bozar ve tutarlılık, modelin puanladığı on iki şeyden biridir. Bu gerçek bir karıştırıcıdır ve gizlenmek yerine açıkça belirtilmelidir. Ancak bu sonucu açıklayamaz.
Her çiftin her iki tarafına da sistematik olmayan bir ceza uygulamak gürültü ekler. Gürültü doğruluğu %50’ye iter — bir sinyali boğar, tersine çevirmez. %42.7’de, hem yazı tura hem de bu testin beraberlik işleme yönteminin ima ettiği %47.4 tabanın altında kalmak, bir yönü gösteren bir şeyin tersine çevrilmesini gerektirir. Bu, ayırt edici bir özelliğin değiştirilmesinin yaptığı şeydir ve sadece uyumsuzluk gürültüsü bunu üretmez.
Bulunun güvenilirliğini sorgulamamıza neden olacak şeyler
Üç sonuç bu yorumu desteklemeyecekti ve hiçbiri gerçekleşmedi:
- Yeni bir başlık altında puanların neredeyse hareket etmemesi, modelin başlığı yok saydığını, ağırlık verdiğini gösterirdi.
- Değiştirilmiş doğruluğun %59.5’te veya hemen altında olması, görselin sıralamayı tek başına taşıdığını gösterirdi.
- Değiştirilmiş doğruluğun tam olarak %50’de olması, iki yarımın eşit katkıda bulunup birbirini iptal ettiğini gösterirdi.
Başlık yazma şeklinizde bu neyi değiştirir?
Pratik okuma, başlık revizyonunun size sunulan en ucuz yüksek kaldıraçlı düzenleme olduğunu gösterir. Bir görseli yeniden tasarlamak bir saat veya bir tasarımcı alır. Bir başlığı yeniden yazmak iki dakika sürer, yayın sonrası yapılabilir ve — bu kanıtlara göre — paketleme sinyalini en az görsel kadar hareket ettirir.
Ayrıca başlığın ne için olduğunu yeniden çerçeveler. Aynı çalışmadan boyut analizinde, performansı aşanları performansı altındakilerden en çok ayıran faktör, vaat netliği: paketlemenin izleyiciye ne izleyeceğini ne kadar belirsiz bir şekilde bildirdiği. Bu çoğunlukla başlığın bir özelliğidir. Görsel tavsiyelerin takıntılı olduğu ham duygusal yoğunluk, iki grubu en az ayıran şeydi.
Belirli bir eşleşmenin tüm on iki faktörde nasıl puanlandığını görmek istiyorsanız, kendi görselinizi ve başlığınızı bu deneyde kullanılan aynı boru hattından geçirebilir ve bir görsel için iki başlık seçeneğini karşılaştırabilirsiniz.
Görselin hâlâ işini yaptığı yerler
Bu deney başlığı değiştirdi ve görseli sabit tuttu, bu da başlığın payını doğrudan ölçer ve görselin payını sadece çıkarım yoluyla ölçer. Aynısı — görselleri değiştir, başlıkları sabit tut — henüz yapılmadı ve yapılmadığı sürece dürüst pozisyon, bir yarımını doğru ölçtüğümüz ve diğerini çıkarma yoluyla ölçtüğümüzdür.
Ayrıca görselleri yazmak için yapısal bir neden de vardır. Aynı çalışma, her yükleme için sabit bir görsel şablonu kullanan kanallarda, puanın doğruluğunun %61.0’dan %48.7’ye düştüğünü buldu. Görseller değişmeyi bıraktığında, model ayırt etmeyi bırakır — bu, görselin bir şey yapıyor, hiçbir şey yapmıyor değil.
Test etmediğimiz şeyler
Deney, puanımızın görsellere göre başlıklara daha fazla tepki verdiğini ve puanın gerçek performansı takip ettiğini gösterir. Ancak izleyicinin tıklama kararının başlıkla mı yoksa görselle mi daha çok ilgili olduğunu göstermez. Bunlar komşu iddialardır ve burada sadece ilki kanıtlanmıştır.
Her çift, yeterli yayın geçmişine sahip, kararlı bir taban hesaplamak için yeterli olan kurulmuş, İngilizce bir kanaldan geldi. Diğer dillerdeki başlıklar ve tabanı olmayan yeni kanallar, bu örneğin konuşabileceği şeylerin dışında kalır. Burada, önerilen bir başlığı uygulamanın gerçek bir videoyu iyileştirdiğini söylemiyor — bu farklı bir deneydir ve henüz yapmadığımız deneydir.
Sıkça sorulan sorular
YouTube'da başlık, görselden daha mı önemli?
Bu deneyde, başlık, aynı kanal içinde performansı aşanları performansı altındakilerden ayıran sinyalin daha büyük kısmını taşıdı. Eşleştirilmiş videolar arasında başlıkları değiştirmek sıralamayı sadece zayıflatmak yerine tersine çevirdi — bu, gerçek iş yapan bir özelliğin tersine çevrilmesinde olan şeydir. Bu, puanın davranışını ölçer, doğrudan izleyici psikolojisini değil.
Bir başlığı değiştirmek, bir görsel puanını ne kadar değiştirir?
0-100 ölçeğinde ortalama 11.3 puan, medyan 8 ve gözlemlenen maksimum değişim 60. Sadece %3.9’u farklı bir başlıkla aynı puanı aldı. Görüntü kendisi iki okuma arasında bayt olarak aynıydı, bu yüzden bu hareketin her puanı başlığa atfedilebilir.
Video yayınlandıktan sonra başlığı değiştirmek değer mi?
Bu, mevcut en ucuz paketleme düzenlemesidir ve bu kanıtlar, bunun önemsiz bir düzenleme olmadığını gösterir. Bir başlık, hiçbir şeyi yeniden tasarlamadan dakikalar içinde yeniden yazılabilir ve paketleme puanını en az görsel kadar hareket ettirdi. İlkini en iyi sanmak yerine, iki veya üç seçeneği karşılaştırın.
Neden başlıkları değiştirmek puanı rastgeleden daha kötü yaptı?
Çünkü başlıklar, hangi videoyun daha iyi performans gösterdiğini belirten bilgiyi taşıyordu. Her videoya komşusunun başlığını vermek bu bilgiyi tersine çevirdi, kaldırmadı, bu yüzden sıralama tersine döndü. Rastgele gürültü doğruluğu %50’ye iter; %50’nin altına inmek, yanlış yönde gerçek bir sinyal gerektirir.
Bu, görsellerin önemsiz olduğu anlamına mı gelir?
Hayır. Deney sadece başlıkları değiştirdi, bu yüzden başlığın katkısını doğrudan ölçer ve görselin katkısını sadece dolaylı olarak ölçer. Ayrıca, her görselde sabit bir şablon kullanan kanallarda, puanın doğruluğu şansa düştü — bu, görsel değişmeyi bıraktığında modelin gerçek bir şey kaybettiğinin kanıtıdır.
Vaate netlik açısından iyi puan alan bir başlık neye sahip olur?
Vaate netlik, paketlemenin izleyiciye ne izleyeceğini ne kadar belirsiz bir şekilde bildirdiğini ölçer. Ele alınan spesifik şeyi adlandıran ve görselin gösterdiğiyle eşleşen başlıklar, belirsiz merak üzerine kurulmuş başlıklardan daha yüksek puan alır. Çalışma boyunca, performansı aşanları performansı altındakilerden en çok ayıran faktördü.