Każda porada na temat YouTube mówi, że to miniaturka przyciąga kliknięcie. Zbudowaliśmy narzędzie oceniające obie części, a następnie przeprowadziliśmy eksperyment, który je rozdzielił — i okazało się, że tytuł niesie większą część sygnału. Zamiana tytułów między dwoma filmami nie tylko osłabiła zdolność naszego wyniku do wyboru lepszego wykonawcy — odwróciła ją.
Kluczowe wnioski
- Przypisanie każdemu filmowi tytułu sąsiedniego filmu przesunęło wynik średnio o 11,3 punktu, z maksymalnym wahaniem 60 punktów na 100.
- Tylko 3,9% miniatur uzyskało tę samą ocenę przy innym tytule, więc tytuł nie jest błędem zaokrąglenia w modelu.
- Po zamianie wynik wskazywał lepiej performingowy film w 42,7% przypadków — poniżej losowości, co oznacza, że ranking się odwrócił, a nie jedynie osłabł.
- Wynik oparty wyłącznie na miniaturce pozostałby na poziomie 59,5%; oparty wyłącznie na tytule spadłby do 35,2%. Obserwowane 42,7% leży znacznie bliżej tytułu.
- To nie oznacza, że miniaturki są bezwartościowe. Eksperyment manipulował jedynie tytułem, więc mierzy udział tytułu i niczego bezpośrednio nie mówi o obrazie.
Czy tytuł czy miniaturka ma większe znaczenie na YouTube?
Na podstawie dowodów z tego eksperymentu, tytuł niesie większą część sygnału, który oddziela film, który przekroczył średnią kanału, od tego, który jej nie osiągnął. To nie był wynik, którego oczekiwaliśmy od narzędzia zbudowanego głównie wokół analizy miniatur, a pojawił się z kontroli zaprojektowanej, by sprawdzić coś zupełnie innego.
Twierdzenie wymaga ograniczeń. Mierzy to, co przesuwa wynik, który okazał się śledzić rzeczywistą wydajność — nie jest to bezpośredni pomiar zachowania widza. Porównuje również pakowanie w obrębie jednego kanału, gdzie publiczność, temat i budżet na projekt są już ustalone.
Nadal kierunek jest jasny, a wielkość efektu nie jest subtelna.
Jak wyizolowaliśmy wkład tytułu
Ustawienie obejmowało 321 par filmów, każda para pochodziła z tego samego kanału i została opublikowana średnio sześć dni po sobie, jeden wyraźnie przewyższył własny baseline kanału, a drugi wyraźnie go nie osiągnął. Normalnie ocenione, nasz model poprawnie je sklasyfikował w 59,5% przypadków wobec 50% losowego wyboru.
Następnie ponownie oceniliśmy każdą miniaturkę — tym razem przypisaną do tytułu innego filmu. Bajty obrazu były identyczne między dwoma odczytami. Nic innego w potoku się nie zmieniło. Zatem każdy punkt zmiany wyniku między pierwszym a drugim odczytem jest przypisywalny wyłącznie tytułu.
Dwa pytania z jednego eksperymentu
Pierwsze pytanie brzmi: czy tytuł przesuwa wynik w ogóle? Narzędzie, które twierdzi, że ocenia miniaturę i tytuł razem, ale którego wynik ledwo reaguje, gdy tytuł zostanie zastąpiony, ocenia jedną połowę i reklamuje dwie.
Drugie jest ostrzejsze: ponowne uruchomienie całego testu rankingu na zamienionych wejściach ujawnia, która połowa niosła dyskryminację. Trzy możliwe wyniki zostały zapisane przed uruchomieniem, wraz z tym, co każdy z nich oznaczałby.
| Jeśli wynik byłby napędzany przez | Przewidywana dokładność po zamianie | Interpretacja |
|---|---|---|
| Tylko miniaturę | 59,5% — bez zmian | Zamiana tytułów nie zmienia niczego istotnego |
| Obie połowy równomiernie | Około 50% — losowość | Oba wkłady się znoszą |
| Tylko tytuł | 35,2% — całkowicie odwrócony | Odwrócenie tytułów odwraca ranking |
| Co zaobserwowaliśmy | 42,7% | Dominiowany przez tytuł, ale nie wyłącznie |
Co się stało, gdy zamieniliśmy tytuły
Wynik znacznie się przesunął. Średnie bezwzględne przesunięcie wyniosło 11,3 punktu w skali 0-100, z medianą 8, 90. percentylem 26 i maksymalnym wahaniem 60 punktów. Tylko 3,9% miniatur uzyskało identyczną ocenę przy innym tytule.
Na skalę, to średnie przesunięcie o 11,3 punktu jest większe niż typowa różnica, jaką model stawia między dwoma filmami w parze. Zmiana samego tytułu może przesunąć wynik dalej niż cała odległość, jaką model zwykle widzi między hitem a porażką kanału.
Następnie test rankingu. Na zamienionych wejściach wynik wskazywał lepiej performingowy film w 137 z 321 par — 42,7%, z 95% przedziałem ufności 37,2% do 48,3% i wartością p 0,0101 wobec 50%. To znacząco poniżej losowości.
Dlaczego odwrócenie nie może być artefaktem pomiaru
Zamiana tytułu również niszczy dopasowanie między tytułem a obrazem, a spójność jest jednym z dwunastu czynników, które model ocenia. To prawdziwe zakłócenie i warto to jasno stwierdzić, a nie ukrywać. Nie może jednak wyjaśnić tego wyniku.
Niesystematyczna kara stosowana do obu stron każdej pary dodaje szum. Szum pcha dokładność w kierunku 50% — zatapia sygnał, nie odwraca go. Wylądowanie na 42,7%, poniżej zarówno losowości, jak i 47,4% podłogi, jaką implikuje obsługa remisów w tym teście, wymaga czegoś, co wskazywało w jednym kierunku, a zostało odwrócone. To właśnie robi zamiana dyskryminującego czynnika, a sam szum nie może tego wytworzyć.
Co sprawiłoby, że zaczęlibyśmy wątpić w to odkrycie
Trzy wyniki argumentowałyby przeciwko tej interpretacji, a żaden z nich nie wystąpił:
- Wyniki ledwo się przesuwające przy nowym tytule, co oznaczałoby, że model ignoruje tytuł, a nie nadaje mu duże wagi.
- Dokładność po zamianie na poziomie lub nieco poniżej 59,5%, co pokazałoby, że miniatura sama niesie ranking.
- Dokładność po zamianie dokładnie na 50%, co wskazywałoby, że obie połowy przyczyniają się równomiernie i się znoszą.
Co to zmienia w sposobie pisania tytułów
Praktyczna interpretacja jest taka, że edycja tytułu to najtańszy, wysokowydajny zabieg, jaki masz do dyspozycji. Przebudowa miniatury zajmuje godzinę lub projektanta. Przepisanie tytułu zajmuje dwie minuty, może być wykonane po publikacji i — na podstawie tych dowodów — przesuwa sygnał pakowania co najmniej tak samo mocno.
Przepisuje również, do czego służy tytuł. W podziale wymiarów z tego samego badania, czynnik, który najbardziej oddzielał przekraczające od niedosiągających wyników, to jasność obietnicy: jak jednoznacznie pakowanie mówi widzowi, co zaraz zobaczy. To głównie właściwość tytułu. Surowa intensywność emocjonalna, na której obsesjonują się porady dotyczące miniatur, najmniej oddzielała te dwie grupy.
Jeśli chcesz zobaczyć, jak konkretna para ocenia się pod względem wszystkich dwunastu czynników, możesz przepuścić swoją miniaturę i tytuł przez ten sam potok, który użyto w tym eksperymencie i porównać dwie opcje tytułu przy jednym obrazie.
Gdzie miniaturka nadal robi swoją pracę
Ten eksperyment manipulował tytułem i trzymał obraz stały, co oznacza, że mierzy udział tytułu bezpośrednio, a miniatury tylko przez wnioskowanie. Lustrzany eksperyment — zamiana miniatur, trzymanie tytułów — nie został przeprowadzony, i dopóki nie zostanie, uczciwą pozycją jest to, że zmierzyliśmy jedną połowę poprawnie, a drugą przez odjęcie.
Istnieje również strukturalny powód, by nie zrezygnować z miniatur. To samo badanie wykazało, że na kanałach używających jednego stałego szablonu miniatury dla każdego uploadu, dokładność wyniku spadła do 48,7% wobec 61,0% gdzie indziej. Gdy miniatury przestają się różnić, model przestaje dyskryminować — co jest dowodem, że obraz coś robi, a nie nic.
Czego nie przetestowaliśmy
Eksperyment pokazuje, że nasz wynik reaguje bardziej na tytuły niż na obrazy, i że wynik śledzi rzeczywistą wydajność. Nie pokazuje, że decyzja widza o kliknięciu jest bardziej napędzana przez tytuł niż miniaturę. To są sąsiednie twierdzenia, a tylko pierwsze jest tu udowodnione.
Każda para pochodziła z ustalonego, anglojęzycznego kanału z wystarczającą historią uploadów, by obliczyć stabilny baseline. Tytuły w innych językach oraz kanały zbyt nowe, by mieć baseline, są poza tym, co może mówić ta próbka. Nic tutaj nie mówi, że działanie na sugerowanym tytule poprawia rzeczywisty film — to inny eksperyment, i to ten, którego jeszcze nie przeprowadziliśmy.
Często zadawane pytania
Czy tytuł ma większe znaczenie niż miniaturka na YouTube?
W tym eksperymencie tytuł niesie większą część sygnału, który odróżnia przekraczające od niedosiągających wyników w obrębie tego samego kanału. Zamiana tytułów między parami filmów odwróciła ranking, a nie jedynie go osłabiła, co dzieje się, gdy odwracasz cechę, która robiła rzeczywistą pracę. Mierzy zachowanie wyniku, nie psychologię widza bezpośrednio.
Jak bardzo zmiana tytułu zmienia wynik miniatury?
Średnio o 11,3 punktu w skali 0-100, z medianą 8 i maksymalnym zaobserwowanym wahaniem 60. Tylko 3,9% obrazów uzyskało identyczną ocenę przy innym tytule. Obraz sam w sobie był bajtowo identyczny w obu odczytach, więc każdy punkt tego ruchu jest przypisywalny tytułu.
Czy warto zmieniać tytuł po opublikowaniu filmu?
To najtańszy dostępny zabieg pakowania, a te dowody sugerują, że nie jest to drobny. Tytuł można przepisać w kilka minut bez przebudowy czegokolwiek, i przesunął wynik pakowania co najmniej tak samo mocno jak obraz. Porównaj dwie lub trzy opcje zamiast zakładać, że pierwsza jest najlepsza.
Dlaczego zamiana tytułów sprawiła, że wynik był gorszy niż losowy?
Ponieważ tytuły niosły informację o tym, który film lepiej się sprawdził. Przypisanie każdemu filmowi tytułu sąsiedniego filmu odwróciło tę informację, zamiast ją usunąć, więc ranking się odwrócił. Losowy szum przesunąłby dokładność w kierunku 50%; spadek poniżej 50% wymaga rzeczywistego sygnału wskazującego w złą stronę.
Czy to oznacza, że miniaturki nie mają znaczenia?
Nie. Eksperyment zmieniał tylko tytuły, więc mierzy wkład tytułu bezpośrednio, a obrazu tylko pośrednio. Oddzielnie, na kanałach, gdzie każda miniaturka używa jednego stałego szablonu, dokładność wyniku spadła do losowości — co jest dowodem, że gdy obraz przestaje się różnić, model traci coś rzeczywistego.
Co sprawia, że tytuł dobrze ocenia się pod względem jasności obietnicy?
Jasność obietnicy mierzy, jak jednoznacznie pakowanie mówi widzowi, co zaraz zobaczy. Tytuły, które nazywają konkretną rzecz, o której mowa, i które pasują do tego, co pokazuje obraz, uzyskują wyższe wyniki niż tytuły oparte na niewyraźnej intrydze. W całym badaniu był to czynnik, który najbardziej oddzielał przekraczające od niedosiągających wyników.