คำแนะนำทุกชิ้นสำหรับ YouTube บอกคุณว่าภาพปกคือสิ่งที่ดึงดูดให้คลิก เราจึงสร้างเครื่องมือที่ประเมินทั้งสองส่วน แล้วทดลองแยกส่วนนี้ออก — และพบว่าชื่อวิดีโอมีน้ำหนักมากกว่า การสลับชื่อระหว่างวิดีโอสองคลิปไม่ได้ทำให้คะแนนของเราเลือกคลิปที่ทำได้ดีกว่าอ่อนลงเพียงอย่างเดียว แต่กลับกลับด้าน
ประเด็นสำคัญ
- การให้วิดีโอแต่ละคลิปใช้ชื่อของวิดีโอเพื่อนบ้าน ทำให้คะแนนเปลี่ยนไปเฉลี่ย 11.3 คะแนน จาก 100 คะแนน สูงสุดถึง 60 คะแนน
- มีเพียง 3.9% ของภาพปกที่ได้คะแนนเท่าเดิมเมื่อเปลี่ยนชื่อ ดังนั้นชื่อวิดีโอจึงไม่ใช่ค่าที่ไม่สำคัญในโมเดล
- หลังสลับชื่อ คะแนนเลือกวิดีโอที่ทำได้ดีกว่าเพียง 42.7% ของกรณี — ต่ำกว่าโอกาสแบบสุ่ม หมายความว่าการจัดอันดับกลับด้าน ไม่ใช่แค่ลดลง
- คะแนนที่ขับเคลื่อนโดยภาพปกเพียงอย่างเดียวจะยังคงอยู่ที่ 59.5%; คะแนนที่ขับเคลื่อนโดยชื่อเพียงอย่างเดียวจะลดลงเหลือ 35.2% ค่าที่สังเกตได้ที่ 42.7% อยู่ใกล้กับค่าของชื่อมากกว่า
- นี่ไม่ได้หมายความว่าภาพปกไม่มีคุณค่า การทดลองนี้เปลี่ยนแค่ชื่อ จึงวัดส่วนของชื่อเท่านั้น และไม่ได้พูดถึงภาพโดยตรง
ชื่อวิดีโอหรือภาพปก อะไรสำคัญกว่ากันบน YouTube?
จากหลักฐานจากการทดลองนี้ ชื่อวิดีโอมีน้ำหนักมากกว่าในสัญญาณที่แยกแยะวิดีโอที่ทำได้ดีกว่าค่าเฉลี่ยของช่องจากวิดีโอที่ทำได้แย่กว่า นี่ไม่ใช่คำตอบที่เราคาดไว้จากเครื่องมือที่สร้างขึ้นมาเพื่อวิเคราะห์ภาพปกเป็นหลัก และมันเกิดขึ้นจากการควบคุมที่ออกแบบมาเพื่อตรวจสอบสิ่งอื่นทั้งหมด
ข้ออ้างนี้ต้องมีขอบเขต การทดลองนี้วัดสิ่งที่เปลี่ยนแปลง คะแนน ซึ่งแสดงให้เห็นว่าติดตามผลการดำเนินงานจริง — ไม่ใช่การวัดพฤติกรรมผู้ชมโดยตรง และเปรียบเทียบแพ็คเกจภายในช่องเดียวกัน ซึ่งผู้ชม หัวข้อ และงบประมาณการออกแบบถูกคงไว้แล้ว
อย่างไรก็ตาม ทิศทางชัดเจน และขนาดของผลลัพธ์ไม่เล็กน้อย
เราแยกส่วนที่ชื่อวิดีโอส่งผลอย่างไร
การตั้งค่าคือคู่วิดีโอ 321 คู่ แต่ละคู่มาจากช่องเดียวกัน และเผยแพร่ห่างกันเฉลี่ย 6 วัน หนึ่งคลิปทำได้ดีกว่าค่าเฉลี่ยของช่องอย่างชัดเจน อีกคลิปทำได้แย่กว่าอย่างชัดเจน เมื่อประเมินตามปกติ โมเดลของเราจัดอันดับถูกต้อง 59.5% ของกรณี เมื่อเทียบกับการโยนเหรียญที่ 50%
จากนั้นเราประเมินภาพปกทุกภาพอีกครั้ง — แต่เชื่อมกับ ชื่อ ของวิดีโออีกคลิป ไบต์ของภาพไม่เปลี่ยนแปลงระหว่างการอ่านทั้งสองครั้ง ไม่มีสิ่งใดในกระบวนการเปลี่ยนแปลง ดังนั้นทุกจุดของการเปลี่ยนแปลงคะแนนระหว่างการอ่านครั้งแรกกับครั้งที่สอง สามารถอธิบายได้ว่าเกิดจากชื่อเท่านั้น
สองคำถามจากหนึ่งการทดลอง
คำถามแรกคือ ชื่อวิดีโอส่งผลต่อคะแนนหรือไม่ เครื่องมือที่อ้างว่าประเมินทั้งภาพปกและชื่อ แต่ผลลัพธ์แทบไม่เปลี่ยนเมื่อเปลี่ยนชื่อ คือเครื่องมือที่ประเมินแค่ครึ่งเดียวแต่โฆษณาว่าเป็นสองส่วน
คำถามที่สองชัดเจนกว่า: การรันการทดสอบจัดอันดับทั้งหมดใหม่กับอินพุตที่สลับแล้ว จะเผยให้เห็นว่าส่วนใดเป็นตัวแยกแยะ ผลลัพธ์ที่เป็นไปได้ทั้งสามแบบถูกเขียนไว้ก่อนการรัน พร้อมกับความหมายของแต่ละผลลัพธ์
| หากคะแนนขับเคลื่อนโดย | ความแม่นยำที่คาดการณ์หลังสลับ | การตีความ |
|---|---|---|
| ภาพปกเพียงอย่างเดียว | 59.5% — ไม่เปลี่ยน | การสลับชื่อไม่เปลี่ยนสิ่งที่สำคัญ |
| ทั้งสองส่วนเท่ากัน | ประมาณ 50% — แบบสุ่ม | การมีส่วนร่วมของทั้งสองส่วนหักล้างกัน |
| ชื่อเพียงอย่างเดียว | 35.2% — กลับด้านทั้งหมด | การกลับชื่อทำให้การจัดอันดับกลับด้าน |
| สิ่งที่เราสังเกตเห็น | 42.7% | ขับเคลื่อนโดยชื่อ แต่ไม่ใช่เพียงชื่อเท่านั้น |
สิ่งที่เกิดขึ้นเมื่อเราสลับชื่อวิดีโอ
คะแนนเปลี่ยนไปมาก ค่าเฉลี่ยของการเปลี่ยนแปลงสัมบูรณ์คือ 11.3 คะแนน บนสเกล 0-100 ค่ามัธยฐานคือ 8 ค่าเปอร์เซ็นต์ที่ 90 คือ 26 และการเปลี่ยนแปลงสูงสุดเพียงครั้งเดียวคือ 60 คะแนน มีเพียง 3.9% ของภาพปกที่ได้คะแนนเท่าเดิมภายใต้ชื่อที่ต่างออกไป
สำหรับการเปรียบเทียบ ค่าเฉลี่ยของการเปลี่ยนแปลง 11.3 คะแนนนี้มากกว่าช่องว่างทั่วไปที่โมเดลวางไว้ระหว่างวิดีโอสองคลิปในคู่หนึ่ง การเปลี่ยนชื่อเพียงอย่างเดียวสามารถย้ายคะแนนได้ไกลกว่าระยะทางทั้งหมดที่โมเดลปกติเห็นระหว่างวิดีโอที่ดีและวิดีโอที่แย่ของช่อง
แล้วการทดสอบจัดอันดับ บนอินพุตที่สลับแล้ว คะแนนเลือกวิดีโอที่ทำได้ดีกว่าใน 137 จาก 321 คู่ — 42.7% ด้วยช่วงความเชื่อมั่น 95% ที่ 37.2% ถึง 48.3% และค่า p-value ที่ 0.0101 เมื่อเทียบกับ 50% นั่นคือต่ำกว่าโอกาสแบบสุ่มอย่างมีนัยสำคัญ
ทำไมการกลับด้านจึงไม่ใช่ผลของข้อผิดพลาดในการวัด
การสลับชื่อวิดีโอจะทำให้การจับคู่ระหว่างชื่อและภาพเสียไป และความสอดคล้องกันเองก็เป็นหนึ่งในสิบสองสิ่งที่โมเดลประเมิน นี่คือปัจจัยรบกวนที่แท้จริงและควรระบุอย่างชัดเจน ไม่ใช่ซ่อนไว้ อย่างไรก็ตาม มันไม่สามารถอธิบายผลลัพธ์นี้ได้
การลงโทษแบบไม่เป็นระบบที่ใช้กับ ทั้งสอง ด้านของทุกคู่จะเพิ่มเสียงรบกวน เสียงรบกวนจะดึงความแม่นยำเข้าใกล้ 50% — มันจมสัญญาณ ไม่ใช่กลับสัญญาณ ผลลัพธ์ที่อยู่ที่ 42.7% ต่ำกว่าทั้งการโยนเหรียญและพื้นที่ 47.4% ที่การจัดการการเสมอกันของทดสอบนี้บ่งชี้ ต้องการสิ่งที่ชี้ไปทางหนึ่งแล้วถูกกลับด้าน นั่นคือสิ่งที่การสลับคุณสมบัติที่แยกแยะทำ และเสียงรบกวนจากความไม่สอดคล้องกันเพียงอย่างเดียวไม่สามารถสร้างมันได้
สิ่งที่จะทำให้เราสงสัยในผลลัพธ์นี้
ผลลัพธ์สามอย่างจะโต้แย้งการตีความนี้ และไม่มีสิ่งใดเกิดขึ้น:
- คะแนนแทบไม่เคลื่อนไหวภายใต้ชื่อใหม่ ซึ่งจะหมายความว่าโมเดลกำลังเพิกเฉยต่อชื่อ ไม่ใช่ให้น้ำหนักมาก
- ความแม่นยำหลังสลับอยู่ที่หรือต่ำกว่า 59.5% ซึ่งจะแสดงว่าภาพปกเป็นตัวขับเคลื่อนการจัดอันดับเอง
- ความแม่นยำหลังสลับอยู่ที่ 50% พอดี ซึ่งจะบ่งชี้ว่าทั้งสองส่วนมีส่วนร่วมเท่ากันและหักล้างกัน
สิ่งที่การทดลองนี้เปลี่ยนแปลงเกี่ยวกับวิธีการเขียนชื่อวิดีโอ
การตีความเชิงปฏิบัติคือ การแก้ไขชื่อวิดีโอเป็นการแก้ไขที่มีผลกระทบสูงและราคาถูกที่สุดที่คุณมี การออกแบบภาพปกใหม่ใช้เวลาหนึ่งชั่วโมงหรือต้องใช้นักออกแบบ การเขียนชื่อใหม่ใช้เวลาเพียงสองนาที สามารถทำได้หลังเผยแพร่ และ — จากหลักฐานนี้ — เปลี่ยนสัญญาณแพ็คเกจอย่างน้อยเท่ากับภาพ
ยังเปลี่ยนมุมมองว่าชื่อวิดีโอใช้เพื่ออะไร ในส่วนการแบ่งมิติจากงานศึกษาเดียวกัน ปัจจัยที่แยกแยะวิดีโอที่ทำได้ดีจากที่ทำได้แย่ที่สุดคือความชัดเจนของคำสัญญา: ว่าแพ็คเกจบอกผู้ชมอย่างไม่คลุมเครือว่าพวกเขาจะได้ดูอะไร นี่ส่วนใหญ่เป็นคุณสมบัติของชื่อ ความเข้มข้นทางอารมณ์ดิบ ๆ ซึ่งคำแนะนำเกี่ยวกับภาพปกมักจะหมกมุ่นอยู่นั้น แยกกลุ่มทั้งสองน้อยที่สุด
หากคุณต้องการดูว่าคู่เฉพาะเจาะจงนี้ได้คะแนนอย่างไรในทั้งสิบสองปัจจัย คุณสามารถ รันภาพปกและชื่อของคุณผ่านกระบวนการเดียวกันที่การทดลองนี้ใช้ และเปรียบเทียบตัวเลือกชื่อสองแบบกับภาพเดียว
ที่ที่ภาพปกยังคงทำงานอยู่
การทดลองนี้เปลี่ยนชื่อและคงภาพไว้ ซึ่งหมายความว่ามันวัดส่วนของชื่อโดยตรง และวัดส่วนของภาพปกเพียงโดยการอนุมาน การทดลองในรูปแบบตรงข้าม — สลับภาพปก คงชื่อ — ยังไม่ได้รัน และจนกว่าจะรัน ตำแหน่งที่ซื่อสัตย์คือเราได้วัดครึ่งหนึ่งอย่างถูกต้อง และอีกครึ่งหนึ่งโดยการลบ
ยังมีเหตุผลเชิงโครงสร้างที่ไม่ควรเขียนภาพปกทิ้ง งานศึกษาเดียวกันนี้พบว่าในช่องที่ใช้เทมเพลตภาพปกเดียวสำหรับทุกการอัปโหลด ความแม่นยำของคะแนนลดลงเหลือ 48.7% เมื่อเทียบกับ 61.0% ในที่อื่น เมื่อภาพปกหยุดเปลี่ยนแปลง โมเดลก็หยุดแยกแยะ — ซึ่งเป็นหลักฐานว่าภาพกำลังทำบางสิ่ง ไม่ใช่ไม่ทำอะไรเลย
สิ่งที่เราไม่ได้ทดสอบ
การทดลองนี้แสดงว่าคะแนนของเราตอบสนองต่อชื่อมากกว่าภาพ และคะแนนติดตามผลการดำเนินงานจริง มันไม่ได้แสดงว่าการตัดสินใจของผู้ชมที่จะคลิกขับเคลื่อนโดยชื่อมากกว่าภาพปก นี่เป็นข้ออ้างที่อยู่ใกล้เคียงกัน และมีเพียงข้อแรกเท่านั้นที่มีหลักฐานในที่นี้
คู่ทุกคู่มาจากช่องภาษาอังกฤษที่มีประวัติการอัปโหลดเพียงพอที่จะคำนวณค่าเฉลี่ยที่มั่นคง ชื่อในภาษาอื่น และช่องที่ใหม่เกินไปจนไม่มีค่าเฉลี่ย อยู่นอกขอบเขตที่ตัวอย่างนี้สามารถพูดถึงได้ ไม่มีสิ่งใดในที่นี้ที่บอกว่าการดำเนินการตามคำแนะนำชื่อจะปรับปรุงวิดีโอจริง — นั่นคือการทดลองอีกแบบหนึ่ง และเป็นสิ่งที่เรายังไม่ได้รัน
คำถามที่พบบ่อย
ชื่อวิดีโอสำคัญกว่าภาพปกบน YouTube หรือไม่?
ในการทดลองนี้ ชื่อวิดีโอมีน้ำหนักมากกว่าในสัญญาณที่แยกแยะวิดีโอที่ทำได้ดีจากที่ทำได้แย่ภายในช่องเดียวกัน การสลับชื่อระหว่างวิดีโอคู่หนึ่งกลับการจัดอันดับ ไม่ใช่แค่ทำให้มันอ่อนลง ซึ่งคือสิ่งที่เกิดขึ้นเมื่อคุณกลับคุณสมบัติที่ทำงานจริง มันวัดพฤติกรรมของคะแนน ไม่ใช่จิตวิทยาผู้ชมโดยตรง
การเปลี่ยนชื่อวิดีโอเปลี่ยนคะแนนภาพปกได้มากแค่ไหน?
เฉลี่ย 11.3 คะแนนบนสเกล 0-100 ค่ามัธยฐาน 8 และการเปลี่ยนแปลงสูงสุดที่สังเกตได้คือ 60 คะแนน มีเพียง 3.9% ของภาพที่ได้คะแนนเท่าเดิมเมื่อใช้ชื่อที่ต่างออกไป ภาพเองไม่เปลี่ยนแปลงระหว่างการอ่านทั้งสองครั้ง ดังนั้นทุกจุดของการเปลี่ยนแปลงนี้สามารถอธิบายได้ว่าเกิดจากชื่อ
คุ้มค่าไหมที่จะเปลี่ยนชื่อหลังจากเผยแพร่วิดีโอแล้ว?
มันเป็นการแก้ไขแพ็คเกจที่ถูกที่สุด และหลักฐานนี้บ่งชี้ว่ามันไม่ใช่สิ่งเล็กน้อย ชื่อสามารถเขียนใหม่ได้ในไม่กี่นาทีโดยไม่ต้องออกแบบใหม่ และมันย้ายคะแนนแพ็คเกจอย่างน้อยเท่ากับที่ภาพทำ ลองเปรียบเทียบตัวเลือกสองหรือสามตัว แทนที่จะสมมติว่าตัวแรกดีที่สุด
ทำไมการสลับชื่อทำให้คะแนนแย่กว่าแบบสุ่ม?
เพราะชื่อวิดีโอส่งข้อมูลเกี่ยวกับวิดีโอใดที่ทำได้ดีกว่า การให้วิดีโอแต่ละคลิปใช้ชื่อของวิดีโอเพื่อนบ้าน กลับข้อมูลนั้นแทนที่จะลบมัน ดังนั้นการจัดอันดับจึงกลับด้าน เสียงรบกวนแบบสุ่มจะดันความแม่นยำเข้าใกล้ 50%; การไปต่ำกว่า 50% ต้องการสัญญาณจริงที่ชี้ไปทางผิด
นี่หมายความว่าภาพปกไม่มีความสำคัญหรือไม่?
ไม่ ทดลองนี้เปลี่ยนแค่ชื่อ ดังนั้นจึงวัดส่วนร่วมของชื่อโดยตรง และวัดส่วนของภาพเพียงโดยอ้อม แยกจากกัน บนช่องที่ภาพปกทุกภาพใช้เทมเพลตเดียว ความแม่นยำของคะแนนลดลงถึงระดับแบบสุ่ม — หลักฐานว่าเมื่อภาพหยุดเปลี่ยน โมเดลสูญเสียสิ่งที่แท้จริง
อะไรทำให้ชื่อวิดีโอได้คะแนนดีในด้านความชัดเจนของคำสัญญา?
ความชัดเจนของคำสัญญาวัดว่าแพ็คเกจบอกผู้ชมอย่างไม่คลุมเครือว่าพวกเขาจะได้ดูอะไร ชื่อที่ระบุสิ่งเฉพาะเจาะจงที่กำลังกล่าวถึง และตรงกับสิ่งที่ภาพแสดง ได้คะแนนสูงกว่าชื่อที่สร้างจากความลึกลับแบบคลุมเครือ ทั่วทั้งการศึกษา นี่คือปัจจัยที่แยกแยะวิดีโอที่ทำได้ดีจากที่ทำได้แย่มากที่สุด