Universal-2 vs Whisper: Hangi Konuşmadan Metne Modeli Daha İyi?

Otomatik Konuşma Tanıma (ASR) büyük bir paradigma değişimi geçirdi. Derin öğrenme tabanlı konuşma modellerinin ortaya çıkışı, ham transkripsiyon doğruluğunu insan seviyesine her zamankinden daha fazla yaklaştırdı. Medya yerelleştirme araçları, video altyazı düzenleyicileri ve konuşma analizi paketleri geliştiren geliştiriciler için doğru arka uç modelini seçmek, kullanıcı deneyimini ve hesaplama maliyetlerini doğrudan etkileyen kritik bir karardır.

Bugün, Konuşmadan Metne alanının iki ağır topu OpenAI'ın Whisper'ı (özellikle Whisper large-v3) ve AssemblyAI'ın Universal-2'sidir. Whisper varsayılan açık kaynak favorisi haline gelirken, Universal-2 lider kurumsal düzeyde yönetilen alternatif olarak kendini kanıtlamıştır.

SRTGen olarak, profesyonel altyazı çalışma alanımız için her iki modeli de kapsamlı bir şekilde değerlendirdik. Bugün, kıyaslama analizimizi paylaşıyor, çalışma alanımızı neden nihayetinde AssemblyAI Universal-2 etrafında kurduğumuzu açıklıyor ve her iki modelin doğruluk, halüsinasyonlar, biçimlendirme ve özellik setleri açısından nasıl performans gösterdiğini ayrıntılarıyla inceliyoruz.

1. Ham Doğruluk: Kelime Hata Oranı (WER)

Uzun bir süre boyunca, Kelime Hata Oranı (WER) konuşma modellerini değerlendirmek için kullanılan tek ölçüt olmuştur. Standart İngilizce veri kümelerinde, temiz laboratuvar koşullarında her iki model de olağanüstü performans gösterir, ancak Universal-2 öne geçiyor:

• AssemblyAI Universal-2: 300.000 saatin üzerinde çeşitli ses üzerinde eğitilmiş, yaklaşık %2,1 temiz İngilizce WER elde eder.
• OpenAI Whisper (large-v3): Yaklaşık %2,8 temiz İngilizce WER elde eder.

​%0,7'lik bir fark kağıt üzerinde önemsiz görünebilirken, üretimde bu fark, modellerin zorlu aksanları, arka plan gürültüsünü, düşük kaliteli mikrofon kayıtlarını ve üst üste binen diyalogları nasıl ele aldığında kendini gösterir. Universal-2, sürekli olarak daha temiz taslaklar sunarak son düzenlemede gereken manuel düzeltme miktarını azaltır.

2. 'Son Mil' Doğruluğu: Özel İsimler ve Alfanümerikler

Ham WER, tüm kullanıcı deneyimini yakalamaz. Gerçek dünya medya dosyalarında transkripsiyonu en zor kısımlar, araştırmacıların 'son mil' zorlukları olarak adlandırdığı şeylerdir: özel isimler (isimler, markalar, şehirler) ve alfanümerikler (telefon numaraları, ürün kodları, e-postalar, para birimi). Eğer bir müşteri 'John'u 555-0199'dan arayın' der ve yapay zeka 'John'u 5:55 veya 199'dan arayın' yazarsa, transkripsiyon düşük WER'e rağmen teknik olarak başarısız olur.

Universal-2, eski kural tabanlı biçimlendirme sistemlerini tamamen değiştiren özel bir Nöral Metin Biçimlendirme (Universal-2-TF) mimarisine sahiptir. Resmi kıyaslamalara göre bu, şunları sağlar:

• Whisper'a kıyasla özel isim hatalarında %24 azalma.
• Alfanümerik doğrulukta %21 artış (telefon numaraları, adresler, e-postalar).
• Biçimlendirme ve gerçek büyük/küçük harf kullanımında %15 iyileşme (noktalama işaretleri, büyük/küçük harf).

Whisper, büyük/küçük harf kullanımı ve metin normalleştirmesi konusunda sık sık zorlanır; genellikle marka adlarını tamamen küçük harfle yazar veya sayıları rakamlar ('342') yerine kelimelerle ('üç yüz kırk iki') yazar, bu da altyazıların hızlıca okunmasını zorlaştırır.

3. Halüsinasyon Sorunu

OpenAI'ın Whisper modeliyle ilgili en bilinen sorunlardan biri, halüsinasyon görme eğilimidir. Whisper bir dil modeli gibi eğitilmiş bir kodlayıcı-kod çözücü dizi-diziye model olduğu için, sessiz bölümler, arka plan müziği, statik veya tekrarlayan konuşma dışı gürültülerle (iç çekme veya nefes alma gibi) karşılaştığında sonsuz bir döngüye girebilir. Son konuşulan cümleyi onlarca kez tekrarlayabilir veya 'İzlediğiniz için teşekkürler!' gibi alakasız halüsinasyonlar veya eğitim veri setinden rastgele altyazılar üretebilir.

Universal-2, bu davranışı önlemek için özel olarak tasarlanmıştır. Gelişmiş tokenizasyon ve kısıtlama katmanları sayesinde Universal-2, Whisper large-v3'e kıyasla halüsinasyon oranlarında %30 azalma sağlar. SRTGen kullanıcıları için bu büyük bir avantajdır. Bu, uzun sessiz giriş videoları veya enstrümantal müzik bölümleri sırasında oluşturulan altyazılarınızın hayali cümleler içermeyeceği anlamına gelir.

4. Entegre Özellikler vs. Ham Transkripsiyon

Bir Bakışta: OpenAI Whisper vs. AssemblyAI'ın Universal-3 Pro'su

Whisper'ı kendiniz çalıştırmak, GPU'ya, sıraya, güvenilirliğe ve yol haritasına sahip olmak demektir. AssemblyAI'ın sektör lideri modelini ve yönetilen API'sini başlıca sektör kıyaslamaları üzerinden karşılaştırın.

SRTGen Neden Altyazı Oluşturucusunu Universal-2 ile Destekliyor?

SRTGen Altyazı Çalışma Alanı'nı tasarlarken amacımız, profesyonel editörlere, UGC yaratıcılarına ve işletmelere mevcut en hızlı ve en doğru altyazı aracını sunmaktı. Whisper açık kaynak olsa da, özel Whisper GPU kümelerini büyük ölçekte yönetmek pahalıdır ve ham metni ileri geri aktarmak, profesyonel kalitede altyazılar için gereken hassas kelime düzeyinde hizalama veya konuşmacı segmentasyonu sağlamaz.

Birincil transkripsiyon motorumuz olarak AssemblyAI Universal-2'yi seçerek, çeşitli önemli avantajlar elde ediyoruz:

1. Kusursuz Kelime Kelime Hizalama: Premium karaoke tarzı animasyonlarımız için her hecenin tam olarak ne zaman konuşulduğunu bilmemiz gerekir. Universal-2, kelimelerin büyük çoğunluğunun gerçek konuşma aralığının 200 ms içinde hizalandığı zaman damgası hassasiyeti sunar.
2. Anında Konuşmacı Etiketleme: Videonuzda bir röportaj, bir podcast veya birden fazla oyuncu varsa, çalışma alanımız diyaloğu konuşmacıya göre otomatik olarak ayırır, böylece altyazı kartlarını sorunsuz bir şekilde renk kodlayabilir ve gruplayabilirsiniz.
3. Sıfır Altyapı Gecikmesi: Hesaplama kaynaklarını biz yönetiyoruz. Kontrol panelimize bir video yüklediğinizde, ses çıkarma ve paralel API transkripsiyonunu anında gerçekleştirerek, CPU veya GPU kaynaklarınızı tüketmeden bir dakikadan kısa sürede eksiksiz bir altyazı taslağı sunarız.

Sonuç: Doğru Motoru Seçmek

Kendi kendine barındırma, çevrimdışı işlemler için katı gereksinimleriniz varsa veya ham GPU'ları çalıştırmanın daha uygun maliyetli olduğu bir ölçekte çalışıyorsanız, OpenAI'ın Whisper'ını kendi kendine barındırmak sağlam bir yoldur.

Ancak, önceliğiniz anında doğruluk, sağlam alfanümerik biçimlendirme, net zaman damgaları ve yerleşik konuşmacı etiketleme ise, Universal-2'nin yönetilen zekası açık ara kazananıdır. SRTGen, Universal-2'yi arka planda kullanarak birinci sınıf doğruluğu sektör lideri stil panomuzla birleştirir ve size her iki dünyanın da en iyisini sunar.

Universal-2'nin hassasiyetini kendiniz deneyimleyin. Videolarınızı bugün transkripte etmeye ve stilize etmeye başlamak için SRTGen Çalışma Alanı'na gidin!