Custom Whisper Models

[kaixxx]

This is the place to discuss and share your experiences with custom, fine-tuned whisper models:

• Which new model have you discovered?
• What works best for your language?
• Which models should be avoided?

The installation of custom whisper models is described here (v0.6 and up): https://github.com/kaixxx/noScribe/wiki/Add-custom-Whisper-models-for-transcription At the same place, I'm also having a curated list of working models.

If you have technical issues and questions, please open a separate discussion.

[dancasiele]

Hat dies schon mal jemand mit noscribe getestet? https://huggingface.co/Flurin17/whisper-large-v3-turbo-swiss-german
Ich würde gerne, kann es jedoch nicht konvertieren.

[fka357]

Ich habe das Modell https://huggingface.co/Flurin17/whisper-large-v3-turbo-swiss-german konvertiert und in NoScribe zum Laufen bekommen.
Meine erste Transkription eines Interviews auf Schweizerdeutsch liefert allerdings deutlich schlechtere Ergebnisse im Vergleich zum Standard-precise-Modell.

[kaixxx]

Hallo @dancasiele, danke für den Test. Leider sind auch meine Versuche mit speziell auf Schweizerdeutsch trainierten Modellen bisher immer enttäuschend ausgefallen. Aber dieses Modell sah eigentlich recht vielversprechend aus, schade. Was sind denn die Probleme? Kannst du das konvertierte Modell zur Verfügung stellen?

[dancasiele]

Ich konnte es nun auch testen. Habe bereits konvertierte Modelle hier heruntergeladen:
https://huggingface.co/nebi/whisper-large-v3-turbo-swiss-german-ct2
https://huggingface.co/nebi/whisper-large-v3-turbo-swiss-german-ct2-int8
https://huggingface.co/thomashoshii/whisper-large-turbo-swissgerman-nizarmichaud
https://huggingface.co/thomashoshii/whisper-large-v3-turbo-swiss-german-Flurin17

Die Ergebnisse sind leider nicht so toll und entsprechen fka357s Kommentar.

[kaixxx]

Manchmal frage ich mich, warum Leute solche Modelle überhaupt hochladen - zumindest ohne eindeutige Warnung, dass es sich um ein Experiment handelt, das nicht zum produktiven Gebrauch gedacht ist.

Danke trotzdem fürs Testen!

[wwwebweber]

Meiner Erfahrung nach transkribiert whisper-large-v3 schweizerdialekt besser als whisper-large-v3-turbo.