Erkennen von Texten in Bildern und RGB-Werte erhalten

[JavaBeginner]

Hey, ich bin momentan darüber am rätseln, wie ich am besten das erkennen von Texten auf Bilder lösen kann. Da es sich dabei um ein Video handelt dachte ich mir, ich könnte um die Texte (Untertitel) zu erhalten mehrere Frames miteinander vergleichen (1-3 Sekunden insgesamt) und dann die Objekte herausfiltern die sich auf diesen Bildern statisch geblieben sind.
Folgenden Artikel habe ich zu diesem Thema gefunden: https://towardsdatascience.com/colo...ges-machine-learning-application-b26e770c4c71
Wie vielversprechend haltet ihr das und wäre es sinnvoll ein ähnliches Vorgehen für mein Projekt zu verwenden?
Mir kommt das relativ ineffizient vor deshalb wollte ich mal nachfragen ob jemand von euch eine andere Idee hat.

 

[Loro Husk]

Und wofür brauchst du das?

 

[JavaBeginner]

Mein Ziel ist es Hardsubs zu extrahieren und Dortmund draus zu machen. Das Problem dabei ist nur, dass ich um den Untertitel zu erkennen die rgb Daten verwende...es ist jedoch oftmals so, dass die Schriftfarbe und Art variiert.

 

[0x8100]

https://www.videohelp.com/software/Subrip
"Subrip 1.4+ can also rip subs from avi with burned in/hardcoded/permanent subtitles."

 

[abcddcba]

Ja SubRip wurde ihm in seinem anderen Thread auch schon vorgeschlagen, aber wohl ignoriert: https://www.computerbase.de/forum/t...ng-mit-python-mp4-datei.1875377/post-22722299

Oder er will es unbedingt selbst ausprobieren und dabei lernen. Weiss man ja nicht

 

[JavaBeginner]

Tatsächlich wollte ich mich bereits seit längerem mit Bilderkennung etc. befassen, hatte jedoch noch kein Projekt worin ich das alles verwenden kann.
Momentan stehe ich vor einem Problem bei dem ich keine Ahnung habe wie ich es lösen soll. Bisher habe ich die RGB-Werte genommen um den Text zu erkennen was jedoch bei gewissen Bildern problematisch wird. z.b. bei folgendem Bild kommt tesseract nicht mehr mit und liefert mir keine vernünftigen Ergebnisse:

Ich dachte dabei zunächst an Background substraction...habe die Idee aber schnell verworfen nachdem ich das Resultat von Testbildern gesehen habe. Jemand vielleicht eine Idee wie ich das Problem angehen könnte? Mir gehen langsam die Ideen aus^^

 

[0x8100]

vielleicht könnte man zuerst alles aus einem bild entfernen, was nicht die farbe der untertitel hat. oder alles entfernen was bei 2 frames (mit etwas zeitlichen abstand) nicht gleich ist (wobei das bei ruhigen szenen nicht viel bringen würde...).

 

[JavaBeginner]

vielleicht könnte man zuerst alles aus einem bild entfernen, was nicht die farbe der untertitel hat.

Grundsätzlich war das zunächst auch mein Vorgehen, jedoch gibt es auch in den Bildern Farben, die die gleichen wie die Untertitel haben, was mich zum oberen Problem geführt hat.

 

[znep]

Hallo,

Ich habe mich vor einigen Jahren mal professionell bei einer Firma mit dem Thema beschäftigt und dort einige Algorithmen umgesetzt. Mit Unterstützung eines Teams von Experten war das am Ende einigermaßen brauchbar bei einer Erkennungsquote von ~98%.

Solltest du das Hobbymäßig betreiben wollen empfehle ich dir zuerst mal die wissenschaftlichen Ergebnisse zu studieren. Die werden üblicherweise bei IEEE oder ACM veröffentlicht - oder du greifst auf die fertigen Libraries zu die genau von diesen Wissenschaftlern veröffentlicht wurden!

Grüße,
Znep