Skip to content

Non-English texts (in particular German) are not well translated #94

@pereswa

Description

@pereswa

I noticed that by switching from Gemma3 to Qwen3-vl for recognition the generated German texts had lots more errors (wrong articles, bad wordings, unusual words, made-up words), than before.
Your solution to implement a second step by utilizing a model (Gemma3) with better language capabilities than Qwen3-vl for translation from English to third languages is the right approach, in my oppinion - by decoupling vision and language capabilities.
Unfortunately the situation was not solved (at least not for German) due to the limited capabilities of the small Gemma3:1b.
I'm not aware of similiar issues for other languages, but I suspect so.

For an example in Mastodon see here: https://mstdn.social/@stekopf/115997543520754037

The solution you already mentioned is to use a slightly bigger model for translations.

To support you finding a better, but yet small model, I tested several small models with a random text in Ollama in comparision to two online translation services (Firefox, DeepL):

Original:

In hindsight, long-term shareholders in Beyond Meat stock could have probably avoided significant pain if they had followed one of the strategies Warren Buffett was famous for. When he was an active investor, he favored companies that sold products with high, sustainable demand and enjoyed robust competitive moats. Unfortunately, Beyond Meat lacked these essential characteristics. Admittedly, this lack of sustainability was not obvious in the beginning. The company appeared to have solved a problem for many consumers by offering them a meat alternative that was similar to an animal product, but that wasn't one. That gave vegans and vegetarians new menu options in the form of meats that met the criteria of their diets. It also may have appealed to some health-conscious consumers as a sometime-substitute for meat since it is made with healthy ingredients such as beets, lentils, brown rice, avocado, and potatoes.

Firefox (online) translation:

Im Nachhinein hätten langfristige Aktionäre in Beyond Meat-Aktien wahrscheinlich erhebliche Schmerzen vermeiden können, wenn sie einer der Strategien gefolgt wären, für die Warren Buffett berühmt war. Als er ein aktiver Investor war, favorisierte er Unternehmen, die Produkte mit hoher, nachhaltiger Nachfrage verkauften und robuste Wettbewerbsräume genossen. Leider fehlten Beyond Meat diese wesentlichen Eigenschaften. Zugegeben, dieser Mangel an Nachhaltigkeit war zu Beginn nicht offensichtlich. Das Unternehmen schien ein Problem für viele Verbraucher gelöst zu haben, indem es ihnen eine Fleischalternative anbot, die einem tierischen Produkt ähnelte, aber das war keine. Das gab Veganern und Vegetariern neue Menüoptionen in Form von Fleisch, das die Kriterien ihrer Ernährung erfüllte. Es mag auch einige gesundheitsbewusste Verbraucher als Ersatz für Fleisch angesprochen haben, da es mit gesunden Zutaten wie Rüben, Linsen, braunem Reis, Avocado und Kartoffeln hergestellt wird.
3 errors.

DeepL (online) translation:

Rückblickend hätten langfristige Aktionäre von Beyond Meat wahrscheinlich erhebliche Verluste vermeiden können, wenn sie eine der Strategien befolgt hätten, für die Warren Buffett bekannt war. Als er noch als aktiver Investor tätig war, bevorzugte er Unternehmen, die Produkte mit einer hohen, nachhaltigen Nachfrage verkauften und über robuste Wettbewerbsvorteile verfügten. Leider fehlten Beyond Meat diese wesentlichen Merkmale. Zugegebenermaßen war dieser Mangel an Nachhaltigkeit zu Beginn nicht offensichtlich. Das Unternehmen schien ein Problem für viele Verbraucher gelöst zu haben, indem es ihnen eine Fleischalternative anbot, die einem tierischen Produkt ähnelte, aber keines war. Das gab Veganern und Vegetariern neue Menüoptionen in Form von Fleischprodukten, die den Kriterien ihrer Ernährung entsprachen. Es könnte auch einige gesundheitsbewusste Verbraucher als gelegentlichen Ersatz für Fleisch angesprochen haben, da es aus gesunden Zutaten wie Rüben, Linsen, braunem Reis, Avocado und Kartoffeln hergestellt wird.
0 errors.

Gemma3:1b (local) translation:

In der Summe, hätte langfristige Aktionäre in der Beyond Meat-Aktiegeholden wohl hätte vermieden, dass sie erhebliche Schmerzen erleiden würden, wenn sie sich einer der Strategien von Warren Buffett, die sie verfolgten, hätten folgen würden. Als aktiver Investor bevorzugte er Unternehmen mit hohem, nachhaltigem Bedarf und starken Wettbewerbsvorteilen. Leider fehlte Beyond Meat diesen essentiellen Aspekten. Tatsächlich war die mangelnde Nachhaltigkeit zunächst nicht offensichtlich. Das Unternehmen schien viele Konsumenten durch die Bereitstellung eines Fleischalternativprodukts zu lösen, das der Art eines Tierprodukts ähnelte, aber nicht war. Das hat zu neuen Optionen für Veganer und Vegetarier geführt, die Fleischprodukte in Form von Produkten suchte, die ihren Ernährungsanforderungen entsprachen. Es könnte auch gesundheitsbewussten Verbrauchern als gelegentlichen Ersatz für Fleisch dienen, da es mit gesunden Zutaten wie Spinat, Linsen, braunem Reis, Avocado und Kartoffeln hergestellt wird.
13 errors.

Gemma3:4b (local) translation:

Mit Rücksicht auf die Dinge betrachtet, hätten sich die langfristigen Anteilseigner von Beyond Meat wahrscheinlich erheblichen Schmerz erspart, wenn sie einer der Strategien gefolgt wären, für die Warren Buffett bekannt war. Während er ein aktiver Investor war, bevorzugte er Unternehmen, die Produkte mit hoher, nachhaltiger Nachfrage verkauften und robuste Wettbewerbsvorteile genossen. Leider mangelte es Beyond Meat an diesen wesentlichen Eigenschaften. Obwohl dieser Mangel an Nachhaltigkeit zunächst nicht offensichtlich war, schien das Unternehmen ein Problem für viele Konsumenten zu lösen, indem es ihnen ein Fleischalternativ anbot, das dem eines tierischen Produkts ähnelte, aber keines war. Dies eröffnete Veganern und Vegetariern neue Optionen in Form von Fleischprodukten, die ihren Ernährungsbedürfnissen entsprachen. Außerdem könnte es auch gesundheitsbewusste Konsumenten ansprach, da es als gelegentlicher Ersatz für Fleisch diente, da es mit gesunden Zutaten wie Rote Bete, Linsen, braunem Reis, Avocado und Kartoffeln hergestellt wurde.
4 errors.

TranslateGemma:4b (local) translation:

Mit Rückblick auf die Situation hätten die langfristigen Aktionäre von Beyond Meat wahrscheinlich erhebliche Verluste vermeiden können, wenn sie eine der von Warren Buffett berühmten Strategien angewandt hätten. Als aktiver Investor bevorzugte er Unternehmen, die Produkte mit hoher, nachhaltiger Nachfrage verkauften und über robuste Wettbewerbsvorteile verfügten. Leider verfügte Beyond Meat nicht über diese wesentlichen Eigenschaften. Es ist jedoch zugegeben, dass dieser Mangel an Nachhaltigkeit zu Beginn nicht offensichtlich war. Das Unternehmen schien ein Problem für viele Konsumenten zu lösen, indem es ihnen ein Fleischalternativ anbot, das einem tierischen Produkt ähnelte, aber nicht davon war. Dies bot Veganern und Vegetariern neue Menüoptionen in Form von Fleischprodukten, die den Kriterien ihrer Ernährung entsprachen. Es könnte auch einige gesundheitsbewusste Konsumenten angesprochen haben, da es als gelegentlicher Fleischersatz verwendet werden kann, da es mit gesunden Zutaten wie Rote Bete, Linsen, braunem Reis, Avocado und Kartoffeln hergestellt wird.
5 errors.

Llama3.2:1b (local) translation:

Im Rückblick wäre es wahrscheinlich sinnvoll für die langfristigen Aktionäre von Beyond Meat, dass sie folgern konnten, wenn sie sich eines der Strategien Warhers Befürworter bekannt dafür gewesen wären. Wenn er als aktiviver Investoren tätig war, bevorzug er Unternehmen, deren Produkte hohe, nachhaltige Nachfrage hatten und robuste Monopole hatten. Es ist jedoch unbestreitbar, dass Beyond Meat diese grundlegenden Merkmale nicht besaß. Tatsächlich war dies nicht offensichtlich im Anfangsstadium. Das Unternehmen erschien damit ein Problem für viele Verbraucher gelöst zu haben, indem es ihnen eine Alternativkarte für das Fleisch bot, die ähnlich wie animalische Produkte waren, aber kein Punkt darstellte. Dass dies neue Menusperspektiven für die Vegane und Vegetarier in Form von Produkten eröffnete, die den ihren Diättypen entsprachen, war es möglicherweise auch ein Grund dafür, dass einige gesund bewusste Verbraucher durch diese Produkte auf eine Substitution für Fleisch als "fremde" Kombination aus Nährstoffen wie Beete, Linsen, Reisabohnen, Avocado und Kartoffeln erschienen.
18 errors.

Llama3.2:3b (local) translation:

Rückblickend könnten langfristige Aktionäre von Beyond Meat-Aktien wahrscheinlich erheblichen Schmerz vermieden haben, wenn sie eine der Strategien gefolgt wären, die Warren Buffett für berühmt bekannt ist. Während er ein aktiver Investor war, bevorzugte er Unternehmen, die Produkte verkauften, die hohe, nachhaltige Nachfrage genossen und robuste wettbewerbsfeste Mauern hatten. Leider fehlten Beyond Meat diese wesentlichen Merkmale. Zugegebenermaßen war diese Mangel an Nachhaltigkeit nicht offensichtlich in den Anfangsjahren. Das Unternehmen erschien zunächst, als es eine Lösung für viele Verbraucher angeboten hatte, indem es ihnen ein Fleischalternativangebot bot, das ähnlich wie ein Tierprodukt war, aber das nicht war. Das gab Veganern und Vegetariern neue Speisenmöglichkeiten in Form von Fleischtöpfern, die den Anforderungen ihrer Ernährungsgewohnheiten entsprachen. Es könnte auch gesundheitsbewussten Verbrauchern als gelegentliches Ersatz für Fleisch interessant sein, da es aus gesunden Zutaten wie Rotkohl, Linsen, braunem Reis, Avocado und Kartoffeln hergestellt wird.
10 errors.

ministral-3:3b (local) translation:

Im Rückblick hätten langfristige Anleger in Beyond-Meat-Aktien wahrscheinlich erhebliche Schmerzen vermeiden können, wenn sie eine der Strategien verfolgt hätten, die Warren Buffett berühmt machte. Als aktiver Investor bevorzugte er Unternehmen, die Produkte mit hoher, nachhaltiger Nachfrage verkauften und über starke Wettbewerbsvorteile verfügten. Leider fehlten Beyond Meat diese grundlegenden Merkmale. Zwar war diese Nachhaltigkeitslücke anfangs nicht offensichtlich. Zunächst schien die Firma ein Problem für viele Verbraucher gelöst zu haben, indem sie eine Fleischersatzlösung anbot, die zwar dem Geschmack und der Textur tierischer Produkte ähnelte, aber nicht aus Fleisch bestand. Das bot Veganern und Vegetariern neue Speiseoptionen in Form von Fleischersatzprodukten, die ihren Ernährungsbedürfnissen entsprachen. Zudem könnte es auch gesundheitsbewussten Verbrauchern als gelegentliche Alternative zu Fleisch gefallen haben, da das Produkt aus gesunden Zutaten wie Rote Bete, Linsen, braunem Reis, Avocado und Kartoffeln besteht.
2 errors.

Summary:
Firefox (online) translation: 3 errors.
DeepL (online) translation: 0 errors.

Gemma3:1b (local) translation: 13 errors.
Gemma3:4b (local) translation: 4 errors.
TranslateGemma:4b (local) translation: 5 errors.
Llama3.2:1b (local) translation: 18 errors.
Llama3.2:3b (local) translation: 10 errors.
ministral-3:3b (local) translation: 2 errors.

So Gemma3:4b, TranslateGemma:4b or Ministral-3:3b should provide better results.
Ministral/Mistral capabilities might probably be euro-centric, but otherwise I'm not sure if Gemma3 translates non-western languages any better.

You mentioned the VRAM of Altbot's graphic card is already full. As there is no Qwen3-vl btw. 8b and 30b and switching to 8b might be bad for recognition, maybe a second (smaller and cheaper) card for translations only would be a solution?

Another idea: How about adding a link to a pinned Altbot post at the end of the altbot recognition reply for reporting/discussing issues?

Last, but not least: Thank you for your persistent work on this accessibility tool <3

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions