Weird problem with machine translation

Can someone explain to me what goes wrong here?

Danish text:

Din anden bank Prøv en anden bank uden at forlade din gamle Det får du Konti og kort Få svar på dine spørgsmål Lunar er til dig, der vil have kontrol over dine penge, styre dem nemt og have endnu mere ud af dem. Vi er en moderne bank, som du kan skræddersy efter dine egne behov. Det koster intet at prøve Lunar, men det kan koste dig penge og tid at lade være. Gør som mange af vores brugere, og brug os som din anden bank uden at forlade din gamle. Rækker dine penge ikke til hele måneden? Drømmer du om flere rejser? Vil du sætte barren højere for din økonomi? Så vil du få stor gavn af Lunar. Få overblik og kontrol over din økonomi, og få råd til mere med appens revolutionerende nye features. Hent Lunar gratis, og tilmeld dig på få minutter direkte fra mobilen. Du kan bruge os som din eneste bank - men du kan også bruge os som din anden. Så behøver du ikke forlade den, du har nu. Det gør mange af vores brugere allerede, fordi de med Lunar som nummer to får et helt unikt overblik over pengene. Det er nemt: Du overfører bare penge til din Lunar-konto, og så har du appens features til at hjælpe med økonomien hver dag. Lav fx en forbrugskonto eller en opsparingskonto. Du kan knytte din gamle bank til Lunar-appen og samle alt ét sted. Se transaktioner, og lav overførsler på tværs af dine banker. Opsparing kan virke uoverskueligt, men med Lunar er det nemt. Opret dine opsparingsmål med et swipe, og opsæt regler for opsparingen. Så klarer appen det for dig. For eksempel kan den automatisk runde beløbet op, når du bruger dit kort. På den måde sparer du hele tiden sparer lidt op, uden du mærker det. Du vil blive overrasket over, hvor hurtigt små beløb kan vokse sig store. Før du aner det, har du sparet sammen til den nye computer eller rejse, du drømmer om. Vil du i gang med at investere? Med Lunar Invest behøver du hverken være ekspert eller bruge mange penge. Du kan investere nemt og billigt, og du kan have din første aktie i hænderne allerede efter få minutter. Investér i dine yndlingsbrands, grønne selskaber eller teknologi - eller i det, der interesserer dig allermest. Ved du, hvilke abonnementer du betaler til? Eller dræner de din konto, uden du er opmærksom på det?

Hey @MortenKP, it looks like the prepare_seq2seq_batch function might be the source of the problem - what happens if you just pass a snippet of danish_text to the tokenizer and model, followed by

tokenizer.decode(translated[0], skip_special_tokens=True)

Note: danish_text is probably too long for the model, so you’ll need to chunk it into smaller passages (e.g. sentences). I’d try doing this with just a single sentence before scaling out to the whole document

Thanks for your input, @lewtun! I changed my setup so it now translates each sentence one by one and I get more better results.

1 Like