[manga-image-translator] 自動翻譯漫畫的工具程式

最近參加完公司舉辦的AI大賽, 當時為了參加比賽有課金買了openai API credit 100鎂 (為什麼一口氣買100鎂那又是另一個故事了...), 結果比賽完才花了35鎂左右, 還剩65鎂沒地方花, 就想說來研究一下可以拿來幹嘛, 結果讓我找到一個超棒的開源漫畫翻譯工具: manga-image-translator

https://github.com/zyddnys/manga-image-translator

這個工具支援多個翻譯引擎, 並且直接整合OCR, 所以可以一行指令就直接自動翻譯一整部漫畫 e.g. python -m manga_translator -v --translator=gpt3.5 --gpt-config "I:\gpt_config_cht.yaml" -l CHT -i "I:\Himitsu no Reputairuzu v06"), 適合直接想看渣翻的日文小白使用, 如果是稍微懂日文又想認真翻譯的, 則是會比較推薦可以手動調整的工具, 像是下面這個:

https://github.com/dmMaze/BallonsTranslator

順便也放之前分享的日文小白專用文章:

啃生肉漫推薦 - moeka.me網站的mangaEditor

[OCR+即時翻譯] Capture2Text 軟體推薦 - 玩Gal Game or 生肉漫神器

回歸正題, 會想推manga-image-translator這個工具的最大理由, 除了他支持批次翻譯以外,  最棒的是支援openai GPT-3.5 & GPT-4, 應該不少人都覺得google的日文翻譯跟OO沒兩樣, 看google翻譯出來的日文真的很痛苦, 可是如果是chatGPT的話, 翻譯品質就好多了, 下面用我超喜歡的一部台灣代理斷尾漫畫: 機車一族比較:

可以看到google翻譯還是很渣, 可是GPT-3.5 & GPT-4還不錯, 甚至我覺得GPT-3.5還略好一點 (當然只看一張不太準就是了)。

再來看看其他用GPT-3.5翻譯的頁面:

坦白說有點慘, 不過這不是GPT的問題, 翻譯的時候會產生一些中間檔案, 如果是維持原本的日文, 代表那是OCR沒處理好, 沒辦法解析文字是什麼; 反之如果是一片空白, 則是翻譯引擎出問題。 如果是翻譯引擎出問題, 還可以調教一下gpt prompt或temperature在試試看, OCR出問題除了手工處理應該沒其他招了, 對日文小白來說應該就是靠腦補了吧...。

再來換另一個也是超喜歡但是後續沒翻譯的漫畫: 秘密爬蟲類

這部的翻譯品質就很不錯, 不知道是畫質的關係導致機車一族OCR比較難parse文字還是其他原因, 只要OCR能正常運作, GPT的翻譯引擎我自己是覺得算很夠力的, 不過偶爾還是會有一兩頁凸槌, 像下面這頁:

文字框是空白代表OCR有正確parse文字, 看起來是所有翻譯內容都擠到了第一格, 比較像GPT引擎出問題, 改下temperature再跑一次就正常了:

再來看看如果用GPT引擎, 要花多少錢吧, 下面是我分別用GPT-3.5 & GPT-4翻譯一頁的成本:

GPT-3.5一頁小於0.01鎂 (台幣0.3塊), GPT-4則是一頁要0.04鎂 (台幣1.2塊), 以CP值來說, 我不覺得GPT-3.5的翻譯品質有比GPT-4差很多, 所以我幾乎都只用GPT-3.5翻譯。 下面是翻譯整部機車一族15卷(207頁)的成本, 大概0.3鎂 (台幣9塊), 一部渣翻漫畫不用台幣10塊錢, 個人覺得真的很不錯XD

另外這個工具也支援用Nvidia顯卡GPU平行處理, 只要你的顯卡有支援cuda, 就可以開啟平行處理功能, 翻譯機車一族15卷的總共時間如下:

* Google (only CPU) - 3957.51秒 (1小時05分)

* Google (GTX1060 - cuda) - 3061.18秒 (51分)

* GPT-3.5 (GTX1060 - cuda) - 5475.2秒 (1小時31分)

其實沒省多少時間, 畢竟cuda應該頂多省影像處理的時間, bottleneck主要還是在翻譯引擎上, 聊勝於無啦~。

另外小提醒一下, 如果翻譯的不是簡體中文而是繁體中文, 會有機率翻譯成廣東話 (不知道是不是香港中文的關係?), 要解決這問題也很簡單, 修改一下prompt加個taiwan關鍵字就沒問題了~。

這次分享差不多就到這邊, 這次找到的這個工具真的超棒, 不過最後還是提醒一下, 最好不要亂用這個程式做商業營利或隨意散佈渣翻的檔案, 畢竟這就是渣翻, 要是因為網路上有了渣翻導致減少翻譯大老翻譯意願, 變成劣幣驅逐良幣的情況的話就得不償失了, 建議這個工具還是日文小白自用就好!