2021年8月2日 星期一

MahoMangaDownloaderVer14.6 & 14.5更新

昨天發布更新後, 就有不少使用者留言, 內容大致如下:

1. Ver14.5版本在下載coco漫畫時程式會不定時強制結束(crash)

2. dm5.com無法下載

3. lovehug.net網站無法瀏覽, 更換後的網域名為welovemanga.net


關於第一個問題, 因為這次針對coco漫畫導入cloudflare的防護措施, 下載器改用節錄cefsharp封包的方式儲存圖檔, 這塊做好後我大致測過一下就出新版了, 沒有做壓測所以沒踩到這個雷, 今天測了下有reproduce出來了, 問題在節錄封包的程式碼, 這塊我是stackoverflow直接抄來的, 沒注意到其實有人有留comment說有bug, 直接就開心的拿來用了QQ

https://stackoverflow.com/questions/45816851/using-cefsharp-to-capture-resource-response-data-body

底下留言也有提供cefsharp官方的使用手冊, 以及response-filtering的範例程式, 使用以後測試完看來是沒問題了, 果然比起google找答案, 官方手冊才是聖經阿, 只是太長了不太可能一整個看完, 也用不到那麼多功能...。

https://github.com/cefsharp/CefSharp/wiki/General-Usage#response-filtering

另外還有改一個小地方, 因為coco漫畫現在改成用瀏覽器側錄的方式載圖, 可是網站的圖片都是用lazy loading, 我只能控制瀏覽器的滾軸拉到最低或跳來跳去, 強迫他去下載所有圖片, 因為這有點機率性的去戳他逼瀏覽器載圖, 所以如果是頁數太多的漫畫會有點卡, 這個就沒輒了, 畢竟現在也只能100%靠瀏覽器套件, 不能parser寫好打request去載圖...。


至於 dm5.com無法下載問題, 看了下 dm5.com網站整個不給連了(403 error), 不過dm5 cn域名(dm5.cn)可以正常瀏覽, 看起來是網站方把.com封掉只營運.cn域名, 這塊就讓下載器多支援cn域名就好~, 而lovehug網站換域名問題也是一樣, 只是我用瀏覽器試了下welovemanga網站, 裡面的圖片都是死的, 感覺是網站還在建置沒搞好, 這塊就先改支援域名, 之後就等網站好了在看有沒有需要修~。


Ver14.6 更新內容:

* 修復Ver14.5版下載coco漫畫時會機率性crash問題
* 支援dm5.cn域名
* 支援welovemanga.net域名

檔案位址:

https://drive.google.com/file/d/1HSxq2ZRdTekhaQlTWtWIB28mrzHT1e4S/view?usp=sharing


32位元版本:

https://drive.google.com/file/d/1v_WytaaovEnPlk_QAdAkRNTNuFPcfXOO/view?usp=sharing


這次更新主要是修復最近使用者回報的兩個問題:

1. 無限動漫抓取的漫畫名稱變成空白

2. coco漫畫會跳出403 forbidden error

基本上第一個問題好解決, 就是網站改版parser跑掉了, 修一下parser讓下載器能抓到正確的漫畫名稱就好。

至於第二個問題就頭大了, coco漫畫網站導入了cloudflare雲端防護服務, cloudflare判斷機器人的標準超嚴格, 我就算模擬跟瀏覽器一模一樣的header以及cookie, 還是會被阻擋...。 不知道到底是怎麼做到的...。

沒辦法治本, 就只能治標了; 我把coco漫畫的parser跟下載全部都用cefsharp瀏覽器套件去跑, parser的部分原本就有做了所以問題不大, 至於下載的部分..., 研究了一下怎麼去截錄瀏覽器的response resource, 直接把瀏覽器取得的圖片直接轉存下來, 而不是以前那樣拿到url後在一個一個下載。

因為這做法也是第一次實作, 目前我自己手測是沒有問題; 不過現在下載器要直接跟cloudflare的防護對幹, 感覺一定有各種雷..., 這個就見招拆招了...。


再來是慣例的推坑時間, 這次想推薦最近填坑的動畫: "三顆星彩色冒險", 巴哈動畫瘋也有上架:


巴哈動畫瘋:
https://ani.gamer.com.tw/animeVideo.php?sn=9319

介紹: 這是一部善良的動畫 (完)

基本上就是部讓人會心一笑的治癒番, 至於多治癒就看過的人才知道了, 這邊不詳述了XD





Ver14.5 更新內容:

* 修復無限動漫改版後, 下載器無法正確抓取漫畫名稱問題
* 修復 coco漫畫導入cloudflare防護後, 下載器跳出403 forbidden error不能下載問題


下載器Demo圖:




介紹:

https://project.zmcx16.moe/?page=mahomangadownloader


MahoMangaDownloader下載器主要為幫助使用者改善線上漫畫的閱覽體驗, 如果試看的漫畫您非常喜歡, 也請麻煩購買正版支持原作者, 讓作家們能繼續創造出下一部更棒的作品。


環境需求

.Net framework 4.5.2或以上的版本

Visual C++ 2015 (只能安裝2015版, 其他版本不行)


簡單除錯:

* 如果下載失敗, 麻煩先用瀏覽器測試看資源是否存活。

* 如果能正常用瀏覽器瀏覽, 麻煩先查看LogFiles資料夾內的log檔案看錯誤訊息為何。

* 回報問題時, 麻煩提供有問題的網址以及log內容, 這樣我才有辦法測試找問題原因。


檔案位址:

https://drive.google.com/file/d/1vpJwEWEOrvVrncM3oefd7AqEWCWwCiUu/view?usp=sharing


32位元版本:

https://drive.google.com/file/d/1alagCqRYSK7fPoHn_J7lMRp_5JcuefU9/view?usp=sharing


解壓密碼:zmcx16


免責聲明:

******************

MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。


52 則留言:

  1. 感謝 zmcx16大神 !
    抽空修護coco漫畫403問題
    剛剛己下好幾話漫畫了,願大大一切順心~
    再次感恩大神幫忙 T.T

    回覆刪除
    回覆
    1. 不客氣~ 現在越來越多網站導入cloudflare防護了, 爬蟲越來越難寫了, 只能見招拆招了XD

      刪除
    2. 作者您好,目前COCO漫畫似乎又有更動防護了,稍早之前嘗試下載,程式端都會回報錯誤唷,麻煩您有空再看看~

      刪除
    3. 您好, 我剛測試是可以正常下載的, 如果是下載到一半忽然不行的話, 有想到以下幾個原因:

      1. 被網站ban ip
      2. 被機器人驗證阻擋

      要確認問題的話, 可以用瀏覽器瀏覽網站看看, 如果不能連的話, 如果有機器人驗證的話可以手動驗證後在測試看看; 如果網站完全不能連, 可以試試換ip看看。

      如果都不行, 可以看log資料夾的log檔案, 看錯誤訊息是什麼, 我在研究看看。

      刪除
  2. http://www.dm5.com/
    這個網站也無法下載了
    再麻煩大大看一下 謝謝

    回覆刪除
    回覆
    1. 您好, 剛剛看了下dm5.com會直接回403 error, 取而代之dm5.cn可以連, 看起來現在只有cn domain有提供服務, 預計下一版會新增支援domain

      刪除
    2. 您好, Ver14.6下載器已支援dm5.cn網域, 細節:
      https://blog.zmcx16.moe/2021/08/mahomangadownloaderver145.html

      P.S. 如果自動更新跳出by av virus failed, 代表google drive目前用量超標, 過段時間後在更新應該就會好。

      刪除
    3. 你好,已更新但dm5還是沒反應

      刪除
    4. 您好, 你下載的是dm5.cn嗎? 還是dm5.com? 後者現在網站已經沒辦法連了, 只有dm5.cn才可以使用。

      刪除
    5. 奇怪 dm5.com 我進去看還在,下載也沒問題

      刪除
    6. 恩...下載沒問題就是沒被403阻擋, 我自己的網路環境測試是dm5.com進不去, 可是m.dm5.com跟dm5.cn可以, 只能認為是server阻擋了特定地區的IP。

      因為是網路環境問題, 這個就只能看個人環境去處理了, 目前下載器能做的就是多提供dm5.cn的domain...

      刪除
  3. https://lovehug.net/最近又改版了,點擊內容會跳到https://welovemanga.net/,請大大協助處理,謝謝

    回覆刪除
    回覆
    1. 沒想到又換網域名了..., 我這邊會在修正, 謝謝回報。

      刪除
    2. 剛剛上welovemanga網站看圖片都是掛掉的, 應該會過陣子等網站穩定在處理這問題...。

      刪除
    3. 看圖片會掛掉的問題,我發現只要登入帳號密碼就可以看

      刪除
    4. 我剛剛註冊個會員測試也是這樣, 表示網站目前不對外公開, 只開放給會員使用了, 這塊要讓下載器能支援就變成得讓使用者手動輸入cookie, 才有辦法讓下載器下載, 目前打算有空下一版在加這功能了...。

      刪除
  4. 新版的下載coco發現會閃退.連續試了幾次都會直接退出程式.

    回覆刪除
    回覆
    1. 您好, 剛剛做了一下壓力測試的確有這問題, 因為這方法是第一次實作, 還沒有經過長時間驗證測試, 我這邊會再研究一下怎麼修復這問題, 感謝回報!!

      刪除
    2. 您好, Ver14.6下載器目前已修復下載coco漫畫程式會隨機crash問題, 細節可參考這:
      https://blog.zmcx16.moe/2021/08/mahomangadownloaderver145.html

      P.S. 如果自動更新跳出by av virus failed, 代表google drive目前用量超標, 過段時間後在更新應該就會好。

      刪除
  5. 跳出兩個方塊
    第一個
    Bypass GoogleDrive anti-virus check failed
    第二個
    Online Update is failed

    現在也不能用google在線上下載了
    感覺有點鬱卒

    回覆刪除
    回覆
    1. 如果自動更新跳出by av virus failed, 代表google drive目前用量超標, 過段時間後在更新應該就會好。

      因為檔案是放在google drive代管, export api有流量上限, 超過就只能等時間冷卻或手動下載, 這塊目前也只能這樣, 暫時沒有換儲存空間的打算喔。

      刪除
  6. 不好意思 我有成功留言嗎? 沒及時刷新

    回覆刪除
  7. 您好 最近透過SoftEther VPN (應該是用日服) 進www.manhuagui.com的時候出現403 Forbidden nginx/1.14.2

    回覆刪除
    回覆
    1. 您好, 403問題基本上沒解, 可能是server封鎖日本ip, 或是個人ip因為下載太多被ban ip, 遇到這種情況只能換ip處理了。

      刪除
  8. 您好,很謝謝您的開發,用得很開心o(≧▽≦)o🌸🌸
    這邊想問問您有看過《麥穗星之夢》嗎?🌸🌸
    因為印象中好像看過您提到喜歡《宇宙兄弟》?🌸🌸
    想說那麼也許您也會喜歡類似題材的作品,故分享給您。🌸🌸

    回覆刪除
    回覆
    1. 剛google了一下感覺還不錯, 而且也有動畫。 感謝推薦, 先來追動畫看看XD 動畫好看在繼續追漫畫~。

      刪除
  9. 您好,有個小問題來回報。
    頁面 https://www.mhgui.com/comic/12297/ 分析時,會跳出「
    KeyNotFoundException: 指定的索引鍵不在字典中。」error。
    其他書都沒遇到,故無腦猜可能是書名用了特殊字元的關係?不知道好不好修復。

    再次感謝持續更新!

    回覆刪除
    回覆
    1. 您好, 下載器目前漫畫櫃域名只支援manhuagui, 你可以把上面的網址換成https://www.manhuagui.com/comic/12297/
      應該就可以使用了。

      刪除
    2. 阿...抱歉沒檢查支援清單,剛好這本我找到的兩個網域都這樣失敗(也都沒支援),其他本又是 manhuagui 而成功,所以就猜是特殊字元了 orz。感謝費心!

      刪除
    3. 不客氣, 有些網站支援一堆網域名, 我這邊也沒辦法掌握.. mhgui預計會下一版也加進去判斷清單裡~。

      刪除
  10. 已有已有C++ 2017 Redistributable
    無法安裝C++ 2015 Redistributable 要如何解決

    回覆刪除
    回覆
    1. VC++的相依性問題微軟有出2015 2017 2019整合版, 你可以把電腦的2017移除掉, 再裝2015~2019整合版: https://support.microsoft.com/zh-tw/topic/%E6%9C%80%E6%96%B0%E6%94%AF%E6%8F%B4%E7%9A%84-visual-c-%E4%B8%8B%E8%BC%89-2647da03-1eea-4433-9aff-95f26a218cc0

      刪除
    2. 謝謝 不過有個問題是使用下載器
      下載manhuagui的漫畫時 會一直出現錯誤訊息 且使用瀏覽器也無法連到網站
      一直要重啟網路更換IP才可以

      是我操作上錯誤嗎?

      刪除
    3. 您好, 連瀏覽器都不能連就是被ban ip了, manhuagui如果大量下載或下載的都是少頁數漫畫會容易被ban ip, 這只能治標沒辦法治本, 最好少量下載或改設置加大延遲時間。

      刪除
    4. 好的 謝謝您的說明

      刪除
  11. 作者已經移除這則留言。

    回覆刪除
  12. 您好 請問建議的延遲時間大概多少比較好

    回覆刪除
    回覆
    1. 您好, 這會取決於個人的網路環境(浮動或靜態IP), 使用的網站(有些網站會ban ip)等等, 建議自己找個適合的值使用就好。

      刪除
  13. 關於coco,好像又更新網域名?從本來的cocomanhua變成cocomanga了?
    可以的話還請管理人確認

    回覆刪除
    回覆
    1. 您好, 感謝回報, 預計這周末更新支援新網域名~。

      刪除
  14. 請問大大copymanga漫畫有時網址貼上去,下載器讀取都是讀空的,需要重開啟下載器才會成功讀取...不知是否是我的問題?!
    coco漫畫403問題又來了T,T

    回覆刪除
    回覆
    1. 您好, copymanga我剛剛測試測不出你遇到的問題, 照理說每次貼網址都是獨立的行為, 可能就剛好當下網站不給讀...

      coco漫畫昨天有人回報換網域名了, 預計這周末會更新支援新域名~。

      刪除
    2. 下載其它站都沒其問題,只有COPY站會這樣
      目前我讀不到的網址就先關掉下載器再重開就可以讀到了..

      非常感恩大大的回覆!!
      祝大大順心

      刪除
    3. 恩, 這問題我覺得也只能先這樣解了, 我這邊沒辦法reproduce也沒辦法處理, 應用程式每個人環境都不一樣..., 如果有遇到問題在說~。

      刪除
  15. 8com掃描時跳出問題~只有8com有這問題~manhuagui沒有
    ERROR 2021/08/27 15:41:08 MahoMangaDownloaderForm MoveNext System.Net.WebException: 無法連接至遠端伺服器 ---> System.Net.Sockets.SocketException: 連線嘗試失敗,因為連線對象有一段時間並未正確回應,或是連線建立失敗,因為連線的主機無法回應。 23.237.182.154:443
    於 System.Net.Sockets.Socket.DoConnect(EndPoint endPointSnapshot, SocketAddress socketAddress)
    於 System.Net.ServicePoint.ConnectSocketInternal(Boolean connectFailure, Socket s4, Socket s6, Socket& socket, IPAddress& address, ConnectSocketState state, IAsyncResult asyncResult, Exception& exception)
    --- 內部例外狀況堆疊追蹤的結尾 ---
    於 System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
    於 System.Net.WebClient.DownloadData(Uri address)
    於 WebClass.Web.WebClient_downloadData(String& acceptdata, String url, String Encoding)
    於 MahoMangaDownloader.MangaClass._8comic.GetSource(String url, List`1& mangas, MenuDataType& menu_data_type)
    於 MahoMangaDownloader.MangaClass.MangaFactory.GetSource(String url, List`1& mangas, MenuDataType& menu_data_type)
    於 MahoMangaDownloader.MangaClass.MangaFactory.ScanToGetNeedUpdate(MangaType type, MenuDataType& menu_type, String url_keyword, List`1& mangas)
    於 MahoMangaDownloader.MahoMangaDownloaderForm.DoScan(List`1& mangas, MangaType& manga_type, MenuDataType& menu_type, String& path, Boolean& latest)
    於 MahoMangaDownloader.MahoMangaDownloaderForm.<>c__DisplayClass88_0.b__0()
    於 System.Threading.Tasks.Task.Execute()
    --- 先前擲回例外狀況之位置中的堆疊追蹤結尾 ---
    於 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
    於 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
    於 System.Runtime.CompilerServices.TaskAwaiter.GetResult()
    於 MahoMangaDownloader.MahoMangaDownloaderForm.d__88.MoveNext()

    回覆刪除
    回覆
    1. 喔~更正~剛剛去網站~發現進不去了~晚點再試試看

      刪除
    2. 的確是網站的問題~剛剛再試一次就可以了
      然後再掃瞄一次~掃到一半又跳出上面訊息
      馬上去網站看~果然是網站問題
      無法存取這個網站www.comicbus.com 的回應時間過長。
      應該今天8com網站不穩吧

      刪除
    3. OK, 如果有問題在說~。

      刪除
  16. https://boylove.cc/
    大大您好,您的軟體真低方常好用QQ
    另外不知道可不可以製作抓這個網站的漫畫呢?
    女性福利,拜託拜託~

    回覆刪除
  17. 以及漫蛙https://manwa.me/booklist
    希望希望><!

    回覆刪除
    回覆
    1. 您好, 目前已經花費不少時間在維護現有的網站, 手上又有不少其他專案在忙, 暫時不考慮增加新網站喔, 不好意思 > <

      刪除
    2. 不會,很謝謝您的回覆:D ~

      刪除