昨天發布更新後, 就有不少使用者留言, 內容大致如下:
1. Ver14.5版本在下載coco漫畫時程式會不定時強制結束(crash)
2. dm5.com無法下載
3. lovehug.net網站無法瀏覽, 更換後的網域名為welovemanga.net
關於第一個問題, 因為這次針對coco漫畫導入cloudflare的防護措施, 下載器改用節錄cefsharp封包的方式儲存圖檔, 這塊做好後我大致測過一下就出新版了, 沒有做壓測所以沒踩到這個雷, 今天測了下有reproduce出來了, 問題在節錄封包的程式碼, 這塊我是stackoverflow直接抄來的, 沒注意到其實有人有留comment說有bug, 直接就開心的拿來用了QQ
https://stackoverflow.com/questions/45816851/using-cefsharp-to-capture-resource-response-data-body
底下留言也有提供cefsharp官方的使用手冊, 以及response-filtering的範例程式, 使用以後測試完看來是沒問題了, 果然比起google找答案, 官方手冊才是聖經阿, 只是太長了不太可能一整個看完, 也用不到那麼多功能...。
https://github.com/cefsharp/CefSharp/wiki/General-Usage#response-filtering
另外還有改一個小地方, 因為coco漫畫現在改成用瀏覽器側錄的方式載圖, 可是網站的圖片都是用lazy loading, 我只能控制瀏覽器的滾軸拉到最低或跳來跳去, 強迫他去下載所有圖片, 因為這有點機率性的去戳他逼瀏覽器載圖, 所以如果是頁數太多的漫畫會有點卡, 這個就沒輒了, 畢竟現在也只能100%靠瀏覽器套件, 不能parser寫好打request去載圖...。
至於 dm5.com無法下載問題, 看了下 dm5.com網站整個不給連了(403 error), 不過dm5 cn域名(dm5.cn)可以正常瀏覽, 看起來是網站方把.com封掉只營運.cn域名, 這塊就讓下載器多支援cn域名就好~, 而lovehug網站換域名問題也是一樣, 只是我用瀏覽器試了下welovemanga網站, 裡面的圖片都是死的, 感覺是網站還在建置沒搞好, 這塊就先改支援域名, 之後就等網站好了在看有沒有需要修~。
Ver14.6 更新內容:
檔案位址:
https://drive.google.com/file/d/1HSxq2ZRdTekhaQlTWtWIB28mrzHT1e4S/view?usp=sharing
32位元版本:
https://drive.google.com/file/d/1v_WytaaovEnPlk_QAdAkRNTNuFPcfXOO/view?usp=sharing
這次更新主要是修復最近使用者回報的兩個問題:
1. 無限動漫抓取的漫畫名稱變成空白
2. coco漫畫會跳出403 forbidden error
基本上第一個問題好解決, 就是網站改版parser跑掉了, 修一下parser讓下載器能抓到正確的漫畫名稱就好。
至於第二個問題就頭大了, coco漫畫網站導入了cloudflare雲端防護服務, cloudflare判斷機器人的標準超嚴格, 我就算模擬跟瀏覽器一模一樣的header以及cookie, 還是會被阻擋...。 不知道到底是怎麼做到的...。
沒辦法治本, 就只能治標了; 我把coco漫畫的parser跟下載全部都用cefsharp瀏覽器套件去跑, parser的部分原本就有做了所以問題不大, 至於下載的部分..., 研究了一下怎麼去截錄瀏覽器的response resource, 直接把瀏覽器取得的圖片直接轉存下來, 而不是以前那樣拿到url後在一個一個下載。
因為這做法也是第一次實作, 目前我自己手測是沒有問題; 不過現在下載器要直接跟cloudflare的防護對幹, 感覺一定有各種雷..., 這個就見招拆招了...。
再來是慣例的推坑時間, 這次想推薦最近填坑的動畫: "三顆星彩色冒險", 巴哈動畫瘋也有上架:
介紹: 這是一部善良的動畫 (完)
基本上就是部讓人會心一笑的治癒番, 至於多治癒就看過的人才知道了, 這邊不詳述了XD
Ver14.5 更新內容:
下載器Demo圖:
介紹:
https://project.zmcx16.moe/?page=mahomangadownloader
MahoMangaDownloader下載器主要為幫助使用者改善線上漫畫的閱覽體驗, 如果試看的漫畫您非常喜歡, 也請麻煩購買正版支持原作者, 讓作家們能繼續創造出下一部更棒的作品。
環境需求
Visual C++ 2015 (只能安裝2015版, 其他版本不行)
簡單除錯:
* 如果下載失敗, 麻煩先用瀏覽器測試看資源是否存活。
* 如果能正常用瀏覽器瀏覽, 麻煩先查看LogFiles資料夾內的log檔案看錯誤訊息為何。
* 回報問題時, 麻煩提供有問題的網址以及log內容, 這樣我才有辦法測試找問題原因。
檔案位址:
https://drive.google.com/file/d/1vpJwEWEOrvVrncM3oefd7AqEWCWwCiUu/view?usp=sharing
32位元版本:
https://drive.google.com/file/d/1alagCqRYSK7fPoHn_J7lMRp_5JcuefU9/view?usp=sharing
解壓密碼:zmcx16
免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。
感謝 zmcx16大神 !
回覆刪除抽空修護coco漫畫403問題
剛剛己下好幾話漫畫了，願大大一切順心~
再次感恩大神幫忙 T.T
不客氣~ 現在越來越多網站導入cloudflare防護了, 爬蟲越來越難寫了, 只能見招拆招了XD
刪除作者您好，目前COCO漫畫似乎又有更動防護了，稍早之前嘗試下載，程式端都會回報錯誤唷，麻煩您有空再看看~
刪除您好, 我剛測試是可以正常下載的, 如果是下載到一半忽然不行的話, 有想到以下幾個原因:
刪除1. 被網站ban ip
2. 被機器人驗證阻擋
要確認問題的話, 可以用瀏覽器瀏覽網站看看, 如果不能連的話, 如果有機器人驗證的話可以手動驗證後在測試看看; 如果網站完全不能連, 可以試試換ip看看。
如果都不行, 可以看log資料夾的log檔案, 看錯誤訊息是什麼, 我在研究看看。
http://www.dm5.com/
回覆刪除這個網站也無法下載了
再麻煩大大看一下 謝謝
您好, 剛剛看了下dm5.com會直接回403 error, 取而代之dm5.cn可以連, 看起來現在只有cn domain有提供服務, 預計下一版會新增支援domain
刪除您好, Ver14.6下載器已支援dm5.cn網域, 細節:
刪除https://blog.zmcx16.moe/2021/08/mahomangadownloaderver145.html
P.S. 如果自動更新跳出by av virus failed, 代表google drive目前用量超標, 過段時間後在更新應該就會好。
你好，已更新但dm5還是沒反應
刪除您好, 你下載的是dm5.cn嗎? 還是dm5.com? 後者現在網站已經沒辦法連了, 只有dm5.cn才可以使用。
刪除奇怪 dm5.com 我進去看還在，下載也沒問題
刪除恩...下載沒問題就是沒被403阻擋, 我自己的網路環境測試是dm5.com進不去, 可是m.dm5.com跟dm5.cn可以, 只能認為是server阻擋了特定地區的IP。
刪除因為是網路環境問題, 這個就只能看個人環境去處理了, 目前下載器能做的就是多提供dm5.cn的domain...
https://lovehug.net/最近又改版了，點擊內容會跳到https://welovemanga.net/，請大大協助處理，謝謝
回覆刪除沒想到又換網域名了..., 我這邊會在修正, 謝謝回報。
刪除剛剛上welovemanga網站看圖片都是掛掉的, 應該會過陣子等網站穩定在處理這問題...。
刪除看圖片會掛掉的問題，我發現只要登入帳號密碼就可以看
刪除我剛剛註冊個會員測試也是這樣, 表示網站目前不對外公開, 只開放給會員使用了, 這塊要讓下載器能支援就變成得讓使用者手動輸入cookie, 才有辦法讓下載器下載, 目前打算有空下一版在加這功能了...。
刪除新版的下載coco發現會閃退.連續試了幾次都會直接退出程式.
回覆刪除您好, 剛剛做了一下壓力測試的確有這問題, 因為這方法是第一次實作, 還沒有經過長時間驗證測試, 我這邊會再研究一下怎麼修復這問題, 感謝回報!!
刪除您好, Ver14.6下載器目前已修復下載coco漫畫程式會隨機crash問題, 細節可參考這:
刪除https://blog.zmcx16.moe/2021/08/mahomangadownloaderver145.html
P.S. 如果自動更新跳出by av virus failed, 代表google drive目前用量超標, 過段時間後在更新應該就會好。
跳出兩個方塊
回覆刪除第一個
Bypass GoogleDrive anti-virus check failed
第二個
Online Update is failed
現在也不能用google在線上下載了
感覺有點鬱卒
如果自動更新跳出by av virus failed, 代表google drive目前用量超標, 過段時間後在更新應該就會好。
刪除因為檔案是放在google drive代管, export api有流量上限, 超過就只能等時間冷卻或手動下載, 這塊目前也只能這樣, 暫時沒有換儲存空間的打算喔。
不好意思 我有成功留言嗎? 沒及時刷新
回覆刪除您好 最近透過SoftEther VPN (應該是用日服) 進www.manhuagui.com的時候出現403 Forbidden nginx/1.14.2
回覆刪除您好, 403問題基本上沒解, 可能是server封鎖日本ip, 或是個人ip因為下載太多被ban ip, 遇到這種情況只能換ip處理了。
刪除您好，很謝謝您的開發，用得很開心o(≧▽≦)o🌸🌸
回覆刪除這邊想問問您有看過《麥穗星之夢》嗎？🌸🌸
因為印象中好像看過您提到喜歡《宇宙兄弟》？🌸🌸
想說那麼也許您也會喜歡類似題材的作品，故分享給您。🌸🌸
剛google了一下感覺還不錯, 而且也有動畫。 感謝推薦, 先來追動畫看看XD 動畫好看在繼續追漫畫~。
刪除您好，有個小問題來回報。
回覆刪除頁面 https://www.mhgui.com/comic/12297/ 分析時，會跳出「
KeyNotFoundException: 指定的索引鍵不在字典中。」error。
其他書都沒遇到，故無腦猜可能是書名用了特殊字元的關係？不知道好不好修復。
再次感謝持續更新！
您好, 下載器目前漫畫櫃域名只支援manhuagui, 你可以把上面的網址換成https://www.manhuagui.com/comic/12297/
刪除應該就可以使用了。
阿...抱歉沒檢查支援清單，剛好這本我找到的兩個網域都這樣失敗（也都沒支援），其他本又是 manhuagui 而成功，所以就猜是特殊字元了 orz。感謝費心！
刪除不客氣, 有些網站支援一堆網域名, 我這邊也沒辦法掌握.. mhgui預計會下一版也加進去判斷清單裡~。
刪除已有已有C++ 2017 Redistributable
回覆刪除無法安裝C++ 2015 Redistributable 要如何解決
VC++的相依性問題微軟有出2015 2017 2019整合版, 你可以把電腦的2017移除掉, 再裝2015~2019整合版: https://support.microsoft.com/zh-tw/topic/%E6%9C%80%E6%96%B0%E6%94%AF%E6%8F%B4%E7%9A%84-visual-c-%E4%B8%8B%E8%BC%89-2647da03-1eea-4433-9aff-95f26a218cc0
刪除謝謝 不過有個問題是使用下載器
刪除下載manhuagui的漫畫時 會一直出現錯誤訊息 且使用瀏覽器也無法連到網站
一直要重啟網路更換IP才可以
是我操作上錯誤嗎?
您好, 連瀏覽器都不能連就是被ban ip了, manhuagui如果大量下載或下載的都是少頁數漫畫會容易被ban ip, 這只能治標沒辦法治本, 最好少量下載或改設置加大延遲時間。
刪除好的 謝謝您的說明
刪除作者已經移除這則留言。
回覆刪除您好 請問建議的延遲時間大概多少比較好
回覆刪除您好, 這會取決於個人的網路環境(浮動或靜態IP), 使用的網站(有些網站會ban ip)等等, 建議自己找個適合的值使用就好。
刪除關於coco，好像又更新網域名?從本來的cocomanhua變成cocomanga了?
回覆刪除可以的話還請管理人確認
您好, 感謝回報, 預計這周末更新支援新網域名~。
刪除請問大大copymanga漫畫有時網址貼上去，下載器讀取都是讀空的，需要重開啟下載器才會成功讀取...不知是否是我的問題?!
回覆刪除coco漫畫403問題又來了T,T
您好, copymanga我剛剛測試測不出你遇到的問題, 照理說每次貼網址都是獨立的行為, 可能就剛好當下網站不給讀...
刪除coco漫畫昨天有人回報換網域名了, 預計這周末會更新支援新域名~。
下載其它站都沒其問題，只有COPY站會這樣
刪除目前我讀不到的網址就先關掉下載器再重開就可以讀到了..
非常感恩大大的回覆!!
祝大大順心
恩, 這問題我覺得也只能先這樣解了, 我這邊沒辦法reproduce也沒辦法處理, 應用程式每個人環境都不一樣..., 如果有遇到問題在說~。
刪除8com掃描時跳出問題~只有8com有這問題~manhuagui沒有
回覆刪除ERROR 2021/08/27 15:41:08 MahoMangaDownloaderForm MoveNext System.Net.WebException: 無法連接至遠端伺服器 ---> System.Net.Sockets.SocketException: 連線嘗試失敗，因為連線對象有一段時間並未正確回應，或是連線建立失敗，因為連線的主機無法回應。 23.237.182.154:443
於 System.Net.Sockets.Socket.DoConnect(EndPoint endPointSnapshot, SocketAddress socketAddress)
於 System.Net.ServicePoint.ConnectSocketInternal(Boolean connectFailure, Socket s4, Socket s6, Socket& socket, IPAddress& address, ConnectSocketState state, IAsyncResult asyncResult, Exception& exception)
--- 內部例外狀況堆疊追蹤的結尾 ---
於 System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
於 System.Net.WebClient.DownloadData(Uri address)
於 WebClass.Web.WebClient_downloadData(String& acceptdata, String url, String Encoding)
於 MahoMangaDownloader.MangaClass._8comic.GetSource(String url, List`1& mangas, MenuDataType& menu_data_type)
於 MahoMangaDownloader.MangaClass.MangaFactory.GetSource(String url, List`1& mangas, MenuDataType& menu_data_type)
於 MahoMangaDownloader.MangaClass.MangaFactory.ScanToGetNeedUpdate(MangaType type, MenuDataType& menu_type, String url_keyword, List`1& mangas)
於 MahoMangaDownloader.MahoMangaDownloaderForm.DoScan(List`1& mangas, MangaType& manga_type, MenuDataType& menu_type, String& path, Boolean& latest)
於 MahoMangaDownloader.MahoMangaDownloaderForm.<>c__DisplayClass88_0.b__0()
於 System.Threading.Tasks.Task.Execute()
--- 先前擲回例外狀況之位置中的堆疊追蹤結尾 ---
於 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
於 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
於 System.Runtime.CompilerServices.TaskAwaiter.GetResult()
於 MahoMangaDownloader.MahoMangaDownloaderForm.d__88.MoveNext()
喔~更正~剛剛去網站~發現進不去了~晚點再試試看
刪除的確是網站的問題~剛剛再試一次就可以了
刪除然後再掃瞄一次~掃到一半又跳出上面訊息
馬上去網站看~果然是網站問題
無法存取這個網站www.comicbus.com 的回應時間過長。
應該今天8com網站不穩吧
OK, 如果有問題在說~。
刪除https://boylove.cc/
回覆刪除大大您好，您的軟體真低方常好用QQ
另外不知道可不可以製作抓這個網站的漫畫呢?
女性福利，拜託拜託~
以及漫蛙https://manwa.me/booklist
回覆刪除希望希望><!
您好, 目前已經花費不少時間在維護現有的網站, 手上又有不少其他專案在忙, 暫時不考慮增加新網站喔, 不好意思 > <
刪除不會，很謝謝您的回覆:D ~
刪除