2019年10月30日 星期三

MahoMangaDownloaderVer9.2更新

這次更新主要是無限動漫又換網域了, 這網站還真是我看過最常換網域的漫畫網, 以下是下載器這五年下來看到的無限動漫網域名:
["8comic.com", "comicvip.com", "comicbus.me", "comicbus.com",  "comicvip.com", "v.comicbus.com", "v.nowcomic.com", "comicbus.live"]

不過認真說無限動漫也只是換網域跟改重導向的js, 我只要花5分鐘微調就好, 反倒是漫畫櫃還是動漫屋, 各種阻擋還有小改版防下載器的手段才真的是讓人噁到..., 不過也只有某一陣子特別誇張, 感覺最近也不太常改版了, 希望繼續保持XD


Ver9.2 更新內容:
  • 修復無限動漫換網域名導致下載錯誤問題


下載器Demo圖:





介紹:
https://project.zmcx16.moe/?page=mahomangadownloader


環境需求



簡單除錯:
  1. 如果下載失敗, 麻煩先用瀏覽器測試看資源是否存活。
  2. 如果能正常用瀏覽器瀏覽, 麻煩先查看LogFiles資料夾內的log檔案看錯誤訊息為何。
  3. 回報問題時, 麻煩提供有問題的網址以及log內容, 這樣我才有辦法測試找問題原因。



檔案位址:
https://drive.google.com/open?id=13XHKA96j4tGvOvZI-7EgxsY_zW2vAHzy

32位元版本:
https://drive.google.com/open?id=1aQTBzmwDqlsgVK_C8Vwf-HxU_5R1h8J_

解壓密碼:zmcx16



免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2019年10月24日 星期四

norn-minehunter網站開發 [美股掃雷&健檢網站]

由於今年美股獲利還不錯, 9月在寫投資日誌時忽然想到, 以往自己在選股以及選擇買賣時機時, 都是開Yahooh財經隨意看看財報, 並沒有一個有系統的方法去選股以及審視手邊持股, 這樣不僅浪費時間而且又不嚴謹, 如果有個系統或線上網站可以幫我去抓個股財報資料並用各種策略直接分析, 系統分析完只要地雷指數太高的個股就直接放生掉, 這樣不僅節省時間也可以避免主觀意識影響太重, 應該可以對我未來的投資生活有所幫助, 就決定立馬進行了!!!  以下是成果:

掃雷網站位址:
https://norn-minehunter.zmcx16.moe/

Github:
https://github.com/zmcx16/stock-minehunter

Illustrator:
超愛喝榛奶

Demo:





利用下班以及放假時間, 前端+後端大概花了兩個禮拜完成, 不過做完後還要等我哥把圖生出來, 4天連假除了打機戰T之外就想說來多實作幾個名人的策略, 主要是參考以下這兩個網站:

  1. 美股價值成長投資
  2. 台灣經濟新報(TEJ)

至於個股基本資料以及財報的取得, 目前主要是以下面兩個網站為主:
  1. Finviz
  2. Yahoo財經
Finviz是個十分強大的選股網站, 除此之外他也提供查詢個股基本資料(ROE, EPS, P/E, Dividend...etc), 不過提供的資料都只是單一數據, 並沒有完整的季財報以及年財報, 完整財報部分我則是從Yahoo財經取得, 不過Yahoo財經只提供近四年的財報給免費用戶, 雖然有點少不過也算堪用了, 不如說也只能妥協..., 如果有人知道有哪個地方可以方便取得更久遠的財報的話希望可以分享一下 > <


網站架構方面, 當初設計這個網站時就是定位成單一功能的小網站, 並且打算把所有策略相關的設定跟掃描等功能都做到後端, 好處是這樣以後新增策略也只要改後端, 不用再改前端的code; 缺點就是排版很沒彈性, 會稍稍不美觀, 不過因為這網站是以功能導向為主, 而且我就是PM兼RD兼QA, 所以就這麼決定我說了算了WWW

另外來說個開發過程遇到的趣事(?), 在網站完成只差等我哥把圖畫完的時間, 我想說來做個performance test看看, 就一口氣丟了一堆策略給server看能不能正常work, 結果server吐回502 bad gateway回來...。 然後看了下自己的log沒異常, 看IIS log也是502沒錯, 而且我的unit test還有實際環境送少量策略都是能正常work的, 就覺得應該是Azure or IIS設定的問題, 之後開始Google找原因, 雖然找到了不少可能的原因, 可是怎麼試都沒有用, 就卡關卡了超久...。

後來卡關到受不了, 死馬當活馬醫開Windows event log來看, 結果發現dotnet.exe crash了..., 這就很神奇了, 因為我的web application有用一層try catch包起來, 要是跳exception應該會被捕捉到並寫log才對啊。 之後再研究一下, 發現crash的點是在我開thread去跟Yahoo Finance要財報的地方, 如果我1分鐘內打超過100個request, Yahoo Finance會直接回404給我, 然後我打request要資料的部分為了省時間, 是同時開好幾個thread去執行的, 如果crash的地方是在其他thread, 那外層的try-catch就捕捉不到, 所以才造成明明跳exception但是log卻沒有任何資訊的問題, 我一開始就往迷宮錯的地方GO了ㄚㄚ!!!  難怪怎麼找都找不到原因...。

找到問題解決方法就簡單了, 我直接在thread function用一個try catch包起來, 要是跳exception我就自定義錯誤傳給外面的程式就好, 一個簡單的問題就因為方向錯誤搞到早上五點半, 這時候也只能笑了(遠望 + 眼神死)

最後來個閒話家常, 網站的形象圖一樣是交給我哥畫, 至於小妖精的Loading畫面則是拿我大學時代修遊戲製作的課程時請他幫忙畫的NPC動作圖, 直接挖出來做成loading小動畫, 畢竟要是使用者輸入太多個股以及策略的話就得等待比較長的時間, 就決定用現有素材來自製個小loading動畫了, 結果做出來總有種滿滿的復古感WWW

如果有人喜歡這網站並且想分享自己的策略的話, 歡迎留言 or 寄信聯絡我, 我有空的話會實作並放到網站上給大家使用 :)

2019年10月23日 星期三

MahoMangaDownloaderVer9.1更新

這次更新主要是有使用者反應EH站的CG圖庫或是標註ongoing的資源並不是一次性的資源, 然後每次新增圖片時有些資源都是往最前面插入新圖, 這會導致下載器的自動檢查已下載的機制有所衝突, 因為下載器檢查已下載是以網站的圖片順序去比對下載路徑的檔案頁碼是否存在, 如果是向前插入那網站上跟硬碟上的頁碼內容就整個位移造成錯亂, 遇到這種問題以往做法就是只能資料夾砍掉重載...。

原本這問題基本上無解, 因為下載器原本為了支援檢查圖片已下載的功能, 所以會重命名圖片檔名為頁碼名稱, 如果真的要支援下載原檔名, 那就得一個網頁一個網頁打request看檔名是什麼, 這樣檢查是否已下載過圖片的功能基本上就廢了(畢竟會超級慢...跟重新下載差不到哪去了...), 所以支援原檔名下載的功能即便不少使用者有提這個feature request, 不過因為沒想到好的解決方案我就一直沒有做(當時想到的解決方案只有下載時額外在儲存路徑多存一個索引檔紀錄資訊, 然後下載器就以那個索引檔作為基準, 不過那個索引檔還是要跟網站sync, 畢竟有可能同個網址又有update, 整個太複雜就一直放生了...)。

這次又有使用者提出這問題後, 就想說死馬當活馬醫研究一下, 結果竟然被我發現原來EH站的資源預覽頁面的縮圖資訊就有包含圖片檔案的檔名, 這樣我就不用真的一頁一頁去打request去要檔名, 跟檢查檔案衝突的問題立馬解決了。 當下心中第一個冒出的想法就是: "神諭降臨了!!! 感謝阿克婭女神為下載器給予天啟阿~~~"





沒想到這麼多年放生的feature request竟然最後真的實作了, 百感交集阿... 由於太興奮就打算今日事今日畢立馬更新了XDD


另外還有個更新是之前某天發現我的下載器資料夾怎麼超過1GB以上, 後來一查發現原來是CefSharp會自動寫log, 然後就越寫越肥寫到1G多, 他X的超恐怖!! 不過因為一般使用者更新完就會砍掉所有檔案只留setting檔, 所以之前有在更新的使用者就不會有影響, 基本上不是太大的問題, 這次也就順便加個砍Cefsharp log的機制。

Ver9.1 更新內容:
  • 新增支援檔案原檔名(目前只支援EH站) [啟用: 設置->勾選下載原檔名]
  • 自動移除CefSharp debug log


下載器Demo圖:





介紹:
https://project.zmcx16.moe/?page=mahomangadownloader


環境需求



簡單除錯:
  1. 如果下載失敗, 麻煩先用瀏覽器測試看資源是否存活。
  2. 如果能正常用瀏覽器瀏覽, 麻煩先查看LogFiles資料夾內的log檔案看錯誤訊息為何。
  3. 回報問題時, 麻煩提供有問題的網址以及log內容, 這樣我才有辦法測試找問題原因。



檔案位址:
https://drive.google.com/open?id=1ujBkmI6-wcNv_epwRkNxVAD8xESIS_BX

32位元版本:
https://drive.google.com/open?id=1PN5rcIYfMFeUItQY7S4-DEF_vX1Kc3Ch

解壓密碼:zmcx16



免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。