2018年1月28日 星期日

[追加更新]MahoMangaDownloaderVer4.8更新

沒想到我更新的當天manhuagui也給我來改版這套, 而且改版的內容還是針對下載器的(有些關鍵字多加引號,  大小寫互換等等...), 真是有夠囧,  可以理解為什麼Jcomicdownload後來都不更新的理由了...。

這次追加更新除了改manhuagui以外, 有另外發現dm5的大改版Parse還是有些規則沒抓到, 目前是補好了, 只是還有沒有其他規則就要再觀察了, 畢竟大改版就是我parse只能重寫, 只能到時慢慢驗了。


<---------->
由於DM5網站大改版了, 所以Ver4.7已經不能下載DM5的漫畫, 除了網站改版導致Parse不到對應的資源位址外, 新版的DM5也不接受版本太舊的瀏覽器瀏覽, 所以從這版程式開始, 必須先執行"Set-Moho_In_IE.reg"註冊程式, 讓webrowser元件能使用到最新版的IE, 之後才能開始正常使用下載器。

另外這次改版也把DM5的搜尋功能拿掉了, 想當初做搜尋功能只是想針對紳士類網站, 方便蒐集各社團以及各類作品, 一般能整套下載的漫畫網站其實搜尋功能並不是很需要, 而且那些網站的搜尋功能都鳥鳥的, 搜尋關鍵字都是模糊搜尋(動不動就來個上千筆囧)。

基於上述理由, 舊的漫畫網搜尋功能雖然會繼續留著, 不過未來網站改版後就不會繼續實作, 只有同人類型作品的網站才會繼續維護搜尋功能。

題外話, 目前依然持續在進行新版下載器的refactoring, 希望過完年前能搞定= =+

Ver4.8更新內容:
  • 修正DM5改版後不能下載問題
  • 移除DM5搜尋功能

版本:Ver4.8

支援漫畫網站:
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/

初次使用程式前, 需執行"Set-Moho_In_IE.reg"註冊程式到IE的註冊表, 設定WebBrowser Control運行的User Agent版本。

支援批次功能,但不提供多執行緒下載(請多珍惜各個資源網站)。

要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置Cookie->輸入帳密),產生Cookie檔後即可下載EX資源,之後皆不需重新設置。

支援搜尋功能,搜尋過濾的關鍵字以及類別選單可在選單->參數設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元。

對應系統:
Windows (需安裝 .net framework 4.5, IE版本11以上)
 



使用第三方套件:
HtmlAgilityPack
Imazen.WebP
libwebp


檔案位址:
https://drive.google.com/file/d/1CUIiJhcIn-1xT7tKFJ8bUjqcigsHXZUb/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1t8xjZIL7Abk6vKA1eU_hAPC1Bvt1X23J/view?usp=sharing


解壓密碼:zmcx16


MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年1月27日 星期六

MahoMangaDownloaderVer4.8更新

由於DM5網站大改版了, 所以Ver4.7已經不能下載DM5的漫畫, 除了網站改版導致Parse不到對應的資源位址外, 新版的DM5也不接受版本太舊的瀏覽器瀏覽, 所以從這版程式開始, 必須先執行"Set-Moho_In_IE.reg"註冊程式, 讓webrowser元件能使用到最新版的IE, 之後才能開始正常使用下載器。

另外這次改版也把DM5的搜尋功能拿掉了, 想當初做搜尋功能只是想針對紳士類網站, 方便蒐集各社團以及各類作品, 一般能整套下載的漫畫網站其實搜尋功能並不是很需要, 而且那些網站的搜尋功能都鳥鳥的, 搜尋關鍵字都是模糊搜尋(動不動就來個上千筆囧)。

基於上述理由, 舊的漫畫網搜尋功能雖然會繼續留著, 不過未來網站改版後就不會繼續實作, 只有同人類型作品的網站才會繼續維護搜尋功能。

題外話, 目前依然持續在進行新版下載器的refactoring, 希望過完年前能搞定= =+

Ver4.8更新內容:
  • 修正DM5改版後不能下載問題
  • 移除DM5搜尋功能

版本:Ver4.8

支援漫畫網站:
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/

初次使用程式前, 需執行"Set-Moho_In_IE.reg"註冊程式到IE的註冊表, 設定WebBrowser Control運行的User Agent版本。

支援批次功能,但不提供多執行緒下載(請多珍惜各個資源網站)。

要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置Cookie->輸入帳密),產生Cookie檔後即可下載EX資源,之後皆不需重新設置。

支援搜尋功能,搜尋過濾的關鍵字以及類別選單可在選單->參數設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元。

對應系統:
Windows (需安裝 .net framework 4.5, IE版本11以上)
 



使用第三方套件:
HtmlAgilityPack
Imazen.WebP
libwebp


檔案位址:
https://drive.google.com/file/d/1CUIiJhcIn-1xT7tKFJ8bUjqcigsHXZUb/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1t8xjZIL7Abk6vKA1eU_hAPC1Bvt1X23J/view?usp=sharing


解壓密碼:zmcx16


MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年1月12日 星期五

MahoMangaDownloaderVer4.7更新 & Refactor計畫開始

這次更新內容為修正Ver4.6的bug, Ver4.6在下載 manhuagui的漫畫時,  stack的部分會越來越大, 大概在下載1~2小時之後就會stack overflow (十分感謝使用者的回報, 不然我可能一直沒發現囧)。

查了下原因在於下載器本身一直在重複使用一開始建好的webclient物件, 雖然之前一直重複使用不會有什麼問題, 可是在Ver4.6時DownloadDataCompletedEventArgs的使用空間會一直越積越大..., 這個類別目前只有dm5以及manhuagui有用到, 不過以前並不會有這問題, 而是在Ver4.6改成下載webp再轉檔成通用圖檔後才有, 由於要再繼續追下去感覺會花非常多時間, 所以最後選擇直接下載完就把webclient物件釋放掉, 下一次下載在重新生成一個新物件就好。

這種要壓力測試才會出現的bug要第一時間發現真的太困難了, 然後這個程式也沒有寫測試程式, 都是用人工測試的...。

回想當時會做這個下載器, 主要是生涯中經歷了當兵退伍 -> 吃公家飯 & 3個月就辭職 -> 準備研究所考試 -> 研究所入學前才隨手做來練功用的, 那時已經有兩年多沒寫過code, 做的時候什麼都不懂, 土法煉鋼的Google->有功能出來就好的拼拼湊湊得做出來的, 當時想說只要能用就好, 也沒想過要釋出, 而真的釋出後發現有不少人會用, 想Refactor卻又一直懶...就這樣拖到了現在...。

遇到這次的bug是真的決心要Refactor了(說是Refactor其實是整個打掉重寫就是了囧),  這次的重點如下:
  1. UI跟程式執行部分徹底切割 ---> 當時的自己根本不知道UI Thread這玩意, 結果下載器卡卡頓頓的慘兮兮不說, 連後來想寫自動測試的部分整個無法動手...。
  2. 改善程式架構 ---> 由於一開始就是打算做爽的, 根本沒考慮過程式架構這回事, 搞的彈性有夠差(那時只覺得寫完應該就是一直放著自己用了, 哪知道之後會加這麼多網站 & 釋出給大家使用)。
  3. 落實自動化測試機制 ---> 手動測試太浪費時間加上找不出像這次的問題, 做好了以後可以省下不少測試的時間以及增加程式的穩定性。
  4. 加入Log ---> 以前只有自己一個人用, 出問題直接debug mode看問題在哪就好, 可是現在程式有人用了, 有log後也比較能快速找到原因, 只靠截圖跟敘述的方式都得來來回回好幾次才能確定出問題的原因。
  5. 改善error handling, 增加程式的穩定性。
  6. 新功能 ---> 目前想到的就是自動下載&通知關注的漫畫, 有更新就會自動下載下來, 畢竟只重構沒有新功能感覺會提不起勁囧

基於責任問題, 在重構完成之前, 如果下載器出現bug (尤其是像網站改版導致不能下載的情況), 依然會持續更新, 直到新版重構完成之前都會繼續維護。

嘛...雖然還有AxisTradeCult要繼續開發, 不過這個就讓我兩邊同時進行吧, 哪邊有幹勁就先做哪邊(希望不要一直兩邊都沒幹勁OTL), 希望最後都能做出讓我滿意的成品~~!!


Ver4.7更新內容:
  • 修正看漫畫(manhuagui, ikanman) 下載一段時間後程式會crash的問題。

版本:Ver4.7

支援漫畫網站:
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/

支援批次功能,但不提供多執行緒下載(請多珍惜各個資源網站)。

要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置Cookie->輸入帳密),產生Cookie檔後即可下載EX資源,之後皆不需重新設置。

支援搜尋功能,搜尋過濾的關鍵字以及類別選單可在選單->參數設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元。

對應系統:
Windows (需安裝 .net framework 4.5)
 



使用第三方套件:
HtmlAgilityPack
Imazen.WebP
libwebp


檔案位址:
https://drive.google.com/file/d/1ooXtHPD20S7II-E0Y7A1EMzWeQQXX_Px/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1kr7T4d96tAWRXNSr981XecnpnfGygSsP/view?usp=sharing


解壓密碼:zmcx16


MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。


2018年1月6日 星期六

MahoMangaDownloaderVer4.6更新

這次更新主要是因為漫畫櫃(manhuagui, ikanman) 會有少數特定頁卡住無法下載的問題,  研究了下發現問題在於漫畫櫃提供的圖檔有兩種格式: webp以及jpg,  如果你是用chrome瀏覽器看漫畫, 漫畫櫃顯示的圖就是.webp, 如果是firefox則是.jpg, 由於.NET並不支援.webp, 所以當時下載器都是打request要求.jpg圖檔, 不過問題是漫畫櫃有些特定圖檔.jpg會顯示不出來, 要嘛過一陣子會好不然就是真的不會好, 而.webp則完全不會有這情況, 大多數都是能正常下載下來的...。

除了上述的鬼故事之外, 漫畫櫃有時擋下載器的方式都抓不著頭緒, 特定圖檔(不是所有)如果你request 的header user-agent有含chrome , 但是卻不要求image/webp的話, 他有時也會回個error 406給你, 總之就是各種千奇百怪囧

為了一勞永逸解決上述那些莫名其妙的狀況, 針對漫畫櫃我就選擇直接下載 webp圖檔了, 由於電腦預設的圖片瀏覽器並不支援.webp, 所以就另外找個第三方的webp轉檔函式庫去轉回通用的圖檔, 所以下載漫畫櫃的漫畫時電腦會在多耗些資源就是了..., 只能說沒辦法哪 OTL

遇到這種事真的只能case by case, 希望自己每次遇到這種情況都有辦法順利解決!!

Ver4.6更新內容:
  • 修正漫畫櫃(manhuagui, ikanman) 特定圖檔卡住不能下載問題。

版本:Ver4.6

支援漫畫網站:
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/

支援批次功能,但不提供多執行緒下載(請多珍惜各個資源網站)。

要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置Cookie->輸入帳密),產生Cookie檔後即可下載EX資源,之後皆不需重新設置。

支援搜尋功能,搜尋過濾的關鍵字以及類別選單可在選單->參數設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元。

對應系統:
Windows (需安裝 .net framework 4.5)
 



使用第三方套件:
HtmlAgilityPack
Imazen.WebP
libwebp


檔案位址:
https://drive.google.com/file/d/1ChIkkEAgzS0ZRwn-h8chJGOw4uVJqOtc/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1kKzhWt4CaN94_ZHzZA5PAv_c_w3G-yig/view?usp=sharing


解壓密碼:zmcx16


MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

AxisTradeCult release & 開發日誌 (3)


最近把技術指標那頁做好了,  DEMO如下:




可以看到各個group的技術指標排版不是很一致, 主要是因為這部分我是直接做個通用的class讓他自己去針對各個技術指標的輸入參數做layout (要我針對每個技術指標一個一個layout還不如殺了我= =), 雖然也可以用絕對位置大小 or 跳出新視窗輸入參數去改善layout問題, 不過我還是
prefer目前的樣式 (用絕對位置大小到時一定會面臨手動微調,  跳出視窗輸入參數則是感覺使用體驗有點煩躁...)。

由於技術指標種類超級多...目前只實作了MA,  BollingerBands 以及 KDJ 這三個指標,  其他技術分析指標則會慢慢補上去。 這部分由於有 jealous / stockstats 大大的github可以參考, 讓我實作技術指標的公式時可以交叉比對自己寫的有沒有問題, 真的是十分感謝~~。

目前這軟體的基本功能做得差不多了, 在來就是關鍵的預測以及回測的功能, 這塊打算先K完 python 數據金融那本書在來動工, 畢竟自己也還沒有什想法要怎麼做, 先多看些相關資料應該會比較有概念要怎麼做吧。

因為基本小功能都有了,  剛好趁這次機會就把程式開源出來, 對python金融有興趣的人歡迎自行取用, 這是第一次用Python做side project (也可以說重新開始學, 畢竟之前只拿來寫過作業...), 有看到什麼問題可以的話也麻煩跟我說一聲, 讓小弟多點學習的機會><



目前完成的功能如下:
  • 程式自動取得關注個股的歷史資訊 (每日的開盤, 收盤, 最低, 最高, 成交量, 調整收盤價, etc...) [資料來源: Quandl]
  • Stocks Overview頁面 (可新增, 移除個股至群組, 可依選擇時間顯示個股資料, 也會計算該天前3個月平均價&成交量以及一年成交價區間)
  • 各種技術分析線圖組合分析 (MA, KDJ, BollingerBands)
待完成項目:
  1. 投資組合頁面
  2. 提供機器學習模型預測
    • 自動取得、生成個股的基底、衍生特徵
    • 支援各類機器學習算法
    • 提供回歸測試模型預測率以及調適最佳參數
    • 提供增強式學習進行策略模擬

2018年1月1日 星期一

2017年投資績效



  • 2017年美股績效:




  • 2017年台股績效:



跟2016年相比少了不少 (2016報酬率: 13.75%), 最大原因在AMD沒有見好就收 & 化身為賭徒給他全押了OTL

果然分散風險還是很重要阿, 雖然平常有分配好資產加上設好停損點, 可是看到碩大甜美的果實時還是忍不住, 這點真的要引以為戒(嘛...這麼多年了雖然改善不少, 不過要做到完全紀律看來還差得遠哪...)

台股的部分基本上就只是抽籤, 扣掉把之前放置Play很久拿到的零股扣掉,  一年下來只有3W多塊, 好懷念之前一年近10W的抽籤報酬阿, 現在感覺高價差的越來越少了,  現在中的都是1000,2000塊這種囧

很高興去年勉強賺到了房租 (不高興的地方則是台北的房租真的太貴了囧),  希望今年也能這樣穩穩的養胖錢包大大!!