2018年12月23日 星期日

[追加更新]MahoMangaDownloaderVer7.1更新

[2018/12/24更新]

有使用者寄信反映他的環境跑Ver7.0正常, 可是Ver7.1會無法開啟程式, 提供的windows error reporting的錯誤訊息為:
.NET Runtime error:
例外狀況資訊: System.BadImageFormatException
   於 MahoMangaDownloader.Program.Main()

會影響到的原因應該是升級第三方package後造成某些人環境沒辦法執行(沒意外應該是CefSharp造成, 不過該使用者也都有裝好.Net framework以及 Visual C++ 2013, 就不知道舊版跟新版到底又差了那些requirement...), 考慮到可能會有其他人遇到一樣的環境問題, 所以從下一版除了DotNetZip之外, 其它第三方套件還是用原來的版本, DotNetZip非要更新主要是github很貼心的提醒說舊版的DotNetZip有已知的安全漏洞, 所以不更新不行。

每次遇到環境問題都得靠跟網友們密切合作才有辦法找出原因, 如果有更容易解決這類問題的情況就好了(還是乾脆直接提供虛擬環境算了, 玩笑話別當真W)

最後題外話, 沒想到巴尼陣亡紀念日還在更新下載器, 只能說真有我的風格哪WWW

MahoMangaDownloaderVer7.1_build2 下載位置(如果原版Ver7.1可以正常執行就不需要換, 跟原版Ver7.1只差在第三方package版本):
x64:
https://drive.google.com/open?id=1iey2FfyDhFvOMD16Ts0s2UAwVl5My-5I

x86:
https://drive.google.com/open?id=18pRhgxb2Hw3KxUa5GrQPX8xoep2VCqtD



<---------->
久違的更新~~~ 這次更新主要是看漫畫又改版了, 導致下載器又不能取得正確圖源位址。不過認真說距上次更新已經4個月了, 這麼長時間才改版我也算能接受, 至少比起之前幾個禮拜~美個月都要修改版問題好多了, 另外趁著這次改版, 也把之前網友提的問題一口氣處理了, 不過CefSharp佔太多資源的問題目前還沒想到好解法, 這塊就之後有空繼續看了, 如果電腦記憶體不夠的話, 建議把下載的執行緒設定成1, 一次只下載一本漫畫就好。

另外關於線上更新如果有殘留前面備份的資料夾會導致失敗的問題有處理了, 不過由於架構的問題要等到下一次自動更新才會有作用, 麻煩V7.0版以前要線上更新的話, 記得先把備份的資料夾砍掉或重命名後在執行線上更新。

再來是題外話時間~
公司的AI比賽終於結束了, 日本也玩過了, 終於可以喘口氣想想下一步要做什, 希望能趕快找到自己接下來想做什麼阿。目前是打算往前端還有AI這兩個方向練功, 如果可以想到什麼好project讓我邊學邊做就好了, 沒有產出就沒有動力哪!

最後,  一年一度的巴尼陣亡紀念日又要到了,  祝大家巴尼陣亡紀念日快樂WWW

Ver7.1 更新內容:
  • 修復看漫畫(manhuagui)網站改版導致不能下載的問題
  • 新增無限動漫(comicbus)對應網域, 修復程式不認得網域導致不能新增漫畫的問題
  • 修復紳士網資源底下討論區如果有留言, 可能導致程式取得錯誤頁數的問題
  • 修復線上更新要是有之前的備份資料夾會導致更新失敗的問題
  • 修復新增漫畫頁面的反向旋鈕不會隨著視窗大小修正位置的bug
  • 更新下列第三方套件:
    • HtmlAgilityPack 1.8.11
    • DotNetZip 1.13.0
    • cef.redist 3.3497.1841
    • EntityFramework 6.2.0
    • Newtonsoft.Json 12.0.1
    • CefSharp.Common 69.0.0
    • CefSharp.OffScreen 69.0.0

下載器Demo圖:








檔案位址:
https://drive.google.com/open?id=17lRyG_auTL9y0VI5IuOmN8CuWTaxtVQe

32位元版本:
https://drive.google.com/open?id=1XwH0ImzXPg4KgwBvwvt3bwNEhzQnkc3B

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://www.huhudm.com/
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動版本檢查, 線上更新


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://blog.zmcx16.moe/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年9月22日 星期六

2018年1-9月投資績效

中秋連假第一天有點閒, 乾脆先來紀錄今年目前的投資成果。

受惠美股今年仍然持續上漲, 今年的績效依然很不錯~~






可以看到雖然大部分都是賺錢的,  不過有一大敗筆就是高通...

沒錯!!  就是中興通訊事件讓我養了很久的高通直接被洗出去了, 反觀現在高通漲到當時洗出去價錢的50%以上, 看了就心酸...結果就是原本3個月就獲利10幾%的績效, 直接歸0重新開始爬起...(遠望)

自己每次進場一定都會設好停損單, 高通那次設定的停損價錢剛好比之後跌落的最低價差了大概2%, 這2%就決定了虧損9W還是之後的高獲利, 現在回顧也不知道自己設的停損單價錢是對是錯, 畢竟預測未來是不可能的, 能控制的只有虧損而已(雖然有時連控制也不一定辦得到就是了...)。

即便如此, 要不設停損也是不行的, 這次的事件或許只能當被狗咬, 然後就是以後停損設定的條件需要更有些彈性或許比較好吧(例如比支撐的價位在低個1~2%之類的?)。 還有就是之後選標的的時候beta值太高的就不要考慮了, 畢竟自己目前的策略還是穩定為主, beta太高的個股自己目前的經驗來說, 這樣賺賺賠賠的還不如選穩固的標的做波段獲利來得好(雖然每次看到那種高beta的個股漲翻天都會有點心癢就是了> <)。

另外還有個有趣的例子就是FB, 當時看他跌到相對低點後開始往上爬, 正好有標的獲利了結轉換下個標的, 就直接選他了, 然後他也一直往上爬, 後來不知道為什麼就是覺得他漲得差不多了, 就直接獲利了結轉換下個標的了, 結果出脫後下個禮拜FB公布業績整個大跌20%, 只能說運氣真的很好XD

至於台股抽籤的部分嘛...今年9個月下來竟然只抽到一檔, 而且拿到手後賣掉獲益只剩1000左右, 跟去年抽中6檔3W的獲利比起來真的差太多了, 反而是FGO的運氣好到不像話...不用課金卻一直抽到想到的5星角色(而且還是連續3次...),  這就是命運石之門的選擇嗎XDD (大誤)

希望今年結束的時候獲利能比現在的時點更好,  未來也能這樣繼續穩穩的增加業外收入:)



2018年8月31日 星期五

MahoMangaDownloaderVer7.0更新

這次更新主要原因是支援的漫畫網站竟然都不更新Grandblue了!!!!!!

所以追加了有持續更新Grandblue的虎虎漫畫XD  還有修了些小bug。 資源優化的部分要等比較有閒才能動工, 目前沒什時間study OTL, 最晚可能要等公司AI競賽結束後了...。


Ver7.0 更新內容:
  • 追加虎虎漫畫網(http://www.huhudm.com)
  • 修正nhentai搜尋比數超過1000時會出現錯誤的bug

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1Jsrc0QHDNW6y0Bo4JOz8PzezRcniEpLU/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1--2_4l7OHBidMCKAx2e7gdj-5Z6bxZXf/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://www.huhudm.com/
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動版本檢查, 線上更新


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://blog.zmcx16.moe/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年8月11日 星期六

MahoMangaDownloaderVer6.9更新

這次更新主要是修復無限動漫小改版後不能下載問題(改版只把資源網址的https://拿掉, 真是好樣的= =), 另外最近有些網友提到 CefSharp記憶體佔太多的問題, 目前程式在下載漫畫時針對每本漫畫會開一個thread, 然後那根thread會開CefSharp process去瀏覽網站Parse資源(相當於開一個chrome瀏覽器), 在下完整本漫畫後才會釋放thread並開新thread繼續下載, 目前並沒有針對每一頁每一頁之間的下載去特別處理資源釋放。

 由於最近都在忙公司的30周年AI競賽, 這部分優化應該要等公司AI競賽結束在進行了, 基本上同時開3個thread記憶體用量應該頂多300~500mb, 如果下載到長篇漫畫的話可能會飆到700mb左右, 如果電腦記憶體不夠用的話, 建議不要同時開三根thread同時下載, 這部分優化等比較有空閒會再來處理> <


Ver6.9 更新內容:
  • 修復無限動漫(8comic, comicbus) 改版後不能下載問題。

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1VaalfIasw73w4y3XJGyvm7N1FhdgowV8/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/18QWN5WVFzUXydosE1n9lmsvLuDjQOt7y/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動版本檢查, 線上更新


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://blog.zmcx16.moe/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年6月24日 星期日

AxisTradeCult 開發日誌 (6) - 簡單回測驗證

這周主要實作了簡單的回測功能以及針對Validation的方法做了調整, 之前Validation的方法是以ForwardingBlock的方式(我隨便取的, 我也不知道這有沒有專有名詞XD), 將整個Data Set切成N筆, 然後用第一筆當Training, 第二筆當Testing; 再用第二筆當Training, 第三筆當Testing....總計有N-1筆Training以及Testing的資料來作Validation, 可是這方法會有很大的問題, 像之前把2000~2018年的資料切成三筆, 會變成用2000-2006年的資料去建training model, 然後預測2007-2012的股價, 如果是有確定答案的問題或許沒問題, 可是像股價資料這種是時間越久關聯性就越低的, 所以基本上並不適合用這樣的方式來作驗證。 現在想想當初結果會這麼爛應該也是因為這驗證方式很有問題啊XD

總之, 現在改成了使用ForwardingLeaveOneOut的方法來驗證(一樣是我隨便取的名XD), 基本上就是往前shift的LOOCV, 首先會取出最前面的N筆資料來當training, 然後N+1天的資料來預測, 之後就shift 1天, 一樣使用N筆資料預測下一個N+1天, 所以最後總共會建立ALL-N組training model, 由於這時間開銷太大所以之前才沒有使用, 現在則是覺得好像只能這樣做了囧 反正現在都是用很簡單的分類算法做測試, 不要使用神經網路類的演算法應該是不會有太大問題。

首先設定TrDataSize = 250, 使用250個交易日資料去訓練model, 然後一直往前shift做LOOCV, 分類標籤一樣為ChangeN = 5%, pred_days = 5, 只要未來五天的收盤價平均漲超過5%就是+1,  跌超過5%就是-1, 其他則是盤整設定為0,  要預測的股票為迪士尼(DIS), 首先來看看資料分布:

---------------------
Label   Count
 0          4319
 1            143
-1            122
---------------------

一樣是非常的imbalance data, 這表示DIS本身波動性其實是不高的,  先來跑個分類模型看看結果:



結果跟之前ForwardingBlock天差地遠啊!!!  這代表用過去六年的資料來預測未來六年這件事本身就是超現實阿XDD  也代表股價資料越遠關聯性就真的越低, 如果要建Training model就不能使用太過久遠的資料。

除了跑DIS的資料以外, 由於現在手頭持股也有FB, 所以也來測測FB看看:




這樣看起來不同的分類算法用在不同的股價資料效果也更不相同, 對DIS的資料來說GaussianNB比較好, 而FB的話則是MLP較強, 另外基本上我比較關心的是上漲以及下跌的預測, 盤整反而是不這麼重要, 從資料來看普遍上漲比下跌還要好預測, 這也是因為以這兩檔來說都是穩定上漲的公司(DIS例外, 這3年一直起起落落XD)。

這樣看起來至少用ML來預測股價是都比亂猜好得多的, 不過最需要關心的問題並不是ML預測漲跌強不強, 而是他能不能幫我賺錢阿!!

為了測試這樣的預測是不是有用的, 我寫了一個簡單的回測功能, 起始資金設定為50000, 如果預測會漲就買100股, 預測會跌就全出清(下跌比上漲還難預測, 而且下跌50%等於要漲100%才能打平, 所以逃難逃得準以及快我覺得是很重要的), 由於要計算整體獲利所以最後一天會出清全部持股, 來看一下回測結果如何:




結論: "爛透了!!!!"

呼...為什麼說爛透了呢? 首先, 資料部分DIS我是取2000年1月~2018年6月, 而FB則是2012年才上市所以是2012年5月~2018年6月,  這段時間DIS從40元漲到100元總共2.5倍, 而FB則是從30元漲到200元總共6倍多, 雖然說這種話只能是後話(畢竟是從未來看回去), 不過要最賺的方法就是買了就不要賣了, 哪還需要什麼程式交易阿(翻桌!!)

嘛...先不管只有神能做到的事(預測未來), 基本上以DIS來說只有KNN有賺錢, 而ROI 62%雖然看起來很多, 可是我資料是從2000年~2018年, 扣到training的250天交易日, 等於我16年多來只賺62%, 這報酬率真的太低了, 更不用提其他模型都是賠錢的狀況!!

而以FB來說, 那種走勢本來就是避著眼睛買賣都會賺, 就看賺多賺少罷了, 除了NB的5年多2倍算不錯以外, 其他的根本不合格!!

從結果來看, 也能知道分類器預測的好壞跟能不能賺錢並不是完全正向的關係, 雖然也必須考慮回測的問題(驗證的回測只能做多不能做空), 以上述情況就像預測對了只有小賺, 預測錯了卻是大賠的感覺, 這部分就得在研究看看之後要怎麼做比較好, 要怎麼把預測用在買賣以及籌碼運用上。

另外為了讓比較結果客觀些, 這裡也做了下Random交易的回測, 回測的方法一樣, 只是用Random的方式去決定買賣, 一樣不頻繁交易情況, 2%機率買, 2%機率賣, 96%不做任何事, 然後跑Random 1000次取平均, 來看看結果:


喔喔, 沒想到Random的報酬率比我想像中的還爛, 這代表或許並不是預測太差, 而是回測的方法不好, 導致就算預測對了也賺不到錢, 這也是未來的課題之一, 要怎麼把股價預測在跟籌碼運用結合, 畢竟我真正想做的並不是預測股價, 真正要做的應該是怎麼結合預測以及交易策略來賺錢, 感覺又有幹勁了啊!!!

最後來實際看看整個回測的詳細交易內容吧, 這樣也能分析出到底問題在哪裡, 由於FB整個趨勢就是上漲看了也沒意思,  先來看看最好報酬的KNN預測DIS:




綠色是買進而紅色是賣出, 其實看得出來他找到的買賣點是十分不錯的, 這代表最大的問題並不在於預測準確度, 而是籌碼的運用上, 由於我策略就是找到買點就是買100股, 所以閒置資金的部位是十分驚人的, 這也是為什麼ROI這麼低的關係, 儘管如此, 我也不能因為閒置資金的關係就有買點就全押, 這樣到時賠也是會賠到脫褲的...。 不過看這張圖也能清楚了解, 如果籌碼運用得當, 這個回測績效應該會是ㄅㄧㄤˋㄅㄧㄤˋ叫才是XD


最後的最後, 爽完了一下該來面對下現實, 既然KNN預測DIS賺那麼少是因為籌碼問題, 那決策樹ROI -23%又是搞什麼鬼哩?  來看看到底是怎麼一回事:




結果揭曉....看來決策樹是Overfitting了, 而且還外帶大量的過度交易, 交易是有成本的, 我現在的簡單回測還沒考慮交易成本, 如果考慮進去這個ROI可能虧到60%甚至80%都有可能也說不定, 可怕可怕囧

這樣整個做下來, 又知道自己下一步要做什麼了, 再來該來研究怎麼將預測跟籌碼使用結合在一起, 這塊做出來後就等於是做個交易機器人了, 終於要開始接觸這一塊了嘛XDDD

總之, 再來我會再把預測這塊做得更完善些, code也要整理一下而且也要跟GUI稍微整合, 等完工後再來就是新計畫始動啦!!

2018年6月17日 星期日

AxisTradeCult 開發日誌 (5) - 實作更多技術指標 & 預測漲跌趨勢

上篇提到自己試著簡易預測大漲大跌訊號結果大暴死!!  由於預測效能 + data imbalance的問題一起考慮會過於複雜, 這次想先做預測趨勢這塊, 至少先確定自己建的資料特徵是有用的, 未來也才有機會預測大漲大跌這問題。

首先想到自己手邊的feature真的太少了,  之前我也只實作SMA, KDJ, BollingerBands 這三個技術指標, 這一個禮拜就開始實作各類指標以及畫圖的功能, 目前實作好的技術指標如下:
  • ATR (Average True Range)
  • Bollinger Bands
  • CCI (Commodity Channel Index)
  • DMA (Different of Moving Average)
  • DMI (Directional Moving Index)
  • EMA (Exponential Moving Average)
  • KDJ (Stochastic Oscillator)
  • MACD (Moving Average Convergence Divergence)
  • MSTD (Moving Standard Deviation)
  • MVAR (Moving Variance)
  • RSI (Relative Strength Index)
  • SMA (Simple Moving Average)
  • SMMA (Smoothed Moving Average)
  • TEMA (Triple Exponential Moving Average)
  • TR (True Range)
  • VR (Volatility Volume Ratio)
  • WR (Williams Overbought/Oversold Index)

不得不說真是他X的有夠累, 雖然有 /stockstats 的github可以參考, 可是為了驗證還是要Google以及看Yahoo財經的圖表確認自己實作有沒有錯, 真的好麻煩阿....而且這種技術指標真的太多太多了, 我目前想先實作到這, 未來有空再來繼續增加新的指標...。

秀幾張新實作好的指標圖, 幸好指標通用的GUI框架之前就做好了, 現在新增加指標也只要實作算法跟訂輸入的規格, 不用再改GUI真的是很爽XD

MACD:



EMA20 & RSI20 & WR14:




實作了那麼多技術指標, 準備資料特徵的工作算是先告一段落, 首先稍微修改一下之前的方法, 改成預測3類(上漲N%, 盤整, 下跌N%),  預測AT&T未來5天的趨勢, 股價資料期間: "2000-1-3"~"2018-6-01"。

驗證方式一樣:
1. 依時間軸切割成3份資料: D1: 2000~2006. D2: 2006~2012, D3: 2012~2018。
2. 使用D1訓練並用D2資料驗證, 在使用D2訓練並用D3資料驗證。

由於現在是預測三類, 考慮到很多分類算法只能作二類預測, 這裡使用OvR來作分類擴展。

先用之前準備好的資料特徵試試, 鄰居特徵neighbor_size = 10, 技術指標特徵使用:



[MA_W20, BollingerBands_W20, KDJ_W20]

使用的分類模型為決策樹, 預測結果:



Label1是上漲5%, Label0是盤整, Label-1則是下跌5%,  這結果很明顯的比亂猜還爛= = 畢竟資料特徵有55個都只是單純的OHLCV資料(5*(1+10)), 實際的技術指標只有6個(1+2+3), 不過跟亂猜沒兩樣真的讓我覺得頗無奈。

再來試試這一個禮拜嘔心瀝血的成果吧, 把實作的技術指標通通加進去。

預測結果:



恩....雖然還是很爛, 至少好一咪咪(?),  Data imbalance還是一樣是很大的問題(畢竟大多時候都是在盤整), 不過光是數值有稍微上去就讓我很開心了, 至少這一個多禮拜不算白費:)

再來的課題就是怎麼做feature selection, 調參數以及選擇分類算法了, 之後也打算開始多看一些相關的paper, 看其他人是怎麼用ML做股價預測的...漫漫長路阿, 希望之後能做出些許成果出來!!!

-----------------------------------------------------------------------
AxisTradeCult 程式原始碼:
https://github.com/zmcx16/AxisTradeCult


目前完成的功能如下:
  • 程式自動取得關注個股的歷史資訊 (每日的開盤, 收盤, 最低, 最高, 成交量, 調整收盤價, etc...) [資料來源: Alpha Vantage]
  • Stocks Overview頁面 (可新增, 移除個股至群組, 可依選擇時間顯示個股資料, 也會計算該天前3個月平均價&成交量以及一年成交價區間)
  • 各種技術分析線圖組合分析 
待完成項目:
  1. 投資組合頁面
  2. 提供機器學習模型預測
    • 自動取得、生成個股的基底、衍生特徵
    • 支援各類機器學習算法
    • 提供回歸測試模型預測率以及調適最佳參數
    • 提供增強式學習進行策略模擬


2018年6月3日 星期日

AxisTradeCult 開發日誌 (4) - 預測大漲大跌訊號(暴死)

目前在研究怎麼用Machine Learning來做輔助交易, 第一個想到的輔助功能就是希望有個功能是能找出個股將會大跌的訊號, 會想做這個主要是因為股市大漲or大跌通常都是消息面的因素(財報出來, 公司接到大單,  公司作假帳等等), 雖然這種事情除了靠內線以外沒有其他方法,  可是通常來說新聞報出來已經是第三手情報了, 內線的第一第二手情報雖然拿不到, 但或許可以從價量訊息看出些大戶烙跑的端倪之類的, 基於以上理由覺得可以先試看看, 看價量資料跟個股大漲大跌是否有些許關聯性。


首先先定義問題, 我想找出股市大跌的訊息, 所以我定義了兩個參數pred_days以及change_rate, 假設pred_days = 3 以及 change_rate = 5%, 這代表如果未來三天的收盤價皆小於今天收盤價的5%, 那就是有大跌訊號(True), 反之就是盤整or上漲(False)。 會有pred_days這個參數的原因是因為我把那種只有一天大跌隔天又漲回來的訊息視為雜訊(基金的交易策略故障or交易員手殘等等烏龍原因), 如果大跌後持續3天沒有漲回來, 那就代表這個訊息是真實的。

定義好問題再來是準備features, 我目前手邊有的資料特徵如下:
[Adj Open, Adj High, Adj Low, Adj Close, Volume]
OHLC使用的是調整後的價格, 調整價格是考慮除權息, 股票分割, 增減資等情況後用現在價格往回推的實際價格, 使用調整價格可以避免訓練好的Model or 策略因為上述情況導致誤判。

除了上述的基本特徵, 另外也加上了目前手邊計算好的技術指標:
[MA, BollingerBands, KDJ]
使用的window size都預設為5。

由於股價走勢通常是有趨勢性的, 就跟各個技術指標都有使用剛剛提到的window size來做slide window計算一樣, 我這邊是很單純先把所有資料的前X天當作Neighbor特徵, 直接複製當成新的Meta Feature。
[Open_N1, High_N1, Low_N1, Close_N1, Volume_N1, MA_N1...KDJ_N5]
預設鄰居特徵大小 = 5, 最後總計有11*(1+5) = 66 個資料特徵。

雖然各個技術指標本身就有鄰居的概念了, 要做技術指標的Neighbor特徵還不如多換幾個window當成新特徵會更好也說不定, 不過這邊就未來在試吧。

都定義好之後就來準備資料吧, 我選擇的個股為DIS(迪士尼),  資料範圍為2000-1-3~2018-6-01。類別標籤為未來三天的股價跌幅跟今天比是否皆超過5%(簡單來說就是大跌5%後未來三天都沒有漲回來), 來看看得到的資料:
DataSize: 4623, PostitiveSize: 24

...........傻住了, 沒想到18年來符合這個訊號的只有24天, imbalance的比例為24:4599 = 1:191
這麼不平衡的資料訓練出來的模型不用看一定都只會預測False阿阿阿...。

先不管資料不平衡的問題, 再來是決定要怎麼驗證訓練出來的Model好壞, 一般會使用CV驗證, 可是股價資料像技術分析等都是用到過去N天的資料算出來的衍生特徵, 如果直接打散作為training testing並不合理, 也有點像是作弊了, 也會有像是用未來的資料去預測過去這種奇怪事, 所以這邊切割資料的方式如下:
1. 依時間軸切割成3份資料: D1: 2000~2006. D2: 2006~2012, D3: 2012~2018。
2. 使用D1訓練並用D2資料驗證, 在使用D2訓練並用D3資料驗證。

雖然這樣會有1/3的資料沒辦法做驗證, 不過這也沒辦法, 總之先來跑幾個分類器, 看看結果:


恩....爛透了, 除了決策樹比亂猜好一點點(或是根本沒有), 除了NaiveBayes的演算法以外其他全部都猜同一邊, 完全沒有參考價值...。

再來試著把Training data用OverSampling的方式看看能不能讓分類器多嘗試預測大跌(當然Testing Data還是原始資料), 看看結果:


雖然各個分類器比較願意預測大跌, 但是都猜錯也沒意義阿(遠望&Smile...),  神奇的是只有決策樹反過來更往False預測了, 這是為什麼阿囧?

或許連續三天都要確定大跌後沒有漲回來這個條件太嚴苛了, 把pred_days改為1(代表只預測明天是否大跌), 來看看結果:


可以看見雖然這樣大跌訊號變為18年來有47個, 但連決策樹都跟著超爛了, 這代表只用價量資料預測明天是漲是跌這件事本身就是沒有用, 或是其實根本就是不管怎樣都是在亂猜, 價量資料來預測大漲大跌訊號根本是作夢XD

轉換下思維, 可以預測大跌也代表換個方式也可以預測大漲, 修改一下方法改成未來三天的股價漲幅跟今天比是否皆超過5%來試試:


可以看到PostitiveSize比大跌多增加了個10個, 這代表這18年來大漲的訊號是比較多的, 不過結果當然甚至更爛, 根本都預測不出來。

這樣的實驗做下來, 感覺只用價量資料搭配ML去預測大跌or大漲訊號基本上是沒有用的? 還不如用技術分析直接寫個rule base的策略還要來得有用?

當然啦, 這樣下結論感覺還太早了, 雖然目前做下來只看得到黑暗囧, 不過其實很多問題可以檢討, 要下結論感覺還太早了, 目前我想到的還有下面幾個問題:

1. Data這麼imbalance, 正樣本數又這麼得少, 這樣訓練出來的model其實沒有用也很正常, 我在想是不是不應該這麼單純的把所有資料拿來訓練&測試模型, 應該用其他方式, 例如:
  • 是否應該人工萃取正樣本附近的資料以及隨機取樣一部分的負樣本數訓練各個Model, 考慮Data不imbalance的情況的效能, 或許反覆測試的結果不會像上面那樣這麼差。
2. 目前的特徵資料太少, 可以多實作幾個技術指標加入新特徵, 或許結果會好一些也說不定。

3. 預測大漲or大跌訊號並不適合波動性小的個股, 因為他們穩定也就代表本來就很少會有大漲大跌的情況, 如果只用來預測波動性較大 or 科技類股, 或許會比較適用也說不一定。

4. 預測大漲or大跌訊號本身光憑價量資料就是不可行, 如果可以拿到更細部的資料, 像是當日內外盤價, 各大劵商的買賣超數量等等, 這類資料相信是更有幫助的, 只是這種歷史資料就算真的拿得到也是要錢吧, 現在我都用免費的API拿資料, 要錢就...(遠望)。

5. 同4, 試到最後如果真的不可行, 那就放棄再找下一個能做的問題吧, 像是不要預測大漲大跌訊號, 只預測漲跌趨勢, 至少這個議題比較不會有data imbalance吧(應該)。

感覺未來還有好長的路要走阿, 慢慢前進吧~~~Fight!!

順便補一張Konosuba的圖潤飾一下這麼長的文章, 希望早點脫離這個困境XD

-----------------------------------------------------------------------
AxisTradeCult 程式原始碼:
https://github.com/zmcx16/AxisTradeCult


目前完成的功能如下:
  • 程式自動取得關注個股的歷史資訊 (每日的開盤, 收盤, 最低, 最高, 成交量, 調整收盤價, etc...) [資料來源: Quandl]
  • Stocks Overview頁面 (可新增, 移除個股至群組, 可依選擇時間顯示個股資料, 也會計算該天前3個月平均價&成交量以及一年成交價區間)
  • 各種技術分析線圖組合分析 (MA, KDJ, BollingerBands)
待完成項目:
  1. 投資組合頁面
  2. 提供機器學習模型預測
    • 自動取得、生成個股的基底、衍生特徵
    • 支援各類機器學習算法
    • 提供回歸測試模型預測率以及調適最佳參數
    • 提供增強式學習進行策略模擬

2018年5月20日 星期日

MemoOffVocabularyVer1.3更新

這次改版主要是把UI修一修, 加上關於我頁面:




我哥這張ほたる真的畫得不錯XD  另外也發現yahoo字典的網頁有改, 所以也改了下parse修復自動翻譯的功能。


Ver1.3 更新內容:
  • 加入關於我頁面
  • 修復Yahoo字典改版造成自動下載翻譯失效的問題

程式原始碼:
https://github.com/zmcx16/MemoOffVocabulary



檔案位址:
https://drive.google.com/file/d/15qirH2BVHfKqwyjkd-J9tL2KS21fMxSV/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1TMSGVAnEtJRFWdYSsaF2lNrqiSky5ZBu/view?usp=sharing



解壓密碼:zmcx16
 
------------------------------------------------------------------------------

MemoOffVocabulary 背單字小工具

版本:  Ver1.3

功能:

  1. 支援強制程式常駐在其他程式上方。
  2. 支援短、中、長期記憶功能。
  3. 支援自動下載 & 播放單字聲音檔 --- 使用Google Text-To-Speech (TTS)
  4. 支援自動下載單次、批次單字釋義 (Yahoo字典)
  5. 支援英文、中文語系
對應系統:
Windows (需安裝 .net framework 4.5)



DEMO圖:













MemoOffVocabulary僅作為學術研究使用,禁止利用本程式行非法用途。



2018年5月11日 星期五

[追加更新]MahoMangaDownloaderVer6.8更新

[2018/5/12更新]
多虧網友提醒, 發現昨天的更新有兩個bug會導致沒辦法正常線上更新, 只在local端測試果然不行啊...。 原因如下:

1. Postbuild跑的batch會讀一個file_list去copy檔案, 這次更新有多加個DotNetZip library, file_list忘記把那個dll加進去了, 所以昨天上傳的版本會少這個dll導致沒辦法解壓縮。

2. 多建一個測試用的build測試下發現x86可以正常online update, 可是x64的不行。 原因在於如果放在google drive的檔案太大, 在下載時google drive會跳個頁面警告:

"Google Drive can't scan this file for viruses."

為了處理這問題又多parse個confirm_key以及加Cookie才bypass過去。 這原因之前沒發現可能是因為之前的檔案放在google drive上一陣子了, Google有掃描過檔案所以才沒發現這問題,  這該說是親切嗎囧

最後在這邊非常謝謝網友提醒我才注意到這件事, 也麻煩大家如果是在5/12 23:00以前下載程式的話, 麻煩在重新下載一次, 造成困擾真的很不好意思 >  <

檔案位址:
https://drive.google.com/file/d/1yCvdF_KJ0SjQl4dkp-IzGPqbgkJtLG9s/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/14me5lrHkKpx1YEdzl8vfYzrRpoN8G-2H/view?usp=sharing


<---------->
這次更新除了修復manhuagui上部分漫畫無法下載的問題外, 也實作線上更新功能了, 原本以為線上更新要載Google drive的檔案會很複雜(申請部分權限的Service account帳號, 開啟google drive API功能, 然後讓程式透過Service account的API key去下載google drive的檔案...), 後來做到一半發現google drive自己就有提供API讓google drive的檔案轉成可下載的url, 所以根本不用做上述那些543...傻眼阿XD

google drive的檔案可以透過下載器載下來後, 再來的問題就是怎麼更新了, 之前2.X版時我是寫個小更新程式, 讓舊下載器下載那個小更新程式在透過那小更新程式去替換檔案, 這次做法不想搞那麼複雜(畢竟只是個小下載器程式), 就直接讓程式跑batch file去替換檔案了~。

基本上線上更新我自己測試是沒問題, 不過如果有人更新時被防毒軟體擋的話, 就只能麻煩自己手動更新了( ^.< )


Ver6.8 更新內容:
  • 實作線上更新功能, Ver6.8以後如釋出更新, 檢查更新頁面會多增加線上更新的按鈕選項
  • 修復manhuagui上部分需要分級確認的漫畫無法下載問題

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1yCvdF_KJ0SjQl4dkp-IzGPqbgkJtLG9s/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/14me5lrHkKpx1YEdzl8vfYzrRpoN8G-2H/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動版本檢查, 線上更新


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年5月4日 星期五

MahoMangaDownloaderVer6.7更新

沒過幾天換dm5來個小改版, 舊版下載器會parse不到所有漫畫, 漫畫標題也會parse到額外的html碼, 總之又只能更新了...。

對我來說改是很快啦,  不過對使用者來說要一直常常手動更新就很煩, 可能真的要找個時間來做自動更新了,  不過還有不少事積著要做啊....真希望能進到加速世界裡去(遠望)。


Ver6.7 更新內容:
  • 修復dm5改版後下載器parse不到所有漫畫, 漫畫標題也會parse到額外的html碼問題

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1JrzUnriuMBJgo1znXhg0BkO6Om1SsLcN/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1xoZWeEohiRURSurole3GYID8Gh4JiKEO/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年4月26日 星期四

MahoMangaDownloaderVer6.6更新

前幾天發現下載器忽然不能載看漫畫(manhuagui)網站的漫畫, 主要原因是網站小改版+資源位址有換過, 修改一下parser就OK了。


Ver6.6 更新內容:
  • 修復看漫畫(manhuagui)改版後不能下載問題

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1jGs6OX2FCRBKUkmZObQCsHYwUO9cMKjB/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1uzAUffwjJyEJNwJzPjXDz9G9YKv3lZ_W/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年4月14日 星期六

MahoMangaDownloaderVer6.5更新

這次更新主要由於抓取8comic的漫畫標題時parser抓取的地方不好, 過長標題的部分會被"..."取代, 導致下載完的漫畫會無法更新已完成狀態。

目前還有一些feature request想做, 不過最近比較忙所以應該會在暫緩一下, 不過感覺個人最缺乏的還是幹勁阿...



Ver6.5 更新內容:
  • 修正8comic抓取過長標題會有省略標題名稱問題

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1tO8Qi2w5DdWqGuvhigBYtrTWlwZxQp-I/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1ZB3AbYhS8TJdRxn9RTMEr86O9jbRA1tB/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年3月24日 星期六

MahoMangaDownloaderVer6.4更新

最近有發現到dm5直行漫畫有部分漫畫會無法下載, 原因在於dm5漫畫圖源位址名稱的編號數有少數不是從1開始, 所以6.3版的下載器才會沒辦法parser到正確的圖源, 另外還有6.3版加入的非法字元轉全型的功能, 實作這功能時反而把舊的取代功能弄壞了(有一行忘記改到囧), 這就是沒有做unit test的下場嗎囧

另外還修了幾個使用者反應的bug, 可以的話希望這版能這樣順下去(最近工作要開始忙了囧), 希望網站不要再那麼頻繁改版阿。


Ver6.4 更新內容:
  • 修正dm5部分直行漫畫不能下載問題
  • 修正非法字元取代會出錯的bug
  • 修正更新程式時user_setting會重置的問題
  • 過濾漫畫清單表格的data error事件

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1eyXA8MRR-s9cr-CbwJHPjTpFVBZqzBGk/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1a9bNGqQ39FhrXCEdt473h_ZA0pmJYFZY/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年3月17日 星期六

MahoMangaDownloaderVer6.3更新

由於看不下書 + 之後工作會比較忙, 所以趁這禮拜把許願池的feature request做一做, 然後下載器開發部分就會暫時告一段落, 除非遇到不能下載 or 嚴重的bug才會立即更新(又或者突然心血來潮之類的~~)。

順帶一提, 由於漫畫網or資源網有時都會有重複名稱的資源, 遇到這情況我之前都是分開下載再手動整理, 我都沒想到加個資料編輯功能就方便超多了, 明明是這麼簡單的東西為什麼會沒有想到....這真是個謎阿囧

Ver6.3 更新內容:
  • 新增資料編輯功能
  • 新增非法字元轉全型字的功能
  • 新增or搜尋漫畫的清單選取部分加入排序選擇功能
  • dm5新增支援直行漫畫下載 (中/韓漫主要格式)

下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1uLQLrgAVnVxbr-mcjxA6lza06janJ6Si/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1VE85ArU3vEc1wVQEG5s8F0DGDDWRtpKx/view?usp=sharing

解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年3月10日 星期六

MahoMangaDownloaderVer6.2更新

這次更新主要有以下幾項:

1. 實作追蹤漫畫功能:
    之前決定好要做的追蹤功能, 其實後來改動蠻大的, 原本想做像是服務程式那樣在背景自動檢查並下載新漫畫, 可是應該沒有人會為了一個小下載器去註冊服務程式,  所以後來還是做在原本的下載器上,  然後如果真的要做自動檢查跟下載, 那又有兩個問題:

  • 如果是One Peace那種超大量的漫畫, 大多數人可能只想看最近幾話, 那自動全部都下載就是個很冗贅的功能了...
  • 關鍵字下載很容易有不少noise, 舉例: 源O郎前面要是多兩個字就很可怕了...。
基於上述理由, 最後追蹤漫畫的功能其實就是書籤+比對, 加入追蹤後選擇掃描, 下載器會列出該路徑你缺的漫畫集數 or 新出的資源, 再由使用者自行選擇加入清單,  要處理上述問題感覺也只能這樣了囧

追蹤漫畫的Url or Keyword如果網站是漫畫網就是輸入網址, 下載器會針對該漫畫網址去比對缺少的集數,  如果是資源網則是輸入搜尋的關鍵字, 下載器會去比對搜尋結果把缺少的資源show出來。

2.  增加N紳士搜尋支援原文標題:
     由於很少用N紳士, 一直沒發現搜尋功能都是直接Parse英文標題, 就把他切換成跟E站搜尋一樣了, 原本的英文標題搜尋就改成快速搜尋的模式。

3.  新增被ban ip時自動取得新IP:
     最近兩個禮拜感覺E站超會ban ip, 有時下個4~5本就被ban ip了, 搞得有點煩....所以就加上自動換IP的功能,  如果你本身的網路環境就是浮動IP然後接數據機,  那你只要用自動重啟新IP的預設路徑的就行了,  而如果你是跟我一樣, 是自己電腦外接一個4G分享器的話,  那你可能得寫一個自行reboot device的程式, 然後在設定執行路徑了。

在來就是修些有的沒的bug, 我也忘了修了哪些了XD  還有最近有些網友提了不少feature request, 說真的由於自己的輔助交易程式嚴重delay中, 再來可能會優先忙那塊, 許願池的部分就有時間再慢慢做了...。



Ver6.2 更新內容:
  • 新增追蹤漫畫功能
  • 增加N紳士搜尋支援原文標題, 英文標題移至快速搜尋選項
  • 新增被ban ip時自動取得新IP (網路環境須為浮動IP)
  • Fixed some bugs


下載器Demo圖:








檔案位址:
https://drive.google.com/file/d/1IrhnASHx8zl7Joevnh2pIhmzwZEPKTdy/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/11l_ksEqNBHcW3frpwjDLU6UqTG83jVf6/view?usp=sharing


解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 支援追蹤功能, 可將網址/關鍵字加入追蹤清單, 之後可掃描目前尚未下載的漫畫。
5. 語系: 中文/英文
6. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
7. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果是網路環境為固定IP的話請加大delay時間
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋
3. 在啟用重啟新IP功能時, 下載器會在被ban ip or 流量超過時自動換IP, 換IP過程電腦網路會暫時斷線, 並且只有網路環境為浮動IP的情況才有用。
4. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年2月24日 星期六

MahoMangaDownloaderVer6.1更新

這次更新有不少小地方, 最主要的部份為下載器在等待cef載入時有過度使用CPU資源的問題, 原因在於之前等待的方法是直接使用Application.DoEvents()這個方法, 如果是在winform有需要處理UI的情況用是沒什麼問題, 可是我下載的thread其實有用到元件就只有cef, 並沒有其他.Net元件 or UI控件, 如果用這個去等待Cef的話會造成等待過程除了cef的subprocess在運作, 下載的thread也會去忙windows的其他事件, 造成過度使用CPU的問題。

不過當初就是不能用thread.sleep才用Application.DoEvents()的(用thread.sleep會連cef都不能運作)。 最後查了下資料, 雖然有些人會用Application.DoEvents() & thread.sleep混用來處理這問題, 大部分會這樣使用的原因也是因為他們的main thread有用到UI控件, 不過以我的例子來說還是會無意義的使用到CPU資源..., 所以也不適合這樣做。

後來看到一篇文章寫: 就再開一個thread去sleep就好啦!!  當下眼睛真的是掉鱗片XD  怎麼這麼簡單的解決方法會想不到呢OTL

這個問題解決後再來就是些小問題, 搜尋按鈕沒有處理到中文語系, 檢查到下載完成的漫畫還是會建立tmp資料夾等等。 目前自己試用了新版下載器大概3天左右, 看起來應該是沒什問題了。 在來會開始想想自動偵測下載要怎麼做才好, 目前想到有兩種形式:

  1. 自動偵測下載有獨立的頁面以及背景執行緒, 跟主動下載完全分開。
  2. 自動偵測下載只負責偵測新漫畫出來後, 就將任務建立到目前的待下載清單。

個人來說比較傾向2 (很簡單就能做好了XD),  1的話其實比較適合拿來做服務程式, 可是考慮到這麼簡單的小程式應該不會有人想註冊服務程式,  最後應該還是會選擇2的方式來實作。

目前想做的除了通知下載之外,  也該開始繼續進行AxisTradeTool的開發了, 還有一堆買的書還沒看, 真希望自己能有更多幹勁跟行動力阿...。


Ver6.1 更新內容:

  • 改善cef等待時下載器過度使用CPU資源的問題
  • 修正偵測到下載完成的漫畫依然會建立tmp資料夾的問題
  • 修正搜尋按鈕沒有中文語系的問題


下載器Demo圖:




檔案位址:
https://drive.google.com/file/d/1pmFyHqG0oYzHmZKqlZcU-RkZcBDXE-rs/view?usp=sharing

32位元版本:
https://drive.google.com/file/d/1IVA0YHLQMUwXtfGEJEORN-B0KwIqV7c8/view?usp=sharing


解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 語系: 中文/英文
5. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
6. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果網路環境為固定IP的話請加大delay時間。
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋。
3. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author:  zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。

2018年2月20日 星期二

MahoMangaDownloaderVer6.0更新

這個過年總算把下載器重構得差不多了,  不過沒想到一些地方卡這麼久, 導致沒有時間做當初預定好的自動通知下載, 自動測試等功能,  這部分可能就之後有空再慢慢做了。

預定這個假日會再補上開發日誌, 包括一些功能的取捨以及遇到的問題等等, 然後舊架構的下載器就不再更新了, 之後只會更新這版架構的下載器。

關於6.0版的架構跟前版下載器在使用上有以下注意事項:


  1. 舊版的漫畫清單, 參數設置, 皆跟Ver6.0版不相容, 只有Cookie可以直接沿用(複製至User_Data資料夾內)。
  2. 新版程式不在使用IE瀏覽器控件, 改使用CefSharp  (Chromium)第三方套件, 使用者的環境需安裝.Net framework 4.5.2 & Visual C++ 2013才可正常使用。

其他注意事項請參閱readme.txt, 如果有其他問題也歡迎部落格留言 or 寄信給我。



新版Demo圖:




檔案位址:
https://drive.google.com/file/d/1HYZuNKteoaGh94Mgpg-6wJafctWVcjSC/

32位元版本:
https://drive.google.com/file/d/1k0XUMUWtwisiRk8WJxcN0-c2bv6ZkQsO/


解壓密碼:zmcx16

------------------------------------------------------------------------------
MahoMangaDownloader 漫畫下載器


支援網站:
******************
http://www.dm5.com/
http://www.ikanman.com/ (http://www.manhuagui.com/)
http://99.hhxxee.com/
http://www.8comic.com/ (http://www.comicbus.com/)
https://e-hentai.org/
https://exhentai.org/
https://nhentai.net/


環境需求:
******************
1. .Net framework 4.5.2 or later
https://www.microsoft.com/zh-tw/download/details.aspx?id=42642

2. Visual C++ 2013
https://www.microsoft.com/zh-TW/download/details.aspx?id=40784


功能:
******************
1. 可批次下載
2. 支援多執行緒下載(Max thread = 3, 請多珍惜各個資源網站)
3. 支援搜尋功能, 搜尋過濾的關鍵字以及類別選單可在選單->設置的地方修改,預設為只輸出日文,中文,英文資源,分隔關鍵字為 '|' 字元
4. 語系: 中文/英文
5. 要下載EX熊貓的資源,必須先設置一次Cookie(選單->設置->ehentai->Cookie),產生Cookie檔後即可下載EX資源,之後皆不需重新設置
6. 支援自動檢查最新版本


注意事項:
******************
1. e-hentai/exhentai有流量限制, 且下載過大會封鎖IP, 如果網路環境為固定IP的話請加大delay時間。
2. e-hentai/exhentai的快速搜尋只會Parse英文檔名, 除非有特定需求否則建議disable快速搜尋。
3. 針對6.0以後的版本, 使用者資料(漫畫清單, 參數設置, Cookie檔案等等)皆會放在User_Data資料夾內, 更新下載器版本時User_Data內的檔案皆可銜接使用。

Staff:
******************
Author: zmcx16 (zmcx16@gmail.com)
Illustrator: 超愛喝榛奶


Web sites:
******************
https://zmcx16.blogspot.tw/
https://github.com/zmcx16/


Using Package & Reference:
******************
CefSharp - (https://github.com/cefsharp/cefsharp) -  BSD LICNESE
HtmlAgilityPack - (https://github.com/zzzprojects) - MIT LICNESE
lz-string-csharp - (https://github.com/jawa-the-hutt/lz-string-csharp) - The Unlicense
Imazen.WebP - (https://github.com/imazen/libwebp-net) - MIT LICNESE
log4Net - (http://logging.apache.org/log4net/) - Apache License Version 2.0
newtonsoft.Json (http://www.newtonsoft.com/json) - MIT LICNESE
DataGridViewProgressBarCell - (https://www.codeproject.com/Articles/117021/How-to-Create-ProgressBar-Column-in-DataGridView) - CPOL LICENSE


免責聲明:
******************
MahoMangaDownloader僅作為學術研究使用,禁止利用本程式行非法用途。