2021年10月24日 星期日

ReclassifyAnimeCG - 來用深度學習整理CG圖庫吧

會想寫這個工具的主要原因是, 我有追蹤一些繪師並且用下載器去追蹤下載那些繪師的作品, 不過基本上繪師畫的圖通常就是幾天放個一張, 或是一次推出的CG圖庫都是複合的動漫畫主題, 然後下載器下載又不可能自動幫我分類這些圖片, 導致這些圖片就越來越雜亂, 每個資料夾都混雜複數個主題&角色, 每個資料夾的名稱又沒有特定的主題性, 讓我自己事後很難找圖不說, 連看都懶得看了...。 後來就想到現在深度學習分類圖片已經很強了, 那我乾脆來寫個工具輔助我整理圖庫吧!!

做好的成果如下:

使用的方法大致如下:

1. 設置config.yaml
設定想整理的圖庫位置(predict_data_path), 以及先手動整理好一小部分的資料當訓練資料(train_data_path), 還有預定之後模型分類完存放圖庫的位置(output_data_path), 還有設定想訓練/使用的深度學習模型。

2. 執行preprocess.py
preprocess.py會生成 train.txt, test.txt, index.txt 到 label_path 位置。train.txt儲存訓練資料的每張圖片的位置, 以及對應的資料夾名稱(類別); test.txt則是根據config.yaml裡的train_ratio來決定要從training_data裡拿多少資料做為testing data, 如果今天是想測試模型好壞或調參數會設定到, 如果是單純想使用來整理圖片不調參數, 就直接設定成1.0; index.txt則是記錄每個類別index對應的資料夾名稱。

3. 執行train.py
train.py會開始訓練模型, 並把訓練好的模型存在train_model_path位置

4. 執行predict.py
如果config.yaml設定use_test_txt = true, predict.py會使用之前preprocess.py生成的testing data來做分類預測, 並計算這次分類的準確率, 可以根據分類好壞來調整模型跟參數改善模型; 如果use_test_txt = false, predict.py會遍歷predict_data_path位置的所有圖檔, 並針對這些圖檔做分類預測, 以及根據預測結果儲存到output_data_path。

5. 如果是調整或訓練模型到步驟4就結束了, 而如果是要整體圖庫的話, 手動確認分類結果, 把分類錯誤的部分砍掉, 之後把剩餘正確(部分)的分類結果複製到training_data內。

6. 跳回步驟2, 反覆做到個人滿意分類結果為止。

2021年10月16日 星期六

[網站開發] 新增Industry Insiders頁面 - 美股搜尋網站 Norn-StockScreener

目前自己的美股持股中, 有不少景氣循環股 (鋼鐵, 石油, 動力煤, 航運等), 當初會投資這些標的主要是觀察產業-市場指標:

當發現原物料或運價指數跟相關產業的績效乖離過大時, 我就會適當投資一些相關產業的個股, 之後也打算等這些原物料現貨價格 / 運價指數下跌到一定程度後再賣出持股, 不過以景氣循環股來說, 通常行情的最高點也是該相關市場指標的最高點, 單看市場指標下跌在賣出的話, 可能持有的美股標的已經跌一大半了, 對整體的投資績效也會大打折扣, 所以就想說是不是可以多參考幾個市場指標以外的指標, 第一個想到可以做的就是內幕投資人的投資紀錄了。

如果一家公司的CEO / CFO 以及高階主管持續買入自家公司的股票, 通知有很大機率是對自己公司 / 產業的未來很有信心, 才會想用自己的錢買自家公司的股票; 對投資人而言也比較能放心投資這間公司, 畢竟這代表經營這間公司的人跟自己是坐在同一條船上, 要沉也是一起沉XD 

美股上市公司的內幕投資人交易依法必須要登錄在SEC網站上, 基本上像Yahoo財經, Finviz這些大型的財經網站都可以看到每間公司的內幕投資人交易, 這些資料也都是從SEC網站來的, 如果今天我們只是想關注自己想買 / 想賣的公司, 只要追蹤這些公司的標的就好。

但是, 不是每間公司都有頻繁的內幕人交易, 如果剛好我們想買的 / 賣的公司都沒有這些資料, 那我們能參考的, 就只有相同產業的其他公司, 如果這些公司數量還不少, 那追蹤起來就會十分累人, 如果有個統計每個產業的所有公司的內幕投資人交易並整理成一張表的話, 就可以輕鬆許多, 所以就決定來做一個產業 - 內幕投資人頁面在Norn-StockScreener網站上了。

做完的成果如下:




這個表格左半部是每個產業的最近一日的整體漲跌幅, 以及週、月、季、半年、近一年、今年迄今的整體漲跌幅績效; 而右半部則是該產業的所有公司的內幕交易資料統整起來, 最後分別計算週、月、季、半年、近一年、今年迄今佔近一整年內幕交易量市值的比例。 

舉例來說, 上圖第一筆月內幕交易最大值的產業是多元化房地產信託投資, 週買超量(買進-賣出) / (近一年買進+賣出+選擇權執行) 為7.116%, 月買超量為26.934%, 而近一年買超量則只佔26%, 這代表這個產業最近一個月有某間或數間公司被內幕交易人瘋狂買進, 如果想知道交易細節, 可以在點進去最右邊Detail連結, 可以看到那個產業近一年所有公司的每一筆內幕投資交易:





再來看最近因為鐵礦石現貨大跌50%導致整體大跌的鋼鐵產業:



圖右半邊全部都是紅色的賣超, 這個基本上很正常, 因為大多數的公司員工不太會拿自己的錢去買股票, 可是會拿到公司的股票選擇權, 所以對大多數公司來說賣出>>買進是合理的, 要區分到底是選擇權到期後賣出, 還是看壞公司 / 產業才賣出, 只能一家家公司分別看才知道...。 總之先來看一下鋼鐵產業的內幕投資交易:






剛好就有我3天前撿便宜的美國鋼鐵(X), 來看一下Finviz網站的美國鋼鐵資料:





剛好5/10跟8/18這兩波大賣都是股價相對高點, 5/10的賣出是5/12 SEC才公告, 可以看出那根大紅棒應該很大可能是SEC公告才直接摔下去的, 而8/18則是後續又緩跌了幾天, 才重重摔下去, 我自己目前是打算熱軋鋼捲價格大跌或有上述內幕投資人大賣出再出清X持股。


看完鋼鐵產業的例子, 再來看看航運好了:



從整體產業頁面看不太出什麼關係, 只看出今年迄今的賣超量大於近一年的賣出量, 這代表大部分的賣出都是在今年發生的, 去年應該有不少內幕投資人積極買入自家公司的股票。




至於內幕投資的交易列表, MATX就超過了一半的交易, 看一下Finviz的資料:






這是一家高階主管不斷狂賣股票的公司, 基本上對於產業來說沒有參考價值, 而以公司來說我也完全不會想持有這間公司, 目前的網頁也沒辦法自動把這類的公司濾除掉, 殘念...。

基本上這種高階主管不想持有股票的公司非常多, 這不代表說這間公司不好, 畢竟每個人想把錢放在哪裡都是他個人的自由; 反過來說內幕投資人不斷買進的公司也不能代表公司或產業前景一定好, 有可能是公司高層自己看錯趨勢, 或是不管盈虧就是對自家公司情有獨鍾, 或是戰略意義上的買進 (e.g. 母公司增加子公司持有比例, 公司經營權戰爭等等), 不能僅僅單看這個指標, 還是要分析基本面, 產業前景, 總體經濟等全方面的評估在投資會比較適當。

最後題外話, 對我來說, 我喜歡跟投資人坐在同一條船上的經營層, 這樣我也才能安心把錢放在這間公司上面。 之前疫情時有注意到ZM的內幕投資人交易, 公司高層幾乎每個月都在賣股票, 拿到選擇權後也是一直賣, 所以我完全不會想投資ZM這間公司, 不過認真說ZOOM軟體真的做得比微軟的Teams好用太多, 只是我還是不會因為這樣就投資這間公司就是了...。

這次分享就到這邊, 有空再來想想還有什麼好玩的東西可以做~~。

2021年10月1日 星期五

MahoMangaDownloaderVer15.1更新

這次更新修復內容如下:

1. 古風漫畫新增網域名(https://www.gufengmh8.com/  -> https://www.gufengmh9.com/)

2. 古風漫畫網站TLS安全性更新導致下載器不能下載問題

3. welovemanga新增DDOS防護導致不能下載問題

4. welovemanga隨機跳404頁面防爬蟲問題


welovemanga真的很猛, 上個禮拜加DDOS防護, 這個禮拜再來個隨機404頁面防爬蟲, 真心覺得佩服...。


最後的慣例推坑時間, 忽然很懷念小時候很愛看的動畫: "天地無用", 而且TV1的OP又超經典, 長大後再聽更是特別不一樣, 剛好放上來讓大家回味一下XD




 

2021年9月19日 星期日

MahoMangaDownloaderVer15.0更新

這周又有不少使用者回報問題, 感覺快陷入無窮改版迴圈..., 如果繼續這種頻率也只能拉長改版時間了...。

這次更新修復內容如下:

1. 無限動漫更改瀏覽頁面網域 (https://comic.aya.click/online/best_***->https://comicabc.com/online/new-***)

基本上就是老慣例, 無限動漫常常某段時間就會換瀏覽頁面的網域名或API路徑prefix, 這個只能遇到一次修一次, 另外因為這次換的是網域名, 所以基本上已經加入下載清單的task都廢了, 追蹤清單則是不受影響, 只能請使用者更新完後有還沒載完的就請自行重新加入清單了。


2. 拷貝漫畫抓不到單行本清單

拷貝漫畫的頁面蠻玄的, 有預設清單, 然後清單的tab有話, 番外, 卷等等...。  有些漫畫他會把單行本放在預設清單的卷tab裡, 可是另一些漫畫則是預設清單的卷沒東西, 而是另外開一個新section專放單行本, 意義不明..., 總之只能額外parse預設清單以外的section了...。


3. welovemanga改版導致不能下載問題

這個網站最近在瘋狂改版防爬蟲, 我光是這禮拜還沒release就修了三次, 有parser類的也有重導向類的, 幾乎是每一~兩天就改一次, 感覺應該在跟某個爬蟲大軍對抗吧...。

基本上如果網站方積極想防爬蟲, 爬蟲程式能做到的也是有極限的, 如果繼續搞下去, 我大概就是延長改版時間(maybe兩周~一個月), 或是修到使用者也不願意回報就不管了, 畢竟我個人的時間也是有限的, 不可能把所有時間都拿去維護下載器...。


至於慣例的推坑時間, 之前有介紹"一個人的○○小日子" (巴哈動畫瘋)

最近看到最喜歡的角色亞琉, 動畫第五話插入曲有人做MAD放到youtube上, 放上來傳教一下~~。













2021年9月11日 星期六

MahoMangaDownloaderVer14.9更新

這週又收到不少使用者回報問題, 這也是維護下載器可怕的地方, 目前下載器支援了近15個網站, 只要有一個網站改版就得更新一次, 最慘就是每幾天就換一個網站在改版, 這樣就變成下載器每個禮拜都得修parser跟上更新, 時間就這樣漸漸沒有了(就跟最近幾周一樣...), 如果各個網站的改版步調繼續這麼頻繁的話, 之後會把最小更新頻率拉到兩個禮拜以上, 畢竟還有一堆東西要做...。


發牢騷結束~回歸正題以下是這次的改版內容:

1. 修復無限動漫(comicbus)改版後造成下載器parser漫畫名稱亂碼問題

2. 改善無限動漫低機率下載到重覆頁面問題

3. 支援(修復)紳士漫畫(wnacg) tag網址功能

4. 新增支援yande.re(https://yande.re/)圖庫網站 (preview, 只支援tag url)


關於無限動漫的部分, 第一點主要是無限動漫的網頁編碼原本一直都是用big5, 終於在最近改成主流的utf-8了, 基本上換一下下載器的string encoding page就好; 而第二點是測試時發現的問題, 加了個hash table改善瀏覽器套件沒有即時換頁的問題。 

wnacg的部分是上個月wnacg把網頁的搜尋api整個改版了, 所以上個月下載器也針對新版的搜尋api做修復更新, 不過wnacg也有tag導覽功能, tag的API跟以前的搜尋是一樣的API, 只差在sname跟tag的keyword差異, 所以變成舊版的下載器不能用搜尋功能, 可是tag功能一樣繼續可以用; 而新版的下載器可以用搜尋功能, 但是輸入tag url就會出錯不能使用。

因為下載器當時就只有做支援搜尋功能, tag功能剛好可以用只是順便而已, 不過既然有人在用那決定還是修一下了, 另外因為我不想單為了wnacg改UI, 所以就決定follow上一版, tag功能只支援url模式, 搜尋功能才會同時支援keyword以及url模式。

至於最後的新增支援yande.re圖庫網站的部分, 主要是我正在做的side project需要用到大量的圖檔, 想說做都做了, 反正也不一定只有我在用, 就乾脆也一起放上來了。 只不過因為這網站目前禁止註冊, 我自己也沒有帳號, 所以看不到18X的圖, 不過因為網站只是把18X的圖用css藏起來, 所以下載器還是載得到, 等於是盲眼下載就是~。

目前這網站只支援新增tag url, 不支援搜尋也不支援追蹤, 因為我沒有帳號, 到時候出問題也不一定有辦法完全解決, 所以就當preview版功能用, 未來有閒要不要加其他功能(e.g. Artists)就在說, 畢竟時間根本不夠用...。


至於慣例的推坑時間, 剛好今年夏番快結束了, 就來貼幾部我有在看的夏番吧~~

女朋友 and 女朋友

巴哈動畫瘋: https://ani.gamer.com.tw/animeVideo.php?sn=23381

作品簡介

  主人翁・直也 為一名高中一年級生。在向一直很喜歡的 咲 告白以後,順利讓她成為了女朋友。目前正處於幸福的頂端。但是,忽然有一名美少女・渚 向 直也 搭話並和她走一趟。突然的她就對 直也 發動強烈的猛勢告白,希望兩人能夠交往。在受到 渚 的好人性格而讓心中產中動搖的 直也,做出了某個決定…!! 從令人意外的選擇開始,新基準的愛情喜劇!!


ヒロユキ老師的作品就是讚!!!  幾乎每一部作品都有被動畫化真的是超神!! (印象中只有天才的超級戀愛是作者自己停更, 其他有持續連載的都有被動畫化), 這一部更是超精彩, 我看巴哈動畫瘋的動畫都是習慣看第一遍不開彈幕, 第二遍才開彈幕; 這部是我少數破戒的存在XD  觀看前大家都會先建議借放大腦, 等看完在領回, 不帶大腦看這部是最佳選擇XD


白沙的 Aquatope

巴哈動畫瘋: https://ani.gamer.com.tw/animeVideo.php?sn=23346

作品簡介

  在水族館工作的 18 歲女高中生・海咲野くくる ,與失去了東京居住場所並且正在避風頭的原偶像・宮沢風花 互相相遇。くくる 與 風花 兩人內心懷著各自的想法,在水族館度過了每一天。但是,那最重要的地方正面臨著閉館的危機。少女們的夢想與現實、孤獨與夥伴、羈絆與衝突──。嶄新閃爍的全新一頁,即將在這個夏天掀開序幕。



水族館題材的動畫, 動畫品質超高, TV動畫卻是劇場版動畫的水準, 動畫風格算是平平淡淡的輕鬆治癒向+小感動, 讓人有種青春的感覺~。


小林家的龍女僕第二季


京阿尼縱火事件後終於出第二季了, 第一季的監督武本康弘已經走了(R.I.P.), 不過第二季的風格完美的繼承了第一季的味道, 推薦給有看第一季但還沒看第二季的人~。 另外漫畫原作也很好看, 最近連載剛好到高潮, 也推薦追原作!!


賈希大人不氣餒!





賈希大人超可愛!!!  作品名稱+OP就是完整的介紹了, 大推XD


2021年9月5日 星期日

[網站開發] 新增Investment Gurus頁面 - 美股搜尋網站 Norn-StockScreener

Norn-StockScreener目前已經做了數個幫助尋找投資標的的功能, 有一般的基本面技術面條件選股, 還有Google Trend選股, 以及產業 - 市場指標關係頁面, 這次則是新增了投資大師選股, 想說當沒有想法的時候, 跟著投資大師的持股走也是不錯的選擇, 還可以幫助自己找投資標的的靈感~。 而要看各個投資大師的持股以及交易動態, 我非常推薦dataroma網站:


這網站主要提供各個投資大師或有名的基金的持股標的以及交易動態, 還有整合各個投資大師的投資組合頁面(如下圖):



點進去連結可以看到該投資大師的詳細動態, 像下圖就是巴菲特的波克夏·海瑟威的持股標的, 而且除了持股標的, 還可以看買進, 賣出等歷史紀錄:



另外也可以看個股的大師持有市值比率:



 
以參考投資大師的投資目的來說, 這網站功能已經十分完整了, 照理說我也沒必要多做一個投資大師的頁面, 只是以我個人來說, 還是有些地方沒有滿足我的需求:

1. 希望至少可以看到每個個股的一些基本面資訊(e.g. P/B, P/E)
2. dataroma網站的投資大師大概有7X位, 不過有些大師我查了一下, 最近的績效真的不怎麼樣..., 感覺這些大師清單是很早期建立的, 所以也沒有最近很夯的女股神木頭姊。

基於上述兩點, 就決定在Norn-StockScreener也開一個投資大師頁面, 裡面的投資大師主要就挑我比較認識的, 並提供一些基本面資料, 這樣我也可以直接看一張表就做提前過濾, 不用一個一個去查個股資料了~。 

做好的網站如下, 下圖是以簡單投票排序, 可以發現TWTR, TDOC, PATH, VCYT最多投資大師持有, TWTR就是大名鼎鼎的Twitter, 至於其他三檔我就不太熟了~。




另外用市值來排序的話, 幾乎都是巴菲特的持股, 只能說不意外..., 其中最大持股依然還是Apple公司, 第二名則是美國銀行, 都是市值超大的公司。




而近幾年投資績效超強的木頭姊的ARK系列, 最強的ARKW的第一持股是Tesla不意外, 之後還有推特, Square, Coinbase等科技股, 我幾乎沒有一檔敢買的QQ




這次的新頁面大概就先做到這, 之後應該會不定期新增其他的投資大師~。

MahoMangaDownloaderVer14.8更新

前幾天收到幾位使用者回報, copymanga沒辦法下載了, 看了一下發現是網站改了網頁的呈現機制, 原本是把所有圖片的html 元件render出來, 在用lazyloading在觀看時才載入圖片, 現在改成圖片的html元件也不render了, 在使用者看對應頁面時才把html元件render出來, 導致下載器沒辦法從一開始的html抓到所有圖片的html元件以及圖片位址, 會這樣改感覺就是防爬蟲阿...。 

目前姑且是修好了, 不過穩定性應該會比之前差了些, 畢竟沒辦法一次拿到完整的html了, 這塊就先將就, 如果有回報嚴重不能下載的問題在考慮enhance了~。

在來是這次慣例要推薦的漫畫, 忽然想到學生時代很喜歡一部漫畫: "夢使者", 故事介紹如下:


故事講述了一群使用夢的力量來解決事情的專家——夢使。在日常生活中,會突然發生很多不可思議的事,在這些事件的背後,一定會浮現出“夢”的陰影。在這個世界裡,“夢”中強烈的信念有時也會穿過時空反映到現實之中。如果是噩夢的話,便會給現實世界造成災難。主人公三島塔子和燐子作為“夢使”,要鎮壓住“惡夢”,找出“夢”的主人,讓“夢”回歸到原來的地方。


作者植芝理一的漫畫內容都蠻有深度的, 這部作品劇情還蠻發人省思的, 尤其是結局, 當時給我蠻大的震撼, 推薦有興趣的人可以追追看~。

P.S. 會回想起這部作品還有一個理由, 這部漫畫基本上沒有男主角, 只有一位準男主角, 而且是蘿莉控, 其中這頁還是我看過印象最深刻的蘿莉控發言, 根本超強XD