2021年10月30日 星期六

MahoMangaDownloaderVer15.2更新

這次更新新增支援優酷漫畫, 會新增這個網站除了是有使用者提feature request之外, 沒想到這網站有持續更新宇宙兄弟, 就決定支援這網站了!  研究了下發現其實這網站應該前身是漫畫堆, 所以不少爬蟲rule都不用重寫, 套用一下在小修改就好~。


至於慣例推坑時間, 最近把P.A. Works工作女孩系列: 櫻花任務補完了, 個人超喜歡這部城鎮復興作品, 甚至以我來說比起白箱我更喜歡這部, 看到一半還直接買了女主角由乃的黏土人, 推薦有興趣的人入坑, 巴哈動畫瘋也有上架!!


巴哈動畫瘋: https://ani.gamer.com.tw/animeVideo.php?sn=23506


OP1:


ED1:


OP2:


ED2:

 

2021年10月24日 星期日

ReclassifyAnimeCG - 來用深度學習整理CG圖庫吧

會想寫這個工具的主要原因是, 我有追蹤一些繪師並且用下載器去追蹤下載那些繪師的作品, 不過基本上繪師畫的圖通常就是幾天放個一張, 或是一次推出的CG圖庫都是複合的動漫畫主題, 然後下載器下載又不可能自動幫我分類這些圖片, 導致這些圖片就越來越雜亂, 每個資料夾都混雜複數個主題&角色, 每個資料夾的名稱又沒有特定的主題性, 讓我自己事後很難找圖不說, 連看都懶得看了...。 後來就想到現在深度學習分類圖片已經很強了, 那我乾脆來寫個工具輔助我整理圖庫吧!!

做好的成果如下:

使用的方法大致如下:

1. 設置config.yaml
設定想整理的圖庫位置(predict_data_path), 以及先手動整理好一小部分的資料當訓練資料(train_data_path), 還有預定之後模型分類完存放圖庫的位置(output_data_path), 還有設定想訓練/使用的深度學習模型。

2. 執行preprocess.py
preprocess.py會生成 train.txt, test.txt, index.txt 到 label_path 位置。train.txt儲存訓練資料的每張圖片的位置, 以及對應的資料夾名稱(類別); test.txt則是根據config.yaml裡的train_ratio來決定要從training_data裡拿多少資料做為testing data, 如果今天是想測試模型好壞或調參數會設定到, 如果是單純想使用來整理圖片不調參數, 就直接設定成1.0; index.txt則是記錄每個類別index對應的資料夾名稱。

3. 執行train.py
train.py會開始訓練模型, 並把訓練好的模型存在train_model_path位置

4. 執行predict.py
如果config.yaml設定use_test_txt = true, predict.py會使用之前preprocess.py生成的testing data來做分類預測, 並計算這次分類的準確率, 可以根據分類好壞來調整模型跟參數改善模型; 如果use_test_txt = false, predict.py會遍歷predict_data_path位置的所有圖檔, 並針對這些圖檔做分類預測, 以及根據預測結果儲存到output_data_path。

5. 如果是調整或訓練模型到步驟4就結束了, 而如果是要整體圖庫的話, 手動確認分類結果, 把分類錯誤的部分砍掉, 之後把剩餘正確(部分)的分類結果複製到training_data內。

6. 跳回步驟2, 反覆做到個人滿意分類結果為止。

2021年10月16日 星期六

[網站開發] 新增Industry Insiders頁面 - 美股搜尋網站 Norn-StockScreener

目前自己的美股持股中, 有不少景氣循環股 (鋼鐵, 石油, 動力煤, 航運等), 當初會投資這些標的主要是觀察產業-市場指標:

當發現原物料或運價指數跟相關產業的績效乖離過大時, 我就會適當投資一些相關產業的個股, 之後也打算等這些原物料現貨價格 / 運價指數下跌到一定程度後再賣出持股, 不過以景氣循環股來說, 通常行情的最高點也是該相關市場指標的最高點, 單看市場指標下跌在賣出的話, 可能持有的美股標的已經跌一大半了, 對整體的投資績效也會大打折扣, 所以就想說是不是可以多參考幾個市場指標以外的指標, 第一個想到可以做的就是內幕投資人的投資紀錄了。

如果一家公司的CEO / CFO 以及高階主管持續買入自家公司的股票, 通知有很大機率是對自己公司 / 產業的未來很有信心, 才會想用自己的錢買自家公司的股票; 對投資人而言也比較能放心投資這間公司, 畢竟這代表經營這間公司的人跟自己是坐在同一條船上, 要沉也是一起沉XD 

美股上市公司的內幕投資人交易依法必須要登錄在SEC網站上, 基本上像Yahoo財經, Finviz這些大型的財經網站都可以看到每間公司的內幕投資人交易, 這些資料也都是從SEC網站來的, 如果今天我們只是想關注自己想買 / 想賣的公司, 只要追蹤這些公司的標的就好。

但是, 不是每間公司都有頻繁的內幕人交易, 如果剛好我們想買的 / 賣的公司都沒有這些資料, 那我們能參考的, 就只有相同產業的其他公司, 如果這些公司數量還不少, 那追蹤起來就會十分累人, 如果有個統計每個產業的所有公司的內幕投資人交易並整理成一張表的話, 就可以輕鬆許多, 所以就決定來做一個產業 - 內幕投資人頁面在Norn-StockScreener網站上了。

做完的成果如下:




這個表格左半部是每個產業的最近一日的整體漲跌幅, 以及週、月、季、半年、近一年、今年迄今的整體漲跌幅績效; 而右半部則是該產業的所有公司的內幕交易資料統整起來, 最後分別計算週、月、季、半年、近一年、今年迄今佔近一整年內幕交易量市值的比例。 

舉例來說, 上圖第一筆月內幕交易最大值的產業是多元化房地產信託投資, 週買超量(買進-賣出) / (近一年買進+賣出+選擇權執行) 為7.116%, 月買超量為26.934%, 而近一年買超量則只佔26%, 這代表這個產業最近一個月有某間或數間公司被內幕交易人瘋狂買進, 如果想知道交易細節, 可以在點進去最右邊Detail連結, 可以看到那個產業近一年所有公司的每一筆內幕投資交易:





再來看最近因為鐵礦石現貨大跌50%導致整體大跌的鋼鐵產業:



圖右半邊全部都是紅色的賣超, 這個基本上很正常, 因為大多數的公司員工不太會拿自己的錢去買股票, 可是會拿到公司的股票選擇權, 所以對大多數公司來說賣出>>買進是合理的, 要區分到底是選擇權到期後賣出, 還是看壞公司 / 產業才賣出, 只能一家家公司分別看才知道...。 總之先來看一下鋼鐵產業的內幕投資交易:






剛好就有我3天前撿便宜的美國鋼鐵(X), 來看一下Finviz網站的美國鋼鐵資料:





剛好5/10跟8/18這兩波大賣都是股價相對高點, 5/10的賣出是5/12 SEC才公告, 可以看出那根大紅棒應該很大可能是SEC公告才直接摔下去的, 而8/18則是後續又緩跌了幾天, 才重重摔下去, 我自己目前是打算熱軋鋼捲價格大跌或有上述內幕投資人大賣出再出清X持股。


看完鋼鐵產業的例子, 再來看看航運好了:



從整體產業頁面看不太出什麼關係, 只看出今年迄今的賣超量大於近一年的賣出量, 這代表大部分的賣出都是在今年發生的, 去年應該有不少內幕投資人積極買入自家公司的股票。




至於內幕投資的交易列表, MATX就超過了一半的交易, 看一下Finviz的資料:






這是一家高階主管不斷狂賣股票的公司, 基本上對於產業來說沒有參考價值, 而以公司來說我也完全不會想持有這間公司, 目前的網頁也沒辦法自動把這類的公司濾除掉, 殘念...。

基本上這種高階主管不想持有股票的公司非常多, 這不代表說這間公司不好, 畢竟每個人想把錢放在哪裡都是他個人的自由; 反過來說內幕投資人不斷買進的公司也不能代表公司或產業前景一定好, 有可能是公司高層自己看錯趨勢, 或是不管盈虧就是對自家公司情有獨鍾, 或是戰略意義上的買進 (e.g. 母公司增加子公司持有比例, 公司經營權戰爭等等), 不能僅僅單看這個指標, 還是要分析基本面, 產業前景, 總體經濟等全方面的評估在投資會比較適當。

最後題外話, 對我來說, 我喜歡跟投資人坐在同一條船上的經營層, 這樣我也才能安心把錢放在這間公司上面。 之前疫情時有注意到ZM的內幕投資人交易, 公司高層幾乎每個月都在賣股票, 拿到選擇權後也是一直賣, 所以我完全不會想投資ZM這間公司, 不過認真說ZOOM軟體真的做得比微軟的Teams好用太多, 只是我還是不會因為這樣就投資這間公司就是了...。

這次分享就到這邊, 有空再來想想還有什麼好玩的東西可以做~~。

2021年10月1日 星期五

MahoMangaDownloaderVer15.1更新

這次更新修復內容如下:

1. 古風漫畫新增網域名(https://www.gufengmh8.com/  -> https://www.gufengmh9.com/)

2. 古風漫畫網站TLS安全性更新導致下載器不能下載問題

3. welovemanga新增DDOS防護導致不能下載問題

4. welovemanga隨機跳404頁面防爬蟲問題


welovemanga真的很猛, 上個禮拜加DDOS防護, 這個禮拜再來個隨機404頁面防爬蟲, 真心覺得佩服...。


最後的慣例推坑時間, 忽然很懷念小時候很愛看的動畫: "天地無用", 而且TV1的OP又超經典, 長大後再聽更是特別不一樣, 剛好放上來讓大家回味一下XD