2021年8月28日 星期六

MahoMangaDownloaderVer14.7更新

這次更新主要是修復cocomanhua換網域名 -> cocomanga, 還有因為網站改版導致parser失靈問題~。

慣例的推坑時間, 上次推薦了"三顆星彩色冒險", 這次推薦的一樣是同作者的作品: "一個人OO的小日子", 巴哈動畫瘋也有上架:




巴哈動畫瘋:
https://ani.gamer.com.tw/animeVideo.php?sn=12081

介紹: 女主角因為約定必須在畢業前跟全班同學成為朋友的故事, 治癒系動畫, 推薦先把大腦移除後在觀看XD






2021年8月21日 星期六

[網站開發] 新增Google Trend Stocks頁面 - 美股搜尋網站 Norn-StockScreener (8/22 updated)

在尋找投資標的時, 可以用基本面搜尋 (P/E, P/B, ROA, ROE, Dividend %); 也可以用技術面搜尋 (SMA, RSI, Performance)等等, 會用基本面搜尋的人通常是想找尋中長期投資標的, 而用技術面搜尋則通常是想做短中線交易 (短線 or 波段交易); 不過不管是基本面搜尋, 還是技術面搜尋, 基本上上述這些因子都是落後指標, 已經是反應在股價上的資訊, 這些因子即便跟股價有高關聯性, 也已經是反應後的結果了, 並不能因此表示未來。  最多只能表示目前這些因子跟未來有相關性的可能性還是有的, 至於這可能性是低還是高, 就只有神才知道了。

而跟未來相關性高的因子, 而且還未反應在股價上的資訊也還是有的, 像是一些總經或原物料指標, 不過這不是本篇的重點, 就先略過。 這次想介紹的指標是網路趨勢因子, 簡單的說, 就是一間公司被大眾關注的趨勢。 

今天在投資市場, 有持續被高估的公司, 也有持續被低估的公司, 而會造成這些不一致評價的原因, 就在於大眾對這間公司未來的前景做的預測, 反應在現在的估值中。 因為是對未來的預測, 所以有可能是高估的, 也有可能是低估的, 有可能是被一大堆人關注的, 也有可能是一直不被大眾關心的。 而網路趨勢因子, 就是想找出有這種變化的公司, 今天一間公司的網路趨勢如果有大幅變化, 代表可能有大事發生, 而這件事是好或是壞, 跟公司體質有關還是無關, 這個就必須確認才知道, 不過至少可以預先找出可能會反應在股票市場的標的。


前面廢話講話了, 簡單的說就是, 藉由網路趨勢因子, 我們可以找出一間公司可能有大事發生了, 在投資市場反應之前, 我們可能就可以先做些什麼。 網路趨勢因子很多, 可以去分析reddit, twitter社群網站, 或是網路搜尋的關鍵字搜尋趨勢等等。 而這次Norn-StockScreener網站改版整合了Google Trend網站, 取得美股數千間公司的公司名稱關鍵字的搜尋趨勢, 然後整理到Norn-StockScreener網站。 結果如下:


網址: https://norn-stockscreener.zmcx16.moe/google-trend-stocks/

Github: https://github.com/zmcx16/Norn-StockScreener

資料更新頻率: 每12小時


這個表格包含了Google Trend的各段時間趨勢結果的近N天最大值, 分別是: 近一周最近三天最大值; 近一月最近3天, 7天, 14天最大值; 近一季最近7天, 14天, 21天最大值; 近一年最近14天, 21天最大值; 以及上述資料的平均值(Avg)。 會整理這麼多數字的主要原因是, Google Trend的資料非常不親民...。以近一周的資料來說, Google Trend提供了每小時的搜尋趨勢; 而以近一月的資料來說, 則是提供每天的搜尋趨勢, 可是給的資料卻只到數天前, 近三天左右的資料可能都沒有; 而近一年的資料則更是只有每周單位的資料, 所以根本沒辦法只用近一年的資訊去做分析...。

除此之外, Google Trend給的資料只有那個時間段的相對趨勢, 並以0~100分表示, 這代表以近一周資料的100分, 可能只是近一年資料的10分或20分, 這讓你想把每周資料跟每年資料去做整合分析變得更加困難...。 所以最後網站只能把這些資料用近N天的最大值分別表示出來, 再自行去分析判斷了...。

網站用法的話, 可以先看平均值, 如果分數高就代表以周, 月, 季, 年的Google Trend資料來說, 這間公司最近的網路搜尋很高, 這有兩種情況, 一種是忽然飆高, 那可能就是我們想找的, 忽然被大眾關注的公司, 例如下圖Avg第一高的CGO:


可以看到, GCO在近期以周, 月, 季, 年的網路搜尋趨勢都達到100分頂標, 至於之後股價會不會有影響, 這就不知道了, 不過看趨勢年線平常的搜尋趨勢就有25~75分, 所以這次趨勢飆漲的幅度其實並不算大。 我是猜未來股價影響的反應不大。

而Avg排行第二高的則是大名鼎鼎的Visa:


Visa的趨勢搜尋一直都很高(75分以上), 就算近期搜尋趨勢更高了, 可能意義也不大, 對股價八成也不太有影響。

至於我們真正想找的, 應該是平常搜尋趨勢很低, 近期卻忽然飆高的, 可是這種公司可遇而不可求, 如果從過去資料來看, 我們可以看看GME之亂那時的Google趨勢以及股價的對應關係:


可以看到以Google Trend年線來看, 平常GME的搜尋趨勢本身就不高(25分以下), 而忽然爆漲到100分最高點時, GME的股價還在甜甜的76塊, 如果我們在那時就進場, 那獲取高報酬的機率就大大增加了。

以目前的表格來說, 還沒辦法只找出GME這種趨勢的公司, Avg高只能找出搜尋趨勢近期相對高的, 所以有可能是大公司那種平常搜尋趨勢就高, 最近忽然更高; 或是像GME這種忽然搜尋趨勢飆高, 所以現在只能一個一個點, 看圖才能知道...。

這塊改進的部分我會在想一想, 能不能在加個統計結果只找出GME這類標的, 姑且是除了近N天最大值, 也加了近N天最大值除平均, 這樣就可以知道這最大值的相對高點比率; 再加一個統合平均, 成果來說姑且看起來是有用, 不過排序下來排最前面的都是平常幾乎沒有聲量的小公司, 反而看不到平時有些搜尋熱度的中大型公司了... 這塊不知道還有沒有一個好的公式可以用, 需要再研究看看, 或是有人有想到的好的公式或建議, 在麻煩跟我說, 感謝!!


P.S. 另外還有個沒辦法克服的問題, 因為網站資料是每12小時更新一次, 而Google Trend網站的資料提供的又是相對趨勢的資料, 這代表Norn-StockScreener網站上看到的數字, 可能跟Google Trend即時看到的數值會完全不一樣, 只有趨勢會是一樣的, 而且Google Trend網站的最後一筆數字是partial的, 這個值基本上算是outlier, 我自己觀察常常拿到的時候不是0分就是100分, 可是在過一段時間後就完全不一樣..., 可是以天為單位的數字來說, 這最新一筆資料又是最重要的, 不看也不行, 真心無奈啊...。

2021年8月2日 星期一

MahoMangaDownloaderVer14.6 & 14.5更新

昨天發布更新後, 就有不少使用者留言, 內容大致如下:

1. Ver14.5版本在下載coco漫畫時程式會不定時強制結束(crash)

2. dm5.com無法下載

3. lovehug.net網站無法瀏覽, 更換後的網域名為welovemanga.net


關於第一個問題, 因為這次針對coco漫畫導入cloudflare的防護措施, 下載器改用節錄cefsharp封包的方式儲存圖檔, 這塊做好後我大致測過一下就出新版了, 沒有做壓測所以沒踩到這個雷, 今天測了下有reproduce出來了, 問題在節錄封包的程式碼, 這塊我是stackoverflow直接抄來的, 沒注意到其實有人有留comment說有bug, 直接就開心的拿來用了QQ

https://stackoverflow.com/questions/45816851/using-cefsharp-to-capture-resource-response-data-body

底下留言也有提供cefsharp官方的使用手冊, 以及response-filtering的範例程式, 使用以後測試完看來是沒問題了, 果然比起google找答案, 官方手冊才是聖經阿, 只是太長了不太可能一整個看完, 也用不到那麼多功能...。

https://github.com/cefsharp/CefSharp/wiki/General-Usage#response-filtering

另外還有改一個小地方, 因為coco漫畫現在改成用瀏覽器側錄的方式載圖, 可是網站的圖片都是用lazy loading, 我只能控制瀏覽器的滾軸拉到最低或跳來跳去, 強迫他去下載所有圖片, 因為這有點機率性的去戳他逼瀏覽器載圖, 所以如果是頁數太多的漫畫會有點卡, 這個就沒輒了, 畢竟現在也只能100%靠瀏覽器套件, 不能parser寫好打request去載圖...。


至於 dm5.com無法下載問題, 看了下 dm5.com網站整個不給連了(403 error), 不過dm5 cn域名(dm5.cn)可以正常瀏覽, 看起來是網站方把.com封掉只營運.cn域名, 這塊就讓下載器多支援cn域名就好~, 而lovehug網站換域名問題也是一樣, 只是我用瀏覽器試了下welovemanga網站, 裡面的圖片都是死的, 感覺是網站還在建置沒搞好, 這塊就先改支援域名, 之後就等網站好了在看有沒有需要修~。


Ver14.6 更新內容:

* 修復Ver14.5版下載coco漫畫時會機率性crash問題
* 支援dm5.cn域名
* 支援welovemanga.net域名

檔案位址:

https://drive.google.com/file/d/1HSxq2ZRdTekhaQlTWtWIB28mrzHT1e4S/view?usp=sharing


32位元版本:

https://drive.google.com/file/d/1v_WytaaovEnPlk_QAdAkRNTNuFPcfXOO/view?usp=sharing