剛剛法意在官方網頁發布了以下的公告 http://www.wretch.cc/blog/phigroup/16551715 這樣讓我對貴公司的資訊來源準確度產生了極大的懷疑。
照法意的說法,不同的電腦跑同樣的程式就可能出現不同的結果, 且他們每個月都有更新資料,但還是發生某次更新資料後, 用同樣的程式、同樣的參數,回測結果不同的情形。 照法意的說法,因為: 「Multicharts是很精細的軟體,網路上也有人用過不同電腦做回測,結果各電腦資料不同回測的結果當然也不同。甚至在Multicharts中不同的版本,也會有不同的結果。」
以下是法意提供的回測資料表: http://tinyurl.com/ph7yjrw (左邊是10月的回測結果,右邊是8月的回測結果,請問貴公司這兩個月間有對台指的歷史資料做甚麼大更動嗎?)
前幾天甚至一個月更新資料可能有差我相信,但半年前, 甚至過去十年的回測資料從「勝率」「交易筆數」「報酬率」通通不一樣? 那這樣MC的回測到底有多少可信度啊? 還是我哪一天更新資料回測時,會突然發現我之前測的其實都是garbage in,garbage out?
回測決定於以下4樣東西
1. 策略程式
2. 歷史資料
3. 設定及參數
4. MC版本
若以上4樣東西都一樣時,理論上回測的結果應該要一樣
PS: 在32位元版本下,若出現記憶體不足時,回測的結果有可能是不確定性的異常
至於回測的可性度有多少,我只能說這要看個人知識及能力
MC不是萬能的,有些語法或指令,需要特別的設定它才能回測出正確的結果
這是知識面的問題
另外,回測的是過去,不一定等於未來,這是市場特性及穩定度的問題
這也是知識面的問題
是否為 garbage 要看個人對於交易的認知了,追求正確、精確的人
在交易上很容易失敗,這是個人的經驗分享
程式交易在做的不是精確這件事
感謝客服一號的專業回應,我稍微釐清一下您的說法: 1. MC版本:若版本、程式、參數、歷史相同,除了記憶體不足之外,不會因為電腦的配備而影響測試結果 2. 歷史資料:若程式、版本、參數這三者狀況一樣時,的確有可能因為更新所造成歷史資料的不同,讓測試結果不同
http://tinyurl.com/ph7yjrw
其實我也知道測試有可能出現小誤差,但以法意提供的歷史績效表為例,8月時回測跑出的結果,在2012/3是交易8筆,勝率100%,賺326點;到了10月回測跑出的結果是交易16筆,勝率37.5%,虧損860點,兩者相差1186點,若以宣稱的用2口來跑,等於1口差了593點,這不是小數字。
加上之前的歷史測試也都有所誤差,法意宣稱這是「因為資料回補問題造成,也就是MultiCharts軟體當月回補數據出現問題,在下個月進行資料回補時,會造成有些月份數據相同,有些月份數據不同」。
如果法意的說法屬實,問題很明顯就是出在歷史資料﹐所以我才想知道在8月到10月之間,貴司有沒有對台指的歷史資料做甚麼大更動,造成這種有點誇張的回測差距。
我剛去查了一下,凱衛在2012/7發佈了MC8的版本。
發佈後,馬上有使用者反應直接沿用MC7的資料庫有回測績效不對的問題。
這篇是發佈公告,其中23篇開始有user反應資料庫的問題。
http://www.multicharts.com.tw/dis/dis_Content.aspx?rd=1&D_ID=1&SN=11239
我印象中,從凱衛開始服務MultiCharts到現在,也只有在升級MC8的時候,有使用者反應這種問題。
到目前為止,凱衛提供的資料庫也一直是提供3份(7、8x86、8x64)就是這個原因。
我知道這件事最近吵很兇,但我並不知道法意實際的動作,
能說,在那個時間點,如果他們有升級版本,卻沒有重新檢查資料庫只,的確是有可能有這種狀況。(太忙了)
以上只是就那個時間點,大部份使用凱衛資料庫的使用者碰到的問題作說明。
因為你好像是為了問這個問題才註冊的,所以我另外再說明一下。
MultiCharts的資料庫是開放的,是使用者可以自行編輯及維護的,有些使用者是習慣自己維護回測的資料(像換月價差調整或換月的時間)。
所以,只有當事人才知道真正造成這種差異的原因何在,旁人是無法、也不行從隻句片語中得到答案。
感謝回應,我自己是用奇狐在做回測也有定期更新歷史資料,但在更新資料庫時並沒有發生過類似的狀況,所以才有此一問。
依照您的說法,這個現象的發生有下面兩種主要可能:
1. 這段時間升級版本造成的錯誤
2. 維護歷史資料造成的差異
但我比較好奇的是,如果是這兩者的話,只要更新資料庫錯誤後,回測結果不就會修正回來了嗎?
在甚麼狀況下,可能造成像下面這樣測試結果永久性的差異?
eg. 2012/8之前每月更新資料庫,但回測結果都是a -> 升級MC或維護歷史資料 -> 2012/8之後,歷史回測結果都是b
不好意思問題這麼多,再麻煩您的耐心解惑。
如果以後有交易國外商品的需求,我一定會優先考慮貴公司的產品並推薦給朋友。
用奇狐來類比,可能不是很好。
因為奇狐的資料庫是封閉的,所以,你只有從SERVER下載資料一途,同時下載的使用者,會有相同的資料庫。
但MultiCharts是開放編輯的,所以其實並沒有所有使用者有相同資料庫這件事情。
再加上MC8的升版造成的資料破碎,是無法用回補來修正的,即使你發現有錯,馬上回補,這個錯還是在的。
所以才寄新的資料光碟給用戶,不然客戶直接線上回補就好了,幹嘛還花力氣寄光碟呢?
至於造成永久性的差異,
可能(我只是說可能)負責維護的人,只看了升級當下的近期訊號沒有飄移,就覺得是對的,
沒有再往前檢查,自然就沒有修正錯誤這件事,而造成了永久性的差異。
再次感謝您的耐心回應,我大概了解了,
假設程式和參數都未變,只考慮版本和歷史資料的影響,以2012/3的回測結果來說,我分成兩種狀況:
1. 2012/8之前用的是MC7,2012/3跑出的資料是賺326點 (正確)
2012/8之後升級成MC8,資料破碎導致跑出的資料是賠860點(錯誤)
這時只要用資料光碟把資料庫修正,回測就應該變回賺326點 (正確)
2. 2012/8之前用的是MC7,但資料庫錯誤,導致2012/3跑出的資料是賺326點 (錯誤)
2012/8之後升級成MC8,並用資料光碟把資料庫修正,得出結果為賠860點 (正確)
請問還有甚麼沒有考慮到的可能性嗎?麻煩您了,感謝!
再討論下去,會變成我在幫法意回答了,
畢竟......我的發言可是被引用的。
後續的討論,還是留給當事人吧,免得我變成鄉民進擊的目標........
哈哈,也是啦!這些東西只有當事人才知道真假,我們只能從蛛絲馬跡判斷,
那就希望法意團隊能於官網發文澄清這些問題囉!再次謝謝您的大方回應!
Hi...CITYCAT
我是kp啦哈哈哈哈
這年頭對自己無益的事情
很少有人會站出來
上面一些官方言論的回應愈加明顯,呵呵呵
我從中文MC開始的前一年就開始用MC直到現在
雖然我是非官方,但也跟官方交戰了這麼多年
沒有停過哈哈哈哈
你的問題,我提供一些經驗
我MC跑出來的績效會變的可能性只有
其一、程式或策略變動。
其二、資料數據變動。
其三、MC版本變動。
你不用再下載MC來玩啦
我今年用MC賠到差點脫褲
力求東山再起中~~
這事,任重道遠
為你祈禱,祝福你
感恩
kp好久不見!!!有空可以上ptt或p2聊聊啊~
一時逆風正常, 只要時間夠就會再創新高啦~ ^^
有朋友特地敲我,問我那張圖是什麼意思
看來似乎被人放大檢視了
所以還是說明一下好了,以免那一天換我要進法院 XD
沒有很複雜,只是因為 brain 說到一句 "不想被鄉民進擊"
所以我貼了一張 "進擊的巨人" 的搞笑照片而已
只是自認為幽默而已,沒有特別的含意,特此說明
老實說~
我睡前會review一下討論區!
昨晚我又被嚇到了><