มีคำถามเรื่อง การทดสอบย้อนหลัง(Backtesting) เข้ามา ผมตอบไปทาง mail ยาวพอควร และอยากย้ำอีกรอบว่า ต้องเข้าใจบทบาทของการทดสอบดีๆ เราทำเพื่อหาข้อบกพร่อง จุดอ่อนมาปรับปรุงไม่ได้ทำมาเพื่อโชว์ หรือปลอบใจตัวเอง
ดังนั้น ต้องทดสอบอย่างมีคุณภาพและถูกวิธีการ ระวังโรคมโนจากการ Backtest Over fitting จนเกินไป หรือการทำ curve fitting แล้วมารัน monte carlo เอาจำนวนเยอะเข้าว่าอย่างเดียว
เราควรคำนึงถึงคุณภาพและหาข้อมูลมาทดสอบให้มากพอ และทำ WFA ทดสอบให้เต็มรูปแบบไปเลย ที่สำคัญทดสอบแล้ว ปรับปรุงแล้ว ก็ต้องลองกับข้อมูลจริงแบบ forward testing ก่อนใช้งานเสมอ เพื่อให้แน่ใจว่า เมื่อระบบเจอตลาดจริงๆ จะสามารถทำงานได้
ผมมี clip อันนี้เรื่อง 10 Ways Backtests Lie ดีมากของ Dr. Tucker Balch จากงาน QuantCon ลองเข้าไปฟัง วีธีการทดสอบอย่างเป็นระบบ และข้อควรระวังต่างๆ เพื่อที่เราจะได้ทำระบบเทรด ทำ algorithm trading ดีๆออกมา ไม่ใช่ใช้งานไปแล้วพาล้างพอร์ต เสียหายไป
https://vimeo.com/122703520
ดังนั้น ต้องทดสอบอย่างมีคุณภาพและถูกวิธีการ ระวังโรคมโนจากการ Backtest Over fitting จนเกินไป หรือการทำ curve fitting แล้วมารัน monte carlo เอาจำนวนเยอะเข้าว่าอย่างเดียว
เราควรคำนึงถึงคุณภาพและหาข้อมูลมาทดสอบให้มากพอ และทำ WFA ทดสอบให้เต็มรูปแบบไปเลย ที่สำคัญทดสอบแล้ว ปรับปรุงแล้ว ก็ต้องลองกับข้อมูลจริงแบบ forward testing ก่อนใช้งานเสมอ เพื่อให้แน่ใจว่า เมื่อระบบเจอตลาดจริงๆ จะสามารถทำงานได้
ผมมี clip อันนี้เรื่อง 10 Ways Backtests Lie ดีมากของ Dr. Tucker Balch จากงาน QuantCon ลองเข้าไปฟัง วีธีการทดสอบอย่างเป็นระบบ และข้อควรระวังต่างๆ เพื่อที่เราจะได้ทำระบบเทรด ทำ algorithm trading ดีๆออกมา ไม่ใช่ใช้งานไปแล้วพาล้างพอร์ต เสียหายไป
https://vimeo.com/122703520