วันจันทร์ที่ 28 มีนาคม พ.ศ. 2559

แนวคิดการทำ Backtesting อย่างถูกวิธี

มีคำถามเรื่อง การทดสอบย้อนหลัง(Backtesting) เข้ามา ผมตอบไปทาง mail ยาวพอควร และอยากย้ำอีกรอบว่า ต้องเข้าใจบทบาทของการทดสอบดีๆ เราทำเพื่อหาข้อบกพร่อง จุดอ่อนมาปรับปรุงไม่ได้ทำมาเพื่อโชว์ หรือปลอบใจตัวเอง

ดังนั้น ต้องทดสอบอย่างมีคุณภาพและถูกวิธีการ ระวังโรคมโนจากการ Backtest Over fitting จนเกินไป หรือการทำ curve fitting แล้วมารัน monte carlo เอาจำนวนเยอะเข้าว่าอย่างเดียว

เราควรคำนึงถึงคุณภาพและหาข้อมูลมาทดสอบให้มากพอ และทำ WFA ทดสอบให้เต็มรูปแบบไปเลย ที่สำคัญทดสอบแล้ว ปรับปรุงแล้ว ก็ต้องลองกับข้อมูลจริงแบบ forward testing ก่อนใช้งานเสมอ เพื่อให้แน่ใจว่า เมื่อระบบเจอตลาดจริงๆ จะสามารถทำงานได้



ผมมี clip อันนี้เรื่อง 10 Ways Backtests Lie ดีมากของ Dr. Tucker Balch จากงาน QuantCon ลองเข้าไปฟัง วีธีการทดสอบอย่างเป็นระบบ และข้อควรระวังต่างๆ เพื่อที่เราจะได้ทำระบบเทรด ทำ algorithm trading ดีๆออกมา ไม่ใช่ใช้งานไปแล้วพาล้างพอร์ต เสียหายไป

https://vimeo.com/122703520