Tổng quan
Mô hình hồi quy được chạy để tìm ra mô hình tốt nhất bằng cách sử dụng tất cả các biến. Kĩ thuật này được gọi là “all possible regression” và cần rất nhiều tính toán, đặc biệt trong trường hợp có nhiều biến độc lập. Ba loại kĩ thuật hồi quy Logistic từng bước được sử dụng phổ biến hơn cả là Forward, Backward và Stepwise.
Phương pháp Forward
Phương pháp Forward Regression bắt đầu mà không có biến nào trong mô hình. Sau đó chọn biến vào mô hình sao cho mô hình mạnh nhất (hệ số Gini cao nhất), kiểm tra từng biến khi nó được thêm vào mô hình xem có ý nghĩa thống kê hay không. Tiếp theo sẽ chọn biến từ tập hợp các biến chưa vào mô hình sao cho biến đó kết hợp với tập hợp biến đã vào mô hình để mô hình mạnh nhất. Thêm biến đó vào danh sách biến đã vào mô hình. Lặp lại quy trình cho đến khi đạt được kết quả tối ưu. Phương pháp này hiệu quả, nhưng có thể yếu nếu có quá nhiều biến hoặc tương quan cao.
Phương pháp Backward
Phương pháp Backward ngược lại với Forward, bắt đầu với việc cho tất cả các biến vào mô hình và lần lượt loại bỏ các biến được cọi là ít quan trọng nhất cho đến khi mô hình bị yếu đi ít nhất. Phương pháp này cho phép các biến có ý nghĩa thấp hơn có cơ hội cao hơn được vào mô hình so với phương pháp Forward và Stepwise do ở 2 phương pháp này một hoặc hai biến mạnh có thể chiếm ưu thế.
Phương pháp Stepwise
Phương pháp Stepwise là sự kết hợp của Forward và Backward. Phương pháp Stepwise bao gồm việc thêm và xóa các biến một cách linh hoạt khỏi mô hình trong từng bước cho đến khi đạt được sự kết hợp tốt nhất. Người dùng có thể đặt giá trị p-value tối thiểu để được thêm vào mô hình hoặc giữ lại mô hình.