Selección de subconjuntos de características para el pronóstico del aprovechamiento académico

Feature Subset Selection for Predicting Academic Achievement

Resumen

En este trabajo se probaron varios mecanismos de selección de subconjuntos de características para predecir el aprovechamiento escolar de estudiantes de nivel preparatoria haciendo uso de una base de datos de 395 estudiantes con 30 variables. Los mecanismos de selección de variables utilizados fueron: los selectores 1.ANOV A_con_F-test, 2.Regresión_logística con regularización Lasso, 3. Eliminación recursiva de características con RFE y Random_Forest, 4.Modelo de una sola característica usando Random_Forest. 5.El conjunto de las 30 variables iniciales. Se diseñó una máquina de soporte vectorial para poner a prueba los conjuntos de variables propuestos por cada mecanismo y se encontró que, el realizar esta tarea previa al algoritmo de aprendizaje favorece la calidad del modelo utilizado. El mejor mecanismo de selección encontró que la cantidad de variables ideal es 16 usando eliminación recursiva de variables con Random_Forest, además se observó que existe una fuerte consistencia entre todos los mecanismos, pues seleccionaron variables de la misma índole e incluso las mismas variables con técnicas muy distintas. El mejor modelo alcanzó una precisión del 93.93%.

In this study, several feature subset selection mechanisms were tested to predict the academic performance of high school students using a dataset of 395 students with 30 variables. The variable selection mechanisms employed were: 1ANOVA_with_F-test, 2. Logistic Regression with Lasso Regularization, 3. Recursive Feature Elimination (RFE) with Random Forest, 4. Single Feature model using Random Forest, 5. The full set of 30 initial variables. A Support Vector Machine (SVM) was designed to evaluate the variable sets proposed by each mechanism, and it was found that performing this preliminary task prior to the learning algorithm improved the quality of the model. The best selection mechanism determined that the ideal number of variables was 16, using recursive feature elimination with Random Forest. Moreover, strong consistency was observed among all mechanisms, as they selected variables of the same nature and even the same variables despite applying very different techniques. The best model achieved an accuracy of 93.93%.