Datos de Calidad, resultados destacados: La importancia vital del Preprocesamiento en Proyectos de Ciencia de Datos
En el vasto y emocionante mundo de la ciencia de datos, la clave para alcanzar resultados extraordinarios y modelos predictivos confiables y precisos yace en un principio fundamental: El Preprocesamiento de Datos.
¿Cuántas veces se han sumergido en la construcción de modelos sin pulir y ajustar meticulosamente los datos subyacentes, solo para descubrir resultados insatisfactorios? Es un error común. Los datos defectuosos o desordenados generan modelos de aprendizaje automático de bajo rendimiento, cayendo presa de la conocida ley GIGO: “Basura entra, basura sale”.
Un error en la etapa de preprocesamiento puede hacer que incluso el modelo más sofisticado se tambalee. ¿Cómo evitar este escollo?
En este artículo te mostramos la importancia esencial del preprocesamiento de datos, un paso vital que puede determinar el éxito o fracaso de un proyecto de ciencia de datos.
¿Qué es el preprocesamiento de datos?
Un error común que cometen muchos científicos de datos novatos es que se saltan la etapa de limpieza y ajuste de los datos y se sumergen directamente en la fase de construcción de modelos, que a su vez genera un modelo de aprendizaje automático de bajo rendimiento. Al combinar múltiples fuentes de datos, hay muchas oportunidades para que los datos se dupliquen o etiqueten incorrectamente. Si los datos son incorrectos, los resultados y los algoritmos no son confiables, aunque puedan parecer correctos.
Esto se asemeja a un concepto popular en el campo de la ciencia de datos llamado GIGO (Garbage in Garbage Out), el cual significa que los datos de calidad inferior siempre producirán resultados deficientes independientemente del modelo y la técnica de optimización utilizada.
Por tanto, se debe invertir mucho tiempo para garantizar que la calidad de los datos esté a la altura de los resultados esperados. En este mismo tema es interesante mencionar que la mayoría de los científicos de datos invierten alrededor del 70% de su tiempo en el proyecto solo para la fase de preprocesamiento de los datos.
Veamos los pasos del preprocesamiento de datos para entenderlo mejor:
PASO 1: Eliminar duplicador
Es común encontrarse con entradas repetidas en los conjuntos de datos lo cual no es una buena señal porque los duplicados son un caso extremo de muestreo no aleatorio, y tienden a hacer el modelo sesgado. Incluir entradas repetidas llevará a que el modelo se ajuste demasiado a este subconjunto de puntos y debe eliminarse.
PASO 2: Corrija los errores estructurales
Los errores estructurales ocurren cuando se lee o transfiere datos y se aprecian detalles tipográficos o formatos inconsistentes. Estas inconsistencias pueden causar categorías o clases mal etiquetadas; por ejemplo, puede encontrarse “N / A” y “No aplicable”, ambos aparecen y se entendería que son opciones distintas, pero deben analizarse como la misma categoría.
PASO 3: filtre valores atípicos no deseados
A menudo, habrá observaciones únicas donde, de un vistazo, no parecen encajar dentro de los datos que se están analizando, estos valores atípicos son conocidos como outliers.
Outlier es cualquier valor en un conjunto de datos que se desvía drásticamente del resto de los puntos de datos. Por ejemplo, tenemos un conjunto de datos de un servicio de transmisión con edades de usuarios que van de 18 a 60 años, pero existe un usuario cuya edad está registrada como 200, este punto de datos es un ejemplo de un valor atípico y puede estropear nuestro aprendizaje automático si no es corregido a tiempo.
Si tiene una razón legítima para eliminar un valor atípico, como la entrada incorrecta de datos, se ayudará al rendimiento de los datos con los que está trabajando. Sin embargo, a veces es la aparición de un valor atípico lo que demostrará una teoría en la que está trabajando, debido a esto es importante recordar que solo porque exista un valor atípico, no significa que sea incorrecto.
Este paso es necesario para determinar la validez de ese número, si un valor atípico resulta ser irrelevante para el análisis, sería apropiado eliminarlo. considere eliminarlo.
PASO 4: Conversión de Tipo de dato
Como científicos de datos, ingenieros y analistas, es importante validar que los datos tengan el tipo correcto necesario para realizar el análisis esperado; puede que un dato fecha deba de convertirse a numérico para un proceso especifico o viceversa. Debe transformar rutinariamente los datos de un tipo (es decir, fecha) a otro (numérico). Otras veces, es posible que desee analizar la información de una cadena (tipo de datos nominal) a una fecha.
Python tiene los siguientes tipos de datos integrados de forma predeterminada, en estas categorías:
PASO 5: Manejar los datos faltantes
A menudo, el conjunto de datos contiene numerosos valores faltantes, lo que puede ser un problema, como, por ejemplo, el afectar el sesgo de los datos o disminuir la representatividad de la muestra evaluada.
Tomando en cuenta esto, nos hacemos la siguiente pregunta, ¿Cómo lidiamos con los datos faltantes?
Puede simplemente ignorarlos porque muchos algoritmos no los aceptaran, pero además existen 3 formas para lidiar con los valores faltantes:
- Como primera opción, puede quitar columnas que tengan valores faltantes, pero al hacer esto disminuirá o perderá información, así que tenga en cuenta esto antes de eliminarlo.
- Como segunda opción, puede ingresar valores faltantes basados en otras observaciones; pero, nuevamente, existe la oportunidad de perder la integridad de los datos porque puede estar operando a partir de suposiciones y no de observaciones reales.
- Como tercera opción, puede alterar la forma en que se utilizan los datos para navegar eficazmente por los valores nulos.
PASO 6: Escale sus características
El sexto paso dentro de nuestra tubería de preprocesamiento de datos es la escala de características de su conjunto de datos. En términos simples, la escala de características se refiere a la técnica en la que escala múltiples columnas (cuantitativas) de su conjunto de datos en una escala común.
Supongamos que un conjunto de datos bancarios tiene una columna de edad de 18 a 60 y una columna de saldo que puede variar de 0 a 10000. En vista, hay una enorme diferencia entre los valores que cada punto de datos puede asumir, y el modelo de aprendizaje automático se vería afectado por la columna de equilibrio y le asignaría pesos más altos, ya que consideraría que la mayor magnitud del equilibrio es más importante comparado con la edad de menor magnitud.
Para rectificar esto, se pueden utilizar dos métodos:
a) Normalización
b) Estandarización
La normalización se ajusta a los datos entre los rangos de [0,1] pero a veces [-1,1] también. Se ve afectado por valores atípicos en un conjunto de datos y es útil cuando no conoce la distribución del conjunto de datos. La estandarización, por otro lado, no está sujeta a un cierto rango, es bastante resistente a los valores atípicos y útil cuando la distribución es normal o gaussiana.
PASO 7: Codificación de los datos
La Codificación de Datos es un paso importante de preprocesamiento para los científicos de datos ya que se refiere al proceso de conversión de datos categóricos o textuales en formato numérico, de modo que se puede utilizar como entrada para que los algoritmos procesen. La razón de la codificación es que la mayoría de los algoritmos de aprendizaje automático funcionan con números y no con texto o variables categóricas, el llevar a cabo esta transformación permite que el modelo identifique patrones en los datos y haga predicciones basadas en esos patrones.
Algunos de los métodos para codificar variables categorías son:
1. Codificación de Un Calor
2. Codificación Dummy
3.Codificación Ordinal
4. Codificación Binaria
5. Codificación de Conteo
6. Codificación de Objetivos
Si bien, el camino hacia el dominio de la ciencia de datos puede parecer un laberinto de conceptos y definiciones complejas, el valor que estos roles aportan a las empresas es cada vez más evidente. En un mundo donde la inteligencia artificial y su aplicación en la analítica empresarial marcan la pauta, el dominio de estos procesos se vuelve fundamental.
En Excibit te acercamos a la exploración de una gama diversa de conceptos relevantes que nutren y fortalecen el crecimiento profesional en el campo de la analítica y ciencia de datos. Descubre más sobre estos temas clave en nuestra sección de artículos de Blog.
Trabaje con datos claros y disponibles para cada decisión.
Nuestro equipo les acompaña con entusiasmo, para acercarles al futuro que desean.
