1 Introducción

1.1 Estadística: qué es y para qué sirve

Entre las muchas definiciones que se pueden dar de la estadística, una de las más cortas nos la dio un estudiante cuando discutíamos este tema el primer día de clase: “La estadística es una asignatura”. Desde luego tenía razón, aunque también es más que eso. Es cierto que seguramente es la asignatura que aparece en los planes de estudio de más titulaciones, pero no podemos decir que sea la más apreciada. Muchos estudiantes la consideran más bien antipática, una asignatura donde se realizan consideraciones ininteligibles que poco o nada tienen que ver con su vocación y sus intereses. Quizá por eso, una vez superada, se produce un cierto desapego y la estadística se queda en eso, en una asignatura.

Y por si esto fuera poco, en las antípodas de la visión formal y académica, existe también una visión un tanto despectiva donde la estadística se relaciona con porcentajes tendenciosos, con gráficos manipulados y con números que siempre hay manera de presentar de la forma que convenga y, claro, unas técnicas que sirven lo mismo para justificar que algo es blanco como que es negro, no son nada fiables para saber de que color son las cosas.

Pero lo cierto es que la estadística juega un papel fundamental cuando se trata de responder a las preguntas que surgen en el proceso de adquisición de nuevos conocimientos. Casi siempre hay que recurrir a datos que reflejen la realidad de forma objetiva, y la estadística es la disciplina que trata de la recogida y el análisis de esos datos. Algunos ejemplos de preguntas en distintos ámbitos del conocimiento podrían ser:

Biología: ¿Cómo evoluciona el número de ejemplares de cierto tipo de ave en un territorio?
Medicina: ¿Es eficaz una nueva vacuna?
Medio ambiente: ¿Qué porcentaje de plástico se recicla?
Economía: ¿Cuánto están subiendo los precios?
Ingeniería: ¿Cuál de las resinas disponibles da mejores resultados en una depuradora de agua?
Marketing: ¿Qué tipo de envoltorio logra mayores ventas?
Previsiones: ¿Cuánta electricidad se consumirá mañana?
Política: ¿Qué porcentaje de ciudadanos está de acuerdo con la política del gobierno?

Raramente se consiguen todos los datos que nos gustaría tener, y menos todavía con las características deseadas, pero la estadística tiene herramientas para enfrentarse a estas situaciones y sacar el máximo provecho de los recursos disponibles; todo esto, como ya sabemos, con una medida conocida de la confianza con que podemos ofrecer nuestras conclusiones.

La estadística está muy relacionada con el método científico, que se basa en la observación, medición, experimentación y análisis de resultados. También cabe poner de manifiesto que el “elemento desencadenante”, lo que pone en marcha el proceso, es la pregunta que nos planteamos. No nos gusta analizar datos “para ver qué sale”; siempre buscamos algo, y saber lo que se busca –hacerse la pregunta adecuada– también es importante. Obtener los datos necesarios suele ser la parte más delicada y laboriosa. Una vez se tienen los datos, muchas veces las preguntas se pueden responder con análisis gráficos sencillos, aunque también hay casos en que se debe recurrir a técnicas más sofisticadas.

1.2 Estadística y matemáticas

La materia prima de los análisis estadísticos son los datos –en general numéricos– y, como los números pertenecen al reino de las matemáticas, muchas veces se considera que la estadística es una parte de estas. Los métodos estadísticos, por supuesto, usan las matemáticas, pero la estadística tiene un enfoque, unos objetivos y una metodología que son diferentes.

El pensamiento matemático es deductivo. Se parte de unos axiomas y, mediante la lógica, se deducen unos teoremas que se cumplen siempre. Este proceso deductivo persigue la resolución de problemas que se sitúan en el ámbito de los modelos abstractos, de lo teórico, y su resolución exige prestar mucha atención a la notación que se usa y a la aplicación de las reglas, propiedades y otros teoremas demostrados previamente.

El pensamiento estadístico es inductivo. Se parte de unos datos y, a partir de ellos, se estiman características de la población de la que provienen. El cómo seleccionar y evaluar la calidad de esos datos también forma parte del problema. Mientras que las matemáticas buscan encontrar soluciones exactas en el mundo de lo simbólico, en estadística buscamos soluciones aproximadas pero útiles en la práctica. En matemáticas un solo caso que no se cumpla ya es suficiente para declarar que una proposición es falsa. En estadística sabemos que el hecho de que un fumador de cajetilla diaria llegue a los 90 años no invalida la teoría de que el tabaco perjudica la salud.

Hemos comentado que la estadística sirve para responder preguntas en el terreno de la investigación empírica, y preguntas como las que hemos planteado no se pueden responder desde las matemáticas. Hay que hacer un experimento o una encuesta, y sabemos que las conclusiones que se extraigan no serán un teorema matemático. Si se repite el estudio saldrán otros resultados, pero tenemos herramientas matemáticas que, bajo ciertos supuestos, nos permiten responder a las preguntas planteadas informando también sobre la confianza con la que damos nuestras respuestas.

Desde luego, la estadística tiene en la matemática una de sus herramientas más útiles, pero el enfoque y las prioridades de la estadística no son los mismos que los de las matemáticas. No son lo mismo, ni la estadística es una parte de las matemáticas.

1.3 Estadística y probabilidad

La teoría de la probabilidad y el cálculo de probabilidades sí son una parte de las matemáticas. Una parte que puede resultar muy útil en el marco de un análisis estadístico.

En los problemas de cálculo de probabilidades se suponen conocidas las características de la población –que en muchos casos es una población teórica– y nos preguntamos por las características de una muestra obtenida de esa población. Ejemplos típicos de problemas de cálculo de probabilidades son:

¿Cuál es la probabilidad de que, al realizar una apuesta, nos toque el primer premio de la lotería primitiva (una lotería tipo 6/49)?
Si una máquina fabrica un 3% de piezas defectuosas, ¿cuál es la probabilidad de que en un lote de 30 piezas haya alguna defectuosa?

En estadística nos ocupamos justo de lo contrario. Conocemos las características de una muestra que consideramos representativa de su población, y lo que interesa es estimar (“hacernos una idea”) las características de esa población. Ni que decir tiene que la muestra no viene dada: hay que pensar en la mejor manera de elegirla con los recursos disponibles. Después, habrá que analizar los valores obtenidos para realizar las estimaciones. Todo este proceso –desde plantear claramente las preguntas que se desea responder hasta explicar las conclusiones a las que se ha llegado– está lleno de dificultades que no tienen nada que ver con el cálculo de probabilidades. Problemas de estadística serían:

Con base en los resultados de un sondeo electoral, estimar el número de escaños que obtendrá un partido en las próximas elecciones.
A partir de los resultados de un estudio clínico, determinar si un nuevo medicamento es más eficaz que el usado habitualmente.

Claro que nuestras estimaciones o nuestras conclusiones nunca son apuestas seguras, y ahí es donde aparece el lenguaje de la probabilidad: informamos sobre la probabilidad de que el número de escaños se encuentre entre determinados valores, o afirmamos, con una determinada probabilidad de error, que un nuevo medicamento es más eficaz que el usado habitualmente. Pero, en general, el uso que hacemos de la probabilidad no requiere saber resolver problemas complicados de combinatoria o de cálculo de probabilidades. Basta con unas reglas bastante sencillas y al alcance de todos.

Profundizar en el cálculo de probabilidades al principio de un curso de estadística es una mala idea porque, como este tema no es nada fácil ni intuitivo, muchos estudiantes llegan a la conclusión de que la estadística no es para ellos. Y es una lástima, porque calcular probabilidades no está entre los objetivos ni entre las prioridades de la estadística¹.

1.4 Origen y evolución de la estadística

La estadística como “cuentas del Estado” (de ahí su nombre) surgió cuando los gobernantes necesitaron conocer cuántas personas vivían en sus dominios, el volumen de las cosechas o los impuestos que cada familia debía pagar, y de eso hace ya miles de años. Esto significaba recoger datos y ordenarlos, tabularlos y quizá realizar algunos cálculos que estarían dentro de lo que hoy denominamos “estadística descriptiva”. Esto fue la estadística hasta los inicios del siglo XX, hace cuatro días.

Con unas motivaciones totalmente distintas –en este caso relacionadas con la búsqueda de estrategias en los juegos de azar –, en el siglo XVII se empezó a estudiar seriamente (“matemáticamente”) el cálculo de probabilidades. Más tarde, la estadística clásica encontró en las probabilidades el lenguaje y las herramientas que le permitían hacer estimaciones sobre la población conociendo solo una parte e informando sobre el grado de incertidumbre de sus conclusiones. Esto aumentó enormemente sus posibilidades y su campo de actuación.

La estadística que se explica en los cursos introductorios se creó, fundamentalmente, a finales del siglo XIX y en la primera mitad del XX². Al inicio de esta nueva época los métodos estadísticos se desarrollaron en torno a aplicaciones concretas (seguros de vida, ciencias naturales, industria, agricultura…) pero el interés por crear nuevas técnicas para el análisis de los datos (¡estaba todo por hacer!) se despegó de las aplicaciones prácticas, especialmente en el ámbito académico, y se empezaron a crear construcciones matemáticas que poco o nada tenían que ver con el estudio de la realidad que nos rodea. Esta irrupción de las matemáticas en la estadística también ha tenido repercusiones en la docencia. Muchas veces los profesores de estadística son y actúan como profesores de matemáticas, lo cual, seguramente, tiene bastante que ver con las causas del desafecto por la asignatura en aquellos estudiantes cuya vocación es otra.

1.5 Estadística y ciencia de datos

El mantra que tanto hemos repetido en las clases de estadística de que “los datos son siempre un recurso escaso” dejó de ser cierto en muchos casos, aunque en muchos otros (en los sondeos electorales, sin ir más lejos) sigue siendo tan válido como siempre.

Cada vez es más habitual capturar datos y enviarlos automáticamente a esa nube que parece no tener límites. Por ejemplo, en las grandes instalaciones de aire acondicionado se pueden colocar sensores que captan la presión del aire o las vibraciones en puntos clave y envían a la nube esos valores, que pueden ser recuperados y analizados desde cualquier lugar. Es también muy típico el ejemplo de los supermercados que almacenan información sobre las compras de sus clientes, lo que les permite realizar un seguimiento detallado de los que tienen tarjeta de fidelidad.

Después de ser capaces de almacenar tantos datos, lo siguiente es intentar sacar provecho de ellos. ¿Cuándo conviene cambiar los filtros o sustituir una pieza que está a punto de romperse? ¿Qué oferta conviene realizar a determinado tipo de clientes? En muchos casos basta con aplicar técnicas clásicas de análisis exploratorio de datos o con la construcción de modelos conceptualmente muy sencillos, pero en otros es necesario utilizar técnicas más sofisticadas y, en todos los casos, el manejo y la gestión de grandes volúmenes de datos entraña unas dificultades específicas.

Básicamente, lo que se ha dado en llamar “Ciencia de Datos” es un conjunto de conocimientos relacionados con la captación, almacenamiento y análisis de datos para crear algoritmos que permitan identificar patrones, casi siempre con el objetivo de hacer previsiones. Algunos de estos algoritmos son capaces de reajustarse automáticamente aprendiendo de sus errores (machine learning). En terrenos como la identificación de imágenes (reconocimiento facial) o de sonidos (“Alexa, ¿qué hora es?”) son excelentes. También en otros casos, como la previsión de valores que evolucionan en el tiempo, el uso de unos algoritmos llamados redes neuronales suele ofrecer mejores resultados que los métodos clásicos.

También es verdad que no es oro todo lo que reluce. Seguramente algunas de sus posibilidades han sido sobrevaloradas por empresas consultoras que ven en estas técnicas con nombre sugerente (Inteligencia artificial, deep learning…) la posibilidad de vender asesoría o nuevos productos.

Una peculiaridad de esos algoritmos es que actúan como “cajas negras” en las que se tienen unas variables de entrada \(X\), y otras de salida \(Y\), y lo que se pretende es tener buenas previsiones de los valores de \(Y\) dado un conjunto de valores de \(X\), pero sin llegar a entender cómo esos valores de \(X\) están afectando a los de \(Y\). El no conocer las relaciones causa-efecto limita sus posibilidades en la solución de problemas cuando es necesario conocer cuáles son las causas que los provocan para poder plantear soluciones eficaces. Por otra parte, el esfuerzo que se realiza intentado obtener información de grandes volúmenes de datos de dudosa calidad –muchas veces misión imposible– sería mejor reorientarlo a plantearse qué datos se necesitan y planificar su recogida con el rigor y la estructura adecuados para que, de manera transparente y fiable, se pueda obtener la información deseada, así como un mejor conocimiento del proceso en estudio.

Es un tema controvertido si la “Ciencia de Datos” debe ser considerada una parte de la estadística o si se trata de una nueva disciplina. Nuestra opinión es que depende de lo que entendamos por estadística. Si estadística es la parte de las matemáticas que se dedica a crear métodos estadísticos, entonces realmente la ciencia de datos es una nueva disciplina, mucho más orientada a la resolución de problemas prácticos. Si la estadística es la disciplina que trata de la recogida y el análisis de datos para responder a las preguntas que nos planteamos, creemos que la ciencia de datos encaja perfectamente en esa definición.

En cualquier caso, entender el funcionamiento de esos algoritmos, ser capaces de programar y de interactuar con grandes volúmenes de datos, así como conocer las posibilidades de almacenamiento y computación en la nube, son habilidades muy demandadas y con un gran futuro.

1.6 Lo que encontrará en este libro

El contenido está organizado en torno a los temas que típicamente conforman los cursos generales de estadística. Empezamos con la estadística descriptiva y acabamos con los modelos de regresión, pasando por las características de las variables aleatorias, las distribuciones de probabilidad, el muestreo, la estimación y el contraste de hipótesis. No tratamos algunos temas que también suelen aparecer, como el análisis de la varianza. Lo que sí hacemos –quizá de forma machacona– es insistir en las ideas clave, en particular en las que intervienen en el contraste de hipótesis.

En los apéndices se incluyen temas que habitualmente no se tratan, pero que nos parecen importantes. Por ejemplo, en el contexto de la síntesis numérica de datos, tratamos el número de decimales con el que es razonable presentar los resultados, o el uso de los porcentajes y sus posibles malas interpretaciones. También nos entretenemos en los test de Normalidad, más para destacar sus limitaciones que sus virtudes, y en los posibles criterios que se pueden usar para ajustar un modelo de regresión.

No hay ejercicios al final de cada tema, pero en el epílogo se proponen algunos trabajos que ayudan a reforzar las ideas clave. Otro buen ejercicio es reproducir los análisis que se realizan, aunque para ello conviene estar familiarizado con algún software de análisis de datos. Si se sabe programar, se pueden repetir las simulaciones que se realizan y llegar uno mismo a las conclusiones que se presentan; y si no se sabe, esta puede ser una buena razón para aprender. El contenido está organizado en torno a los temas que típicamente conforman los cursos generales de estadística. Empezamos con la estadística descriptiva y acabamos con los modelos de regresión, pasando por las características de las variables aleatorias, las distribuciones de probabilidad, el muestreo, la estimación y el contraste de hipótesis. No tratamos algunos temas que también suelen aparecer, como el análisis de la varianza. Lo que sí hacemos –quizá de forma machacona– es insistir en las ideas clave, en particular en las que intervienen en el contraste de hipótesis.

Una de las características del cálculo de probabilidades es que es muy fácil pensar ejercicios sobre este tema y también es fácil corregirlos. Quizá eso tiene algo que ver con su papel protagonista en los cursos de estadística.↩︎
Un libro interesante sobre la evolución de la estadística en este periodo es el de David Salsburg: “The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century”.↩︎