Archivos de la categoría Estadística

Vídeo

The Bayesian Trap

Hoy os traemos un interesante vídeo sobre estadística bayesiana del canal Veritasium, que aprovechamos para recomendaros.

El banco de Nueva Zelanda sustituye SAS por R

El banco Heartland Bank, de Nueva Zelanda, decidió utilizar técnicas de análisis de datos para evaluar las líneas de crédito, analizar riesgos y comprender los flujos de efectivo.

Comenzaron utilizando el sistema SAS, usual en estos ambientes, pero pronto se dieron cuenta de que este sistema era complicado y consumía mucho tiempo y recursos, sobretodo cuando trataban de actualizar los modelos financieros.

Así, el Heartland Bank reemplazó a SAS por servidores de R y SQL Server, y a adoptó R como su plataforma de análisis de datos. Heartland utiliza ahora R para diferentes procesos como el desarrollo de tarjetas de crédito, el análisis de atrasos y la previsión de inversiones, entre otros.

Además, su uso ha generado una nueva forma de trabajar los datos dentro de la empresa, ahora son los propios empresarios del banco quienes utilizan R para trabajar directamente con los nuevos modelos de datos, en lugar de depender de TI para producir informes. Así los empleados tienen acceso a información en tiempo real.

Pueden ver el artículo completo aquí.

Imagen

Una imagen vale más que mil palabras

Errores tipo I y tipo II

Descripción gráfica. Errores tipo I y tipo II

Seminario SAE: Consistencia interna en cuestionarios

corrplotMañana (viernes 14/oct) tendrá lugar el en el aula del SACE (12h) el seminario sobre “Consistencia interna en cuestionarios “, que dará Elvira Ferre Jaén, matemática estadística de este servicio.

En la exposición se repasaran diversa técnicas para medir consistencia interna y correlación en cuestionarios.

Actualización: Aquí os dejamos la presentación correlacion-consistencia-interna.pdf

Seminario SAE: El paquete Tables

alvarox Hoy ha tenido lugar el seminario sobre “El paquete tables de R”, que ha dado Álvaro Hernández Vicente. Que facilita mucho la creación de tablas con muchas categorías, cuidando el aspecto, genial para incluir en nuestros informes automáticos de grandes conjuntos de datos.

Os dejamos aquí la presentación en pdf. Paquete-tables-pres.pdf

PSPP reemplazo libre a SPSS

PSPP screenshot

¿Qué es PSPP y por qué usarlo?

Muchos de los cursos introductorios de estadística requieren el uso de algún software de análisis estadístico. La estadística debe y es independiente del software que se emplee, ¿por qué usar un software propietario cuando existe una alternativa libre como PSPP?

PSPP es una aplicación de software libre para el análisis de datos. Se presenta en modo gráfico y está escrita en el lenguaje de programación C. Usa la biblioteca científica GNU para sus rutinas matemáticas, y plotutils para la generación de gráficos. Es un reemplazo libre para el software propietario SPSS y aparentemente muy similar con pequeñas excepciones. Las más importantes son:

  1. La copia de PSPP no expira con el tiempo
  2. Admite alrededor de un billón de casos y un billón de variables.
  3. No hay paquetes adicionales que haya que adquirir con el fin de obtener las funciones “avanzadas”; todas las funcionalidades que PSPP aporta actualmente están en el paquete básico.

Técnicas que implementa

PSPP ofrece muchas transformaciones y utilidades. Entre ellas, cabe destacar la capacidad de realizar:

  • t-tests
  • ANOVA
  • Regresión lineal
  • Regresión logística
  • Análisis de conglomerados
  • Análisis de confiabilidad
  • Análisis factorial
  • Pruebas no paramétricas

Algunas funcionalidades adicionales:

  • Pegar la sintaxis del análisis en ficheros parecidos a los .sps de SPSS.
  • Exportar los resultados a pdf, html, odt, csv, etc.

Enlaces de descarga del PSPP

Sigue leyendo

Seminario: Visualización y análisis de escalas Likert

Ant J. Perán en el aula del edificio SACE del SAI

Ant José Peran en el aula del edificio SACE del SAI

El pasado viernes 30 de septiembre tuvo lugar en el Edificio SACE, el seminario “Visualización y análisis de escalas Likert”, presentado por nuestro compañero Antonio José Perán.

Esperamos que sea el primero de una saga de pequeños seminarios sobre paquetes de R y técnicas estadísticas que consideremos interesantes. Las iremos anunciando con más antelación que esta en esta web.

Os dejamos aquí la presentación en pdf: Visualizacion-y-analisis-de-escalas-Likert.pdf

Paquetes para aprendizaje automático en R

El pasado 6 de junio se publicaba en R-bloggers una entrada titulada What are the Best Machine Learning Packages in R? En ella el autor hacía una lista con los paquetes que él considera más importantes para machine learning en R (y que puede hacer que algunos opten por iniciarse por este software).

La lista incluye los paquetes:

  • mice: Multivariate Imputation by Chained Equations. Para completar los valores perdidos o NA de nuestra base de datos.
  • rpart: Recursive Partitioning and Regression Trees. Para realizar árboles de clasificación y regresión.
  • party: A Laboratory for Recursive Partytioning. También sirve para realizar modelos basados en árboles de decisión.
  • caret: Classification And REgression Training. Con este paquete se pretende tener un marco común para utilizar las demás técnicas de Machine learning.
  • randomForest: Breiman and Cutler’s Random Forests for Classification and Regression. Para realizar bosques aleatorios.
  • nnet: Feed-Forward Neural Networks and Multinomial Log-Linear Models. Para realizar redes neuronales.
  • e1071: Misc Functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien. Entre otros nos permite realizar modelos de máquinas de soporte de vectores, transformaciones de Fourier, etc.
  • kernlab: Kernel-Based Machine Learning Lab. Implementa algoritmos basados en métodos de Kernel.

En la entrada se puede ver más información y ejemplos de cada paquete.

R supera a SAS en el uso escolar

Una buena forma de analizar el uso de los distintos paquetes de software estadístico es analizar su aparición en artículos escolares. Basándonos en ello, tenemos que durante los últimos 15 años SPSS ha sido el paquete más dominante, y sigue siendolo a finales de 2015, seguramente debido a su equilibrio entre potencia y facilidad de uso. La novedad está en que por primera vez, R se encuentra en el segundo puesto con más de la mitad de artículos, quedando SAS relegado a un tercer lugar.

Estos datos son útiles para analizar la cuota de mercado, pero si queremos ver cómo el uso de los paquetes está cambiando, lo ideal es analizar la tendencia de crecimiento en los dos últimos años para cada uno de los paquetes de análisis de datos. Podemos ver en rojo, aquellos paquetes “calientes” cuyo uso está creciendo, y en azul aquellos que se “están enfriando”.

Observamos que Python es aquel con mayor crecimiento. El segundo y tercer puesto es para los paquetes de código abierto KNIME y RapidMiner, respectivamente. R está en el cuarto lugar, y teniendo en cuenta su segundo lugar en cuota de mercado global, está en una posición envidiable. En el otro extremo de la escala están SPSS y SAS, ambos de los cuales redujeron su uso un 25% o más.

Si analizamos esta tendencia a largo plazo (de 1995 a 2015) observamos que SPSS tiene una clara ventaja, pero ahora se puede ver que su dominio alcanzó su punto máximo en 2008 y que su uso está en fuerte descenso. SAS nunca llegó a nivel de dominio de SPSS, y también alcanzó su punto máximo alrededor de 2008. Esto se equilibra ligeramente con el aumento en el uso del resto de software en general y de R en particular.

Quitando del gráfico las curvas de SAS y SPSS, podemos ver que el crecimiento en el uso de R es bastante rápido y se está alejando de la manada. Si las tendencias actuales continúan, R cruzará SPSS para convertirse en el software #1 para el uso de datos ciencia académica a finales de 2017.

Para dejar aún más claro este punto, repetimos el gráfico anterior aplicando escala logarítmica en el eje y. Esto reduce proporcionalmente los paquetes más populares, que nos permite ver más claro que el uso de R ha pasado al de SAS, y que el uso de Stata se está cerca de hacerlo.

Léase la noticia completa en https://www.r-bloggers.com/r-passes-sas-in-scholarly-use-finally/

La estadística trabaja al servicio de todos los tipos de ciencia

Entrevista a Mathieu Kessler Catedrático de Matemática Aplicada y Estadística de la Universidad Politécnica de Cartagena, por M. J. MORENO (11/06/2016)

En la ciencia, todo lo que se observa son datos: pueden ser el resultado de experimentos, como por ejemplo la concentración de colesterol en un paciente sometido a un tratamiento experimental, o pueden ser lo que se registre en un fenómeno natural, como por ejemplo la temperatura en el contexto del calentamiento global. En base a estos datos los científicos, como Mathieu Kessler, idean teorías o diseñan productos que nos pueden cambiar la vida. Podríamos decir que los datos son las palabras que interpreta el científico para entender la realidad, de ahí la importancia de que se traten de manera adecuada.

¿Qué papel juega la estadística en el desarrollo de investigaciones científicas?

Por una parte, la estadística ayuda a transformar la información bruta de los datos en conocimiento. Permite distinguir lo que es ruido de lo que es significativo y que podría suponer un progreso. En la fase de prueba de un medicamento, por ejemplo, es la estadística la que permite comprobar si el efecto observado en los pacientes es significativo o solamente debido al azar o otras causas (efecto placebo, por ejemplo). Por otra parte, una contribución muy importante de la estadística a la ciencia es que explica cómo hay que diseñar un experimento para evitar que confundamos el efecto observado con otras causas colaterales: si queremos recabar la percepción de consumidores sobre distintos diseños de un producto comercial, tendremos que asegurarnos que los distintos grupos que consideremos para la comparativa tengan una composición parecida en edad, sexo, nivel socio económico etc… Es la estadística que llamó la atención de manera clara sobre estas precauciones básicas que nos pueden parecer muy naturales ‘a posteriori’.

Otras preguntas de la entrevista:

  • Se trata, por tanto, de una rama complementaria a cualquier tipo de ciencia.
  • ¿Hablar de datos o de estadística es hacerlo de métodos 100% objetivos, o cabe la interpretación?
  • En ocasiones es necesario trabajar con datos personales, ¿es posible una total protección del anonimato?
  • ¿Cuánto tiempo lleva desarrollar un análisis de datos de calidad?
  • ¿Cómo han influido los avances en computación a este respecto?
  • No se tratan igual los datos relacionados con política que con la medicina u otras disciplinas, ¿con qué dificultades se encuentran a la hora de trabajar para obtener resultados óptimos?
  • ¿Existe algún sector en el que les resulte más complicado investigar o en el que directamente sea imposible hacerlo?

Entrevista completa en http://ababol.laverdad.es