Archivos de la categoría Big Data

For Big-Data Scientists, ‘Janitor Work’ Is Key Hurdle to Insights

Technology revolutions come in measured, sometimes foot-dragging steps. The lab science and marketing enthusiasm tend to underestimate the bottlenecks to progress that must be overcome with hard work and practical engineering.

The field known as “big data” offers a contemporary case study. The catchphrase stands for the modern abundance of digital data from many sources — the web, sensors, smartphones and corporate databases — that can be mined with clever software for discoveries and insights. Its promise is smarter, data-driven decision-making in every field. That is why data scientist is the economy’s hot new job.

Yet far too much handcrafted work — what data scientists call “data wrangling,” “data munging” and “data janitor work” — is still required. Data scientists, according to interviews and expert estimates, spend from 50 percent to 80 percent of their time mired in this more mundane labor of collecting and preparing unruly digital data, before it can be explored for useful nuggets. Sigue leyendo

Kaggle: how it Works

We’re the global leader in solving business challenges through predictive analytics.

http://www.kaggle.com

Un matemático andaluz desconocido es el mejor científico de datos del mundo

El matemático José Antonio Guerrero (Cádiz, 1961) es pintor, pero sus óleos son los datos. El lienzo sobre el que trabaja cada noche hasta el amanecer, después de su jornada laboral oficial, es el ordenador de su casa, en Sevilla, donde de forma obsesiva y anónima, como los artistas auténticos, ha pintado una serie de modelos predictivos que le han convertido en el mejor científico de datos del mundo.

kaggle rankings

Sus predicciones matemáticas son, a su modo, obras de arte: “Lo más parecido a mi trabajo sería el impresionismo. Muchas veces vas dando pasos intermedios definiendo y calculando variables, construyendo modelos parciales. El conjunto sólo toma pleno sentido cuando se mira desde una cierta perspectiva”, cuenta a Teknautas el escurridizo Guerrero, inédito aún –salvo este post de Soraya Paniagua– en las búsquedas de Google. Sin duda, forma parte del reducido grupo de personas que pueden encontrar la belleza en el big data.