In 2007 en 2008 heeft Dialogic namens het Ministerie van Economische Zaken een onderzoek uitgevoerd naar de mogelijkheden om het internet direct te gebruiken als bron voor formele CBS-statistieken, Internet as Datasource. Direct omdat het gaat om het geautomatiseerd verzamelen van data van het internet door middel van webrobots, directe koppelingen op databases en het lokaal volgen van surfgedrag. De resultaten zijn toen onder andere gepresenteerd aan EuroStat en de OECD.

In het najaar van 2010 heeft de Europese Commissie, als vervolg op ons onderzoek in Nederland, een tender uitgeschreven voor het uitvoeren van een soortgelijk haalbaarheidsonderzoek, maar nu op Europees niveau. Dialogic heeft deze tender gewonnen en gaat het onderzoek nu op verschillende plaatsen in Europa uitvoeren, samen met het Nederlandse bedrijf Digital Architects (voor de webcrawlers), het Duitse bedrijf Ipoque (voor de deep packet inspection), het CBS en de Engels-Chinese juriste dr. Faye Fangfei Wang (voor de juridische aspecten).

Every internet user leaves its ´digital footprints´ on the internet behind. By using these footpints, we could obtain insights in a wide range of socio-economic phenomena. This could substitute data that is gather by statistical offices in the traditional manner, but it also offers all kinds of insights that cannot be obtained using traditional methods.

In this research project Dialogic focused on assessing three methods on several dimensions:

• User centric measurements focusing on the behaviour of individual users;
• Network-centric measurements focusing on traffic on the internet
• Site-centric measurements focusing on data on webservers

Nine in-depth case studies were performed, assessing the quality of the data, privacy, ethical & legal issues, uniqueness of the data, costs & benefits, et cetera.

Three field studies were performed; one of each method. Both the user and site centric measurements resulted in actual data. Due to privacy, legal and ethical issues, we decided not put the network centric measurement in practice.