Il y a un air de déjà vu dans la promesse du Big Data, un quelque chose d'avant les années 2000 quand ont nous faisais espéré trouvé l'or des bases de données relationnelles, plus encore au tournant du siècle avec des systèmes CRM prêt à faire la différence (stratégique) et toute cette battéries d'outils statistiques rhabillée en pelle et pioches du minage de données. Aujourd'hui Big Blue en tête et les société de conseil comme McKinsey reviennent vendre du petaoctet au motif que les grosses données du net sont pleines de ressources, qu'il faut désormais être prêt a accueillir cette munificence recueillies par les milliards de capteurs : PC, laptops, ATM, call center, front-office, terminaux de paiement, mobiles, GSM, tablettes, compteurs divers et variés, TV, et tout ceux qui vont venir bientôt s'encastrer dans nos objets.
Soyons prudent sur les promesse, l'or est peut-être dans les données, mais le difficile c'est de l'extraire, et le nombre pourrait ne pas être suffisant. Les riches alchimistes ne sont pas ceux qui possédaient des mines de plomb, mais ceux qui ont découvert le procédé de la transmutation. Il est nécessaire de réfléchir mieux à ce pourquoi l'information et sa codification en données apporte de la valeur. On a trop souvent défendu un point de vue fétichiste qui attribue à la donnée un pouvoir limitée au placebo. 3 points.
Premier argument : l'avantage de la quantité. Il n'est pas sur du tout que les bases comportementales ont amélioré fortement la connaissance que nous avions des clients. Pour le praticien de la recherche et des études, l'exploitation de la quantité montre que le rendement du volume d'information est rapidement décroissant. S'il faut explorer une consommation, quelques petites dizaines d'interview permettent de se rendre rapidement compte des points clés et d'une grande partie du détail. Les interviews supplémentaire apporteront peu, voire rien. Le corpus obtenu d'un million de signe suffit.
Dans les enquêtes plus codifiées, qui visent à une mesure précision de la fréquence d'un caractère ou du degré d'un opinion, les traits généraux sont saisis à partir de plusieurs centaines d'observation, les milliers permettent de comparer surement des sous-populations, et à l'ordre grandeur de 10000, la précision est bien plus grandes que les erreurs de mesure. La théorie de l'échantillonnage contredit sérieusement les prétentions du big data : il n'y a pas besoin d'un volume très grand d'information pour saisir toute la connaissance, il faut un échantillon bien choisi, représentant correctement la population étudiée. De ce point de vue le big data aussi vaste soit -il, à moins d’être exhaustif, est une source de biais : les information collectées ne couvrent qu'un partie de l'univers et son donc susceptible à des biais.
Ajoutons que sans modèle, les mesures ont peu de chance de devenir connaissance. L'essentiel dans les données ce sont les grilles d'analyse et les modèles issus du raisonnement théorique qui permettent de transformer la donnée en connaissance. Juste un exemple, l'analyse des données de réseau produit aujourd'hui de très beaux graphes, dont les imprimantes modernes peuvent dessiner les plus fines relations. C'est très beau et ça ne nous apprend rien. En revanche disposer d'une théorie et d'un modèle de la structure des réseaux ( par ex : Attachement préférentiel, free scale distribution model) permet d'en calculer des propriétés globales et une partie du comportement. la valeur n'est pas dans les données mais dans le modèle.
Un autre argument justifie l'approche Big data : L'avantage de hétérogénéité. S'il n'y a pas de différence épistémologique entre petites et grandes données. Il y en a une très pratique : les êtres humains sont très différents, et varient dans leurs comportements. Il n'y pas pas une loi d'ensemble, mais des variations fortes. Obtenir des données nombreuses apporte l'avantage de pouvoir dans l'instant de l'action projeter les valeurs des paramètres calculés par les modèles. La valeur de l'information n'est donc pas dans la connaissance mais dans l'exploitation de cette connaissance.
Et c'est bien là la promesse du big data : l'automatisation de la décision dans des contextes très spécifiques. Là, on comprend mieux la source de cette valeur. Même si on ne dispose que d'un modèle frustre, son adaptation par un seul paramètre (par exemple une élasticité prix qu'on peut individualisée, et qui permet donc d'optimiser individuellement le prix pour tirer tout l'avantage d'une discrimination presque optimale) permet des gains dont l'espérance est sans doute faible unité par unité, mais dont l'accumulation peut sans doute justifier les vastes investissement du Big Data à venir.
Cette automatisation de la décision suppose qu'au-dessus de la couche des capteurs et des dispositifs de stockage et d'échange de l'information, de celle des modèles et des stratégies, se développe une plateforme décisionnelle : une capacité de production de règle de décision, des moteurs d'inférence, des simulateurs. L'exigence c'est le temps réel et l'ubiquité. Pouvoir en quelque seconde comparer les informations contextuelles aux banques de connaissance et de règles pour délivrer une réponse.
Cet avantage de hétérogénéité ne se limite pas à la décision. Nous vivons dans un temps et un espace physique, chacun est soumis à un champs local puissant. Le Big Data permet de produire une information contextualisée de manière continue. Des zones géographique fine et des fenêtre de temps courtes. Nous sommes dans l'échelle du mètre et de la seconde. On imagine la production de tableaux de bord généralisés. Voir dans une banque agence par agence et minute par minute les variation de l'activité, observer les ventes en continu dans le supermarché et détecter les engouement en quelques heures. C'est la possibilité de projeter en temps réel l'information locale aux acteurs locaux pour qu'il prenne de meilleures décisions, aiguise leur connaissance du terrain qui devient la source de valeur.
Le Big Data assurément va remettre en question les organisations. Et proposons une hypothèses : si les système CRM ont centralisé la stratégie et son application, allégeant la charge du réseau physique pour la déplacer sur des plateformes centrales, le Big Data ne sera un succès que s'il s'accompagne d'une décentralisation de la décision et au moins de repenser l'organisation.
Soyons prudent sur les promesse, l'or est peut-être dans les données, mais le difficile c'est de l'extraire, et le nombre pourrait ne pas être suffisant. Les riches alchimistes ne sont pas ceux qui possédaient des mines de plomb, mais ceux qui ont découvert le procédé de la transmutation. Il est nécessaire de réfléchir mieux à ce pourquoi l'information et sa codification en données apporte de la valeur. On a trop souvent défendu un point de vue fétichiste qui attribue à la donnée un pouvoir limitée au placebo. 3 points.
Premier argument : l'avantage de la quantité. Il n'est pas sur du tout que les bases comportementales ont amélioré fortement la connaissance que nous avions des clients. Pour le praticien de la recherche et des études, l'exploitation de la quantité montre que le rendement du volume d'information est rapidement décroissant. S'il faut explorer une consommation, quelques petites dizaines d'interview permettent de se rendre rapidement compte des points clés et d'une grande partie du détail. Les interviews supplémentaire apporteront peu, voire rien. Le corpus obtenu d'un million de signe suffit.
Dans les enquêtes plus codifiées, qui visent à une mesure précision de la fréquence d'un caractère ou du degré d'un opinion, les traits généraux sont saisis à partir de plusieurs centaines d'observation, les milliers permettent de comparer surement des sous-populations, et à l'ordre grandeur de 10000, la précision est bien plus grandes que les erreurs de mesure. La théorie de l'échantillonnage contredit sérieusement les prétentions du big data : il n'y a pas besoin d'un volume très grand d'information pour saisir toute la connaissance, il faut un échantillon bien choisi, représentant correctement la population étudiée. De ce point de vue le big data aussi vaste soit -il, à moins d’être exhaustif, est une source de biais : les information collectées ne couvrent qu'un partie de l'univers et son donc susceptible à des biais.
Ajoutons que sans modèle, les mesures ont peu de chance de devenir connaissance. L'essentiel dans les données ce sont les grilles d'analyse et les modèles issus du raisonnement théorique qui permettent de transformer la donnée en connaissance. Juste un exemple, l'analyse des données de réseau produit aujourd'hui de très beaux graphes, dont les imprimantes modernes peuvent dessiner les plus fines relations. C'est très beau et ça ne nous apprend rien. En revanche disposer d'une théorie et d'un modèle de la structure des réseaux ( par ex : Attachement préférentiel, free scale distribution model) permet d'en calculer des propriétés globales et une partie du comportement. la valeur n'est pas dans les données mais dans le modèle.
Un autre argument justifie l'approche Big data : L'avantage de hétérogénéité. S'il n'y a pas de différence épistémologique entre petites et grandes données. Il y en a une très pratique : les êtres humains sont très différents, et varient dans leurs comportements. Il n'y pas pas une loi d'ensemble, mais des variations fortes. Obtenir des données nombreuses apporte l'avantage de pouvoir dans l'instant de l'action projeter les valeurs des paramètres calculés par les modèles. La valeur de l'information n'est donc pas dans la connaissance mais dans l'exploitation de cette connaissance.
Et c'est bien là la promesse du big data : l'automatisation de la décision dans des contextes très spécifiques. Là, on comprend mieux la source de cette valeur. Même si on ne dispose que d'un modèle frustre, son adaptation par un seul paramètre (par exemple une élasticité prix qu'on peut individualisée, et qui permet donc d'optimiser individuellement le prix pour tirer tout l'avantage d'une discrimination presque optimale) permet des gains dont l'espérance est sans doute faible unité par unité, mais dont l'accumulation peut sans doute justifier les vastes investissement du Big Data à venir.
Cette automatisation de la décision suppose qu'au-dessus de la couche des capteurs et des dispositifs de stockage et d'échange de l'information, de celle des modèles et des stratégies, se développe une plateforme décisionnelle : une capacité de production de règle de décision, des moteurs d'inférence, des simulateurs. L'exigence c'est le temps réel et l'ubiquité. Pouvoir en quelque seconde comparer les informations contextuelles aux banques de connaissance et de règles pour délivrer une réponse.
Cet avantage de hétérogénéité ne se limite pas à la décision. Nous vivons dans un temps et un espace physique, chacun est soumis à un champs local puissant. Le Big Data permet de produire une information contextualisée de manière continue. Des zones géographique fine et des fenêtre de temps courtes. Nous sommes dans l'échelle du mètre et de la seconde. On imagine la production de tableaux de bord généralisés. Voir dans une banque agence par agence et minute par minute les variation de l'activité, observer les ventes en continu dans le supermarché et détecter les engouement en quelques heures. C'est la possibilité de projeter en temps réel l'information locale aux acteurs locaux pour qu'il prenne de meilleures décisions, aiguise leur connaissance du terrain qui devient la source de valeur.
Le Big Data assurément va remettre en question les organisations. Et proposons une hypothèses : si les système CRM ont centralisé la stratégie et son application, allégeant la charge du réseau physique pour la déplacer sur des plateformes centrales, le Big Data ne sera un succès que s'il s'accompagne d'une décentralisation de la décision et au moins de repenser l'organisation.
Jeu de briques
Snake
Pacman
Bubble