Sans aller jusqu'au machine learning ce problème peut survenir dans tout algorithme  qui ne va considérer en entrée que les conséquences de ses propres sorties. C'est le cas des algorithmes de proposition de vidéo sur youtube ou d'approvisionnement des rayons d'un magasin par analyse des ventes par exemple. Tant que le critère final est simple et unique, maximiser les clics dans l'exemple des vidéos, alors il n'y a pas de problème algorithmique. Les résultats maximiseront les clics puisque les raisons qui déclenchent le clic n'importent pas.

Par contre, et c'est le sujet de cette vidéo, dès qu'il s'agit d'y adjoindre d'autres critères ou de rendre le résultat plus abstrait (augmenter le nombre des clients d'un magasin en général plutôt que d'augmenter les ventes de produits donnés), il devient très difficile de prévoir les résultats à moyen et long terme car l'algorithme lui même n'a que peu de prise sur ce qui va effectivement déclencher le clic chez l'utilisateur, et donc déterminer ses entrées futures. Il peut apparaître de petites distorsions imprévisibles dans les réactions aux propositions qui par l'effet d'amplification par accumulation peuvent faire diverger les résultats de manière imprévisible au fil du temps. C'est un peu pour un algorithme l'équivalent d'un discours performatif.

Cela ne signifie pas qu'il serait impossible de calculer ce qui se passe par rétro-analyse mais pour des systèmes complexes à pas mal de variables et beaucoup de données c'est parfois très compliqué. Tout ce qui est calculable au sens mathématique ne l'est pas forcément au sens informatique.

Tout dépend donc des règles établies en amont et des différents poids entre elles. Mais même si ces règles sont peu nombreuses et relativement simples, en dehors de la méthode empirique le programmeur a très peu de chance de prévoir l'évolution de tels systèmes sur la simple base de son code, alors quant à la maîtriser ...

Il nous est donc possible de parler de boîte noir pour des algorithmes un peu complexe de ce type comme on parle parfois de hasard dans certaines situations qui ne sont pas physiquement parlant du hasard. c'est juste que ces situations seraient très difficiles à calculer à cause de la multiplicité des paramètres qui interviennent dans le résultat final, de leurs interactions et de leur évolution dans le temps.

Tout à fait. Cette volonté d'imposer « algorithme » partout plutôt que « programme informatique » n'est pas sans arrière-pensée. Elle occulte l'existence du programmeur et laisse à penser à une « objectivité » non-humaine, donc « légitime ».

Il est fondamental de rappeler que l'algorithme ne décide rien qui ne soit prévu par un programmeur.

«Les algos ne sont des boîtes noires que parce qu’on est dans une logique de propriété intellectuelle privative»

Pas seulement. Les algorithmes dont il est question sont les algorithmes de recommandation. Sans révéler le code source, on pourrait révéler les critères et leurs poids respectifs. Si ce n'est pas fait c'est que ça aboutirait à un autre problème: avec des moyens cela rendrait beaucoup plus facile (pour des gens pas très bien intentionnés) de se retrouver en tête de gondole. Il y a donc toujours un jeu de chat et de la souris entre ceux qui cherchent à comprendre l'algorithme et ceux qui cherchent à le rendre opaque. Et il n'y a malheureusement pas de super bonne réponse à cela.

Tournesol, ça part d'une bonne intention, mais au final on a une machine à recommander de la vulgarisation scientifique de certains cercles. Une ou deux personnes pourraient très bien faire cela toutes seules sans aucune automatisation. Et si ce que vous cherchez c'est le LOL, les derniers ragots du monde du foot ou des recettes de desserts vegan, passez votre chemin…

Bonjour.

2 choses dans votre message :

- sur la mystification du mot "algorithme", je suis entièrement d'accord avec vous. On a l'impression qu'un algorithme, c'est forcément un énorme truc opaque qui fait des choses mystérieuses. Donc, déjà, un algorithme peut être très simple : ajouter 1 à la valeur entré, c'est déjà un algorithme, classer des entrées par ordre alphabétique, c'est un algorithme... Et, en plus, un algorithme n'est pas forcément secret. Il peut très bien être public. Je pense qu'encore une fois, cette mystification montre surtout l'ignorance des médias de tout ce qui est scientifique et en particulier l'informatique

- par contre, même si je suis d'accord qu'un algorithme est conçu par des programmeurs qui ont des intentions bien précises, il n'empêche que, comme dit par d'autres commentateurs, dès que le programme est un peu complexe et que les entrées possibles sont variées et nombreuses, il peut y avoir au cours du temps des réponses de l'algorithme inattendues... Alors bien sûr, si on retraçait tous les calculs de l'algorithme à la main, on arriverait au même résultat (en ce sens c'est prévisible). Sauf que dans la réalité, parfois, faire les mêmes calculs à la main prendrait des millions d'année. Donc finalement, on ne le fera pas. Et les résultats de l'algorithme paraissent magiques

Et, bien sûr, "l'intelligence artificielle" amplifie cette tendance même si je déteste ce terme d'intelligence artificielle, qui, là encore, est une belle trouvaille marketing et plaît au médias mais, qui, je trouve est trompeur par rapport à ce qu'il y a réellement derrière...