Interrogé par des utilisateurs de X mercredi sur des sujets complètement différents, le chatbot inclus dans le réseau social d’Elon Musk répétait à l’envi des phrases sur un pseudo « génocide blanc en Afrique du Sud ». Cette désinformation est apparue après que Donald Trump a offert le statut de réfugiés à des Afrikaners, prétextant […]
C’est à la fois hilarant et inquiétant. C’est hilarant parce que ce genre de manipulation est faisable d’une façon beaucoup plus subtile et que là c’est un boulot d’amateur complet.
C’est inquiétant parce que il a une équipe derrière lui qui est capable de faire ça de façon bien plus compétente.
Mais c’est une chose étrange que ça a en effet l’air d’être difficile de rendre ces LLM plus racistes qu’ils ne le sont naturellement, qu’on a du mal à rajouter ce genre de biais.
Je ne me lasse pas de raconter l’histoire de Grok. En fait, ça vient du fait que Musk a l’origine critiquait (avec raison) le fait que les LLM tels que ChatGPT ou Claude sont obséquieux, politiquement corrects et refusent de prendre parti sur des questions politiques. Ce sont des modèles entraînés par des boîtes américaines et la norme là-bas c’est d’être le plus mou possible quand on parle de politique, de froisser personne et d’avoir des clients qui sont à la fois conservateurs et libéraux.
Du coup, Musk a proposé d’entraîner son modèle sans la partie diplomatique et politiquement correcte, en pensant que si tu enlèves la bien-pensance (forcément gauchiste), on aurait un modèle qui est aligné sur ses valeurs à lui. De façon hilarante, ça crée un modèle qui est le plus à gauche quand tu le testes sur des choses comme le political compass, et qui n’a en effet pas la langue dans sa poche lorsqu’il s’agit de critiquer des milliardaires tels que Musk. Il se trouve que le dataset d’entraînement principal de ces choses-là, c’est-à-dire un peu tout Internet, tout Reddit et compagnie, est en fait très à gauche (du point de vue de Musk)
C’est à la fois hilarant et inquiétant. C’est hilarant parce que ce genre de manipulation est faisable d’une façon beaucoup plus subtile et que là c’est un boulot d’amateur complet.
C’est inquiétant parce que il a une équipe derrière lui qui est capable de faire ça de façon bien plus compétente.
Mais c’est une chose étrange que ça a en effet l’air d’être difficile de rendre ces LLM plus racistes qu’ils ne le sont naturellement, qu’on a du mal à rajouter ce genre de biais.
Je ne me lasse pas de raconter l’histoire de Grok. En fait, ça vient du fait que Musk a l’origine critiquait (avec raison) le fait que les LLM tels que ChatGPT ou Claude sont obséquieux, politiquement corrects et refusent de prendre parti sur des questions politiques. Ce sont des modèles entraînés par des boîtes américaines et la norme là-bas c’est d’être le plus mou possible quand on parle de politique, de froisser personne et d’avoir des clients qui sont à la fois conservateurs et libéraux.
Du coup, Musk a proposé d’entraîner son modèle sans la partie diplomatique et politiquement correcte, en pensant que si tu enlèves la bien-pensance (forcément gauchiste), on aurait un modèle qui est aligné sur ses valeurs à lui. De façon hilarante, ça crée un modèle qui est le plus à gauche quand tu le testes sur des choses comme le political compass, et qui n’a en effet pas la langue dans sa poche lorsqu’il s’agit de critiquer des milliardaires tels que Musk. Il se trouve que le dataset d’entraînement principal de ces choses-là, c’est-à-dire un peu tout Internet, tout Reddit et compagnie, est en fait très à gauche (du point de vue de Musk)