Aidez-nous à enrichir notre programme de travail
Vous pouvez participer au choix des sujets d’enquêtes.
Evaluation des outils de calculs des droits sociaux utilisés par les CAF (dont APL, AAH, RSA, AF)
Dans le cadre de leur mission de versement de droits sociaux, les CAF calculent l’éligibilité et le montant de nombreuses prestations (en 2020, plus de 13 millions d’allocataires et 98 milliards d’euros), dont les APL, l’AAH, le RSA, les AF.
Le sujet : Comment les prestations sont-elles calculées par les CAF ?
Ce sujet pourrait être évalué sur la période 2014-2022 (la CNAF ayant eu recours à un marché public informatique en 2014). Il est à la croisée de 3 enjeux.
Equité et efficacité : les nouveaux outils informatiques de la CAF fonctionnent-ils bien?
Les erreurs de calcul, causées par les logiciels ou par des calculs manuels si le logiciel ne permet pas de calculs automatiques, entraînent :
- Une charge supplémentaire pour les agents des CAF avec la nécessité de les recalculer en cas de recours
- Le versement d’indus qui fragilisent les allocataires et alimentent les erreurs involontaires (lutte contre la fraude).
Cette question est d’autant plus importante qu’en 2014, la CAF a eu recours à un marché public de 21 millions € pour la refonte des applications nationales de traitement des allocations (CRISTAL). Comment cet argent a-t-il été dépensé ? Quel bilan pour ces développements ?
Transparence : les modalités de calcul des droits sociaux sont-elles assez transparentes pour les citoyens et les agents?
De nombreuses associations et allocataires déplorent un manque de transparence des CAF sur les décisions prises. Ainsi, près de la moitié des 200 structures interrogées par la Fondation Abbé Pierre en 2020 font état d’un manque de transparence des décisions des CAF, voir également les témoignages reccueillis par le collectif Changer de Cap).
Au-delà de l’importance de cette transparence d’un point de vue citoyen, les CAF sont également soumises aux obligations de transparence algorithmique prévues par le CRPA, car elles prennent des décisions administratives individuelles avec des algorithmes de calcul.
D’autre part, dans le cadre de leurs missions de contrôle, les agents doivent souvent recalculer les droits versés et les droits dûs. Il serait intéressant de vérifier dans quelle mesure les logiciels utilisés et les ressources (documentaires, de temps…) à leur disposition leur permettent de faire cela facilement.
Justesse : les règles mises en oeuvre par les algorithmes correspondent-elles à celles prévues par le code de la sécurité sociale ?
Pour faire leurs calculs, les agents des CAF s’appuient sur des outils informatiques (dont des algorithmes), qui font partie du système CRISTAL.
Ces outils implémentent les paramètres du code de la sécurité sociale. Dès lors, la question se pose : le code informatique correspond-il au code législatif ?
Une question similaire s’était posée avec l’algorithme d’Admission Post-Bac. La Cour des Comptes avait montré des différences entre la loi et son implémentation informatique (rapport de 2017).
Pour répondre à cette question et aux précédentes, la Cour pourrait s’appuyer sur ses expertises techniques internes en data science et développement.
Cette proposition n'a pas été retenue
Bonjour,
Nous avons pris connaissance de votre proposition avec attention. Nous vous remercions pour votre contribution à cette démarche citoyenne.
Malheureusement, nous n'avons pu sélectionner que 6 contrôles d'initiatives citoyennes couvrant l'ensemble des domaines de l'action publique, conformément à notre engagement initial. Nous avons ainsi retenu, pour le champ sécurité sociale et santé, une autre proposition portant sur L'interim médical et la continuité des soins. Par ailleurs, dans le cadre de nos contrôles de la sphère sociale, nous nous attachons à évaluer les questions d'indus comme de qualité du système d'information. C'est ainsi que, dans son rapport annuel sur la loi de financement de la sécurité sociale 2020, la Cour des comptes a étudié Le versement à bon droit des prestations sociales.
Liste des soutiens
Signaler un contenu inapproprié
Ce contenu est-il inapproprié ?
34 commentaires
Il est essentiel que le calcul des droits sociaux se fasse dans la transparence pour les allocataires. Des articles récents et des témoignages montrent combien ce système est opaque.
Cette proposition est vraiment d'utilité publique. Je me demande comment les systèmes informatiques peuvent ne pas respecter la législation en cours. et pourtant, il semble que cela puisse être le cas !
Il est nécessaire que les choses soient claires pour les allocataires et les professionnels de l’accompagnement.
Conversation avec Lucien Mehl
Merci beaucoup pour cette contribution ! D'autant plus qu'en plus du système CRISTAL, la CAF emploie un autre système propriétaire d'Oracle pour le calcul d'une partie de ses allocations : https://www.google.com/url?q=https://blogs.oracle.com/oracle-france/post/la-cnaf-dematerialise-la-prime-d-activite-sur-le-cloud-oracle&sa=D&source=docs&ust=1652973019749018&usg=AOvVaw33_etIjQmGx9Dq5pUz7zem. Ils ont même fait une vidéo promotionnelle pour vanter ce nouveau système : https://www.youtube.com/watch?v=Gil_cnDfiPQ. Cela pose néanmoins la question de la transparence du code source : comment le communiquer s'il est écrit dans un langage propriétaire ?
100% d'accord avec toi. Pourvu qu'Oracle n'invoque pas le secret de ses sources.
Excellente contribution! Il est essentiel que la Cour des comptes se penche sur les algorithmes utilisés par la CAF pour le calcul des prestations mais également sur le datamining utilisé pour repérer les profils à risque et renforcer les contrôles relatifs à la fraude à l'égard des allocataires désignés par ce profilage.
Excellente contribution! Il est essentiel que la Cour des comptes se penche sur les algorithmes utilisés par la CAF pour le calcul des prestations mais également sur le datamining utilisé pour repérer les profils à risque et renforcer les contrôles relatifs à la fraude à l'égard des allocataires désignés par ce profilage.
La souffrance induite sur les allocataires de la CAF de part la répression massive provoquée par l utilisation d'algorithme est insoutenable. Les trop perçus sur APL RSA prime d activité qui ne sont jamais justifiés conduisent les personnes vers la dépression car la déclaration par la CAF de ces trop perçus est suivie de prélèvements sur leur versement qui ne respectent en aucune manière le reste à vivre. D autre part il n y a aucune possibilité d avoir une écoute à la CAf qui permette un espoir de faire évoluer la situation : sans espoir pas de vie .
Également l accusation de fraude isole encore plus les personnes dans un sentiment d injustice profond. Cette souffrance est tellement massive qu il est important de mettre fin à ces pratiques.
Elle déstructure l individu et par rebond la société . Ces pratiques n honorent pas une démocratie qui ne se désolidarise pas de telles pratiques.
Il est essentiel que la cour des comptes se penche sur les algoryhmes utilés par
Conversation avec ExITSpecialist
Avant de se plonger dans les algorithmes la première chose a faire c'est d'examiner les "uses cases" - les exemples de règles métiers - qui ont été fournis à la maitrise d'ouvrage. Peut être que les use cases ne sont pas exhaustifs ce qui fait que des cas particuliers tombent dans du code mort ou des dans rejets.
Puis avec ces use cases, il faut examiner le cahier de tests qui font partie du contrat signé par la maitrise d'oeuvre et vérifier que ces tests ont été validés par la maitrise d'oeuvre et bien effectués par la maitrise d'ouvrage.
Enfin si tout est correct de ce coté viendra l'analyse des codes sources (sql, html/jsp/web etc, code serveurs, batch de replication etc etc. Bref le foutoir habituel fait par la maitrise d'ouvrage.
Cela dépend de la méthode utilisée, mais les cas d'utilisation ne sont pas la réalité. et il peut y avoir de grandes différentes. Eventuellement en auditant, utiliser concrètement les cas d'utilisation pour contrôler les résultats. Mais cela n'empêche pas les angles morts (voir au dessus)
Les cas d'utilisation doivent être le reflet de la loi. Et les tests doivent démontrer que chaque cas particulier est bien traité. Si les cas d'utilisation ne prennent pas en compte les irrégularités constatés c'est que le rédacteur n'a pas fait son travail.
Ça suppose que la maîtrise d'ouvrage a correctement fait son travail, ce qui est très délicat quand il s'agit de transformer la loi en code comme ça. En plus vu la complexité du calcul il faudrait des milliers de tests pour couvrir tout le code...
Oui il faut des milliers de tests et une base de données de test conséquente. C'est le travail quotidien des développeurs/testeurs/Dba etc.
Demandez combien a été facturé le contrat.
JE suis une victime de cet Algorithmes
Plusieurs associations déplorent des procédures trop complexes et la difficulté d'avoir un interlocuteur (recommandation de la défenseur des droits) quelques exemples parmi tant d'autres....:
- L’allocataire qui perd ou qui se trompe plusieurs fois dans la saisie de son mot de passe (et qui n’a pas de numéro de téléphone identifié dans son compte caf.fr pour recevoir un mot de passe provisoire par SMS) ni d’adresse mail, ne reçoit pas comme l’indique le serveur « un mot de passe provisoire vous sera envoyé par courrier dans les 10 jours », il faut souvent répéter la demande ; et dans tous les cas, jamais dans les 10 jours même ouvrés.
-Des décisions incompréhensibles et non justifiées (radiation de la CAF alors qu’il y avait eu la réponse à la question demandée)
-L’impression que l’on est tombé dans une « oubliette ». (démarches depuis 2 ans)
- Des documents demandés et envoyés ne sont pas enregistrés ou pas pris en compte.
- Des contradictions dans les documents demandés
Il est grand temps de se pencher sur le fonctionnement opaque de ce genre d’algorithmes comme l’a prouvé le précédent rapport de la cour des comptes sur ABP, d’autant plus quand on sait que leur réalisation et mise en application est confiée à des entreprises non-souveraines qui ont prouvé leur incompétence par le passé.
Les conséquences sur la vie des usagers sont si graves sur les plus fragiles qu'il est nécessaire qu'il y ait un contrôle sur ces algorithmes.
Notre association accompagne des ménages en situation de grande précarité et les erreurs de calcul récurrentes ainsi que les variations tous les mois des montants versés (APL notamment) à cause de la grande "volatilité" de l’algorithme rendent le versement des prestations imprévisibles et angoissantes, participant souvent à déséquilibrer encore plus de budget des ménages que les prestations de la Caf sont censées au contraire stabiliser !
J'ai été victime de cet algorithme.
Cette proposition est vraiment d'utilité publique.
il est absolument nécessaire de mettre sur pied au niveau de la fonction publique et de l'état, le repérage de tous ces algos (comme on le fait avec le personnel !), et de mettre sur pied un dispositif de contrôle et des règles de transparence de ces outils informatiques, élaborés par on ne sait qui et dont les impacts sont on le voit, imprévisibls!
J'ai reçu personnellement de nombreux témoignages d'une souffrance induite sur les allocataires de la CAF par les effets d'un calcul froid fait par ces algorithmes. Qui plus est, quand ceux-ci sont mal calibrés, ou qu'une situation exceptionnelle devrait justifier un pas de côté, la violence devient insoutenable, car aucune contstation ne semble possible car la sensation d'absurde se rajoute à la violence.
Ainsi, plusieurs cas autour de moi de dépression ou désespoir liés à :
- exigence de remboursement de trop perçus sur APL/RSA/prime d activité non-justifiés (et directement prélevés, empêchant ainsi d'autres aspects de la vie)
- accusation de fraude (qui est en elle-même violente et génère un profond sentiment d'injustice) .
- Grande difficulté d'accéder à un contact humain bienveillant (d'autant que le soupçon de fraude met dans la défensive usager et - probablement - agent de la CAF).
Il est urgent de mettre fin à ces pratiques violentes, via une refonte de l'usage de ces outils.
Ma sœur était victime de cette algorithme
La Cour des Comptes a déjà démontré sa capacité, sur le dossier APB, à analyser de manière fine et contradictoire les impacts des systèmes de décision automatisés sur la relation aux usagers. Vous avez toutes les compétences pour faire merveille sur ce sujet, ô combien important et représentatif de la relation de plus en plus dématérialisée entre l'Etat et les administrés. J'y crois et je crois en vous !
Trop de personnes souffrent du manque de lisibilité de leurs droits caf et tombent dans la grande précarité quand on leur coupe leurs droits. Il est urgent de clarifier cette situation.
Le calcul algorithmique ne prend que quelques secondes pour la Caisse, mais peut pénaliser un allocataire durant de longs mois, voire des années sans qu’une personne ne vérifie et corrige ce calcul. Par ailleurs, la montée en flèche des contentieux de la CAF depuis quelques années montre bien que cet algorithme a beaucoup de faiblesses.
Sous couvert d'impossibilités techniques et informatiques prétendues, les CAF méconnaîssent tous les jours des garanties juridiques élémentaires :
1) notification préalables de décisions (compensation de créances avant toute notification à l'allocataire) ;
2) absence de motivation des décisions administratives (il faut contester pour savoir) ;
3) méconnaissance de l'individualité des décisions administratives (au nom de "l'allocataire unique", un membre d'un couple en concubinage qui s'est séparé peut rembourser pendant des années l'indu dont l'autre était responsable) ;
4) datamining et "score de risque" plus élevés affectés sur la base de critères discriminatoires : naissance hors UE, famille monoparentale...
Les compétences techniques, juridiques et comptables de la Cour des comptes pourraient ouvrir la boîte noire sur ces questions qui concernent des dizaines de millions d'allocataires.
Contribution fondamentale en raison de l'intolérable et assommante responsabilité de nos services publics dans la dégradation de notre information, dans la mise en œuvre de nos droits. Responsabilité sociale habillée par son marketing positif et cajoleur. Les systèmes conçus pour dématérialiser les situations en dossiers numérisés, "innovants" sans fin, doivent se plier à la réalité, à la modernité des citoyens, des allocataires, qui s'informent, interrogent, concertent. Pas de paix sans information.
Très bonne proposition ! surtout quand on voit l'accroissement exponentiel des contrôles sur les allocataires, avec 32 millions de contrôles automatisés en 2020 ! Le processus engagé depuis plusieurs années est devenu insupportable. En effet, alors que les services sociaux sont invités à lutter contre le non recours aux droits, le système automatisé de contrôles met les familles et les particuliers tellement en difficulté que nombre d’entre eux abandonnent les recours et même l’actualisation de leurs situations.
Ce projet est indispensable !
Il est nécessaire de mener cette investigation au plus vite. Il est question du bien être d'un grand nombre de personnes qui sont aujourd'hui contraintes dans leurs vies quotidiennes, dans des situations de plus en plus précaires, en raison semblablement d'un mésusage des outils numériques au sein de l'institution en question, des CAFs. L'enjeu n'est pas des moindres, il s'agit de sauvegarder nos services publics et notre éthique commune.
Cette proposition est urgente à mettre en œuvre. Elle mérite toute l'attention de la Cour des Comptes. Des bénéficiaires peuvent être pénalisés pendant des mois à cause... d'un algorithme ! Juste impensable.
Dossier très important dont il est urgent que la cour des comptes se saisisse. Il s'agit d'un gros marché public capté par la seule entreprise capable de remplir le dossier, mais qui n'a pas les compétence interne et sous-traite le développement tout en prenant une grosse marge. La solution proposée par Oracle a privé les agents de la CAF de toute marge de manœuvre. Ils ne peuvent qu'appliquer les résultats de l'algorithme, quitte à priver les usagers de leurs droits et faire plonger des centaines d'allocataires dans la pauvreté. Cette situation catastrophique est bien documentée par les associations. D'autre part, le code d'Oracle est propriétaire et n'est pas donc pas public, ce qui empêche toute transparence et l'expliquabilité des décisions, contrevenant ainsi à la loi. Enfin, et surtout, le système est largement dysfonctionnel. Une analyse de la cour des comptes serait particulièrement pertinente pour rectifier le tir tant qu'il est encore temps et ne pas répéter ces erreurs.
L'utilisation de ces algorithmes par des agents apparemment débordés est totalement impersonnelle. "Nous avons recalculé vos droits, vous nous devez...". L'information technique ainsi donnée sert de motivation, de justification, à la CAF pour rompre les droits sans information préalable à l'allocataire qui ne peut se défendre faute d'explicitation, procédure illégale et désormais systématique. Ceci dans un contexte général de communications non maîtrisées. Les corrections sur leurs sites par les usagers sont très souvent impossibles. Des contradictions sont générées. Les courriers, les mail, ne font souvent pas l'objet d'enregistrements en temps et heures. Tout cela dérape gravement en ce moment.
Je suis victime de cet algorithme
Chargement des commentaires ...