Ingénieur des Mines de Paris, il travaille pour la compagnie minière américaine Amax à Denver (Colorado) avant d'entrer chez SNCF en 1981. Après différents postes de responsable Production et Marketing, il devient chef de projet pour le lancement du TGV Paris-Lille en 1993. Il crée ensuite, à Bruxelles, la structure juridique de Thalys International dont il assure la direction générale de 1993 à 1998. Il est successivement directeur des Cadres RH de 1998 à 2000 et directeur adjoint Grandes Lignes de 2000 à 2002. Il dirige ensuite la région SNCF Rhône-Alpes dont le réseau TER est le plus important de France puis prend le poste de directeur général de Keolis Lyon, opérateur des bus, métros et tramways lyonnais. Il est nommé en octobre 2006 directeur de la branche SNCF Proximités, regroupant Transilien, TER, Intercités et le Groupe Keolis/Effia. En août 2012, il devient président du Directoire de Keolis.

Jean-Pierre Farandou devient président du groupe SNCF le 1^er novembre 2019.

En février 2023, Jean-Pierre Farandou a été élu pour trois ans à la tête de Fer de France, l’association qui fédère les acteurs de la filière (autorités organisatrices, gestionnaires d’infrastructures, industriels, opérateurs et sociétés d’ingénierie).

Jean-Pierre Farandou a été décoré, mardi 5 novembre 2024, par l’Ukraine et a reçu l’ordre du Mérite selon un décret publié le 24 août par la présidence ukrainienne. Cette distinction récompense le soutien du groupe ferroviaire à l’Ukraine depuis son invasion en février 2022 par la Russie.

Le 13 octobre 2025, il devient ministre du Travail et des Solidarités.