En mathématiques, la transformation de Cayley (nommée d'après le mathématicien Arthur Cayley) possède différentes significations voisines. La définition originale est celle d'une application entre les matrices antisymétriques et les matrices de rotation. En analyse complexe, la transformation de Cayley est une application conforme envoyant le demi-plan complexe supérieur sur le disque unité. Enfin, dans la théorie des espaces de Hilbert, c'est une application entre opérateurs linéaires.
La transformation de Möbius est une involution de (ou de la sphère de Riemann, en ajoutant les valeurs et ) ; on peut envisager de la généraliser à un anneau unitaire A, puisque si est inversible, son inverse commute avec , donc avec ; le cas des matrices s'avère avoir une signification géométrique importante.
Si A est une matrice carrée n×n (à coefficients réels ou complexes) telle que I + A soit inversible (où I désigne la matrice identité d'ordre n) — autrement dit : telle que –1 ne soit pas valeur propre de A — alors la matrice
c'est-à-dire Ac = (I – A)(I + A)−1, ou encore Ac = (I + A)−1(I – A), vérifie
La transformation de Cayley, M ↦ Mc, est donc une involution de l'ensemble des matrices M telles que I + M soit inversible, c'est-à-dire que
Si A est une matrice réelle et antisymétrique (c'est-à-dire telle que AT = −A), alors I + A est inversible et Q := Ac est une matrice orthogonale dont −1 n'est pas valeur propre, ce qui exclut les matrices orthogonales de déterminant –1 ainsi que certaines matrices de rotation. Réciproquement, si Q est une matrice orthogonale n'ayant pas −1 pour valeur propre, alors Qc est une matrice antisymétrique dont −1 n'est pas valeur propre.
Plus généralement, si A est une matrice complexe antihermitienne alors I + A est inversible et Q := Ac est une matrice unitaire dont −1 n'est pas valeur propre, et réciproquement.
On rencontre parfois une forme légèrement différente, demandant deux applications distinctes, et n'utilisant pas la notation « c » en exposant :
Lorsqu'on passe des matrices réelles aux matrices complexes, la transposition est remplacée par la transconjugaison (·H). Cela revient à remplacer le produit scalaire réel standard par le produit scalaire complexe. En fait, on peut généraliser davantage en prenant d'autres choix de matrice adjointe ; la définition ne demande en effet que l'inversibilité de I + M.

En analyse complexe, la transformation de Cayley est une fonction du plan complexe sur lui-même, donnée par : C'est une fonction homographique, qui peut être prolongée en un automorphisme de la sphère de Riemann (le plan complexe augmenté d'un point à l'infini). On remarquera en particulier que
La fonction réciproque de la transformation de Cayley peut s'écrire (en dehors des points à l'infini) sous la forme .
En dimension infinie, les espaces euclidiens sont remplacés par des espaces de Hilbert, et on ne peut plus parler de matrices. Cependant, il reste possible de généraliser la transformation de Cayley aux opérateurs linéaires :