In de wiskunde is de modulaire groep, meestal aangeduid met het symbool , een groep van speciale transformaties van het bovenhalfvlak van het complexe vlak. De modulaire groep is onderwerp van studie van de getaltheorie, de meetkunde, de abstracte algebra en nog veel andere gebieden binnen de wiskunde. De modulaire groep kan als een groep van matrices worden gezien, dus als een groep van meetkundige transformaties. De naam komt van de relatie met moduliruimten en niet van modulair rekenen.
De modulaire groep en de ondergroepen ervan werden voor het eerst in de jaren 1870 in detail bestudeerd door Dedekind en Felix Klein, als onderdeel van het Erlanger Programm van Klein. De nauw verwante elliptische functies waren al in 1785 door Lagrange bestudeerd en verdere resultaten over elliptische functies werden door Carl Gustav Jakob Jacobi en Niels Henrik Abel in 1827 gepubliceerd.
De modulaire groep is de groep van transformaties van het bovenhalfvlak van het complexe vlak van de vorm:
waarin en gehele getallen zijn met . De groepsbewerking is de functiecompositie. De modulaire groep komt dus overeen met de möbius-transformaties, gedefinieerd op het bovenhalfvlak.
De modulaire groep van transformaties is isomorf met de projectieve speciale lineaire groep , die weer de factorgroep is van de tweedimensionale speciale lineaire groep over de gehele getallen en het centrum ervan . Met andere woorden bestaat uit alle matrices van de vorm
waarin en gehele getallen zijn, en de matrices en als identiek worden beschouwd. De groepsbewerking is de matrixvermenigvuldiging.
De iets uitgebreidere groep is die van de matrices waarvan de determinant plus of min een is. Merk op dat hiervan een ondergroep is. Zo is ook de factorgroep . De vierkante 2*2-matrices waarvan de determinant 1 is, zijn symplectische matrices, zodat , de symplectische groep van 2x2-matrices.