Une matrice carrée A (n lignes, n colonnes) à coefficients réels est dite orthogonale si A A = I, où A est la matrice transposée de A et I est la matrice identité. Des exemples de matrices orthogonales sont les matrices de rotation, comme la matrice de rotation plane d'angle θ ou les matrices de permutation, comme Une matrice réelle A est orthogonale si et seulement si elle est inversible et son inverse est égale à sa transposée : A = A. Une matrice carrée est orthogonale si et seulement si ses vecteurs colonnes sont orthogonaux deux à deux et de norme 1. Ainsi une matrice orthogonale représente une base orthonormée. Également, une matrice carrée est orthogonale si et seulement si sa transposée l'est ( A A = I), donc si et seulement si ses vecteurs lignes sont orthogonaux deux à deux et de norme 1. Le déterminant d'une matrice orthogonale est de carré 1, c'est-à-dire qu'il est égal à +1 ou –1 (la réciproque est trivialement fausse). Une matrice orthogonale est dite directe si son déterminant vaut +1 et indirecte s'il vaut –1. Le conditionnement d'une matrice orthogonale est égal à 1. La multiplication d'un vecteur par une matrice orthogonale préserve la norme euclidienne (associée au produit scalaire canonique de R) de ce vecteur. L'ensemble de ces matrices est un groupe appelé groupe orthogonal et noté O(n, R). Il s'interprète de manière géométrique comme étant l'ensemble des isométries vectorielles, aussi appelées automorphismes orthogonaux, de l'espace euclidien R. Plus précisément, un endomorphisme d'un espace euclidien est orthogonal si, et seulement s'il existe une base orthonormée dans laquelle sa matrice est orthogonale (et si tel est le cas, sa matrice dans toute base orthonormée sera encore orthogonale). L'ensemble des matrices orthogonales directes (de déterminant égal à 1) forme un sous-groupe du groupe orthogonal, appelé groupe spécial orthogonal et noté SO(n, R). En dimension 3, il s'interprète de manière géométrique comme étant l'ensemble des rotations de l'espace euclidien R (l'axe de rotation étant donné par le sous-espace propre associé à la valeur propre +1).