De l'interprétation des transformées unitaires, il apparaît aisément qu'une modification des coefficients transformés aura pour effet de supprimer ou d'augmenter la présence de certaines composantes fréquentielles dans le domaine spatial. Il est donc tout naturel de chercher à filtrer le signal d'image par le truchement d'une modification des coefficients transformés. Ces techniques font partie du domaine du filtrage linéaire, même si leur implémentation s'effectue parfois par convolution dans le domaine spatial.
Avant d'aborder l'étude du filtrage linéaire, une précision s'impose. On pourrait croire que le filtrage linéaire est le seul moyen efficace de filtrer une image. En fait, il n'en est rien car on peut construire des filtres très intéressants en partant de propriétés algébriques à respecter. Cette démarche conduit à synthétiser des filtres non nécessairement linéaires.
Le filtrage d'une image est la généralisation à deux dimensions du filtrage de signaux temporels rencontrés dans la théorie des systèmes et en télécommunications. À ce niveau, la variable temporelle t est remplacée par deux variables spatiales x et y. La variable fréquentielle f est quant à elle remplacée par les variables u et v.
Dans certains cas, l'image a subi l'effet d'un filtre dont la transmittance est connue. Ainsi, la défocalisation de l'objectif d'une caméra produit un effet de flou que l'on cherche à éliminer. La suppression de cet effet porte le nom de déconvolution; c'est l'opération inverse du filtrage. L'étude de la déconvolution sera également abordée dans ce chapitre.