Extrait de « Adobe Photoshop CS One-on-One » de Type & Graphics, Inc.
La fonction de masque dans Adobe® Photoshop® est particulièrement performante grâce à un processus unique de sélection de l'image. Ce didacticiel explique comment sélectionner deux couches de couleur d'une photo RVB et les combiner pour produire un masque complexe à l'aspect très naturel. Pour cet exemple, nous allons nous amuser à utiliser cette technique pour sélectionner le détail le plus minuscule qui soit : des mèches de cheveux.
La photo utilisée pour l'exemple est un portrait de lycéenne extrait de la bibliothèque d'images PhotoSpin.

Allez dans la palette Couches et cliquez sur les noms de couche Rouge, Vert et Bleu. Vous pouvez ainsi regarder attentivement les couches et choisir celles qui conviennent le mieux pour l'élaboration d'un masque. Les trois couches de mon image apparaissent ci-dessous légèrement colorées.

Vous devez rechercher les deux couches les plus opposées, qui présentent un contraste marqué entre les tons foncés et les tons clairs, et qui sont également très contrastées l'une par rapport à l'autre. Pour mon exemple, les couches rouge et bleue semblent les mieux adaptées. La couche rouge est celle qui comporte le contraste le plus marqué et la couche bleue est la couche la plus différente de la couche rouge.
Une fois les couches choisies, cliquez sur RVB dans la fenêtre Couches pour afficher l'image en couleurs et pour l'activer.
Choisissez Image > Opérations pour afficher la boîte de dialogue Opération. Cette commande vous permet de mélanger deux couches pour former une nouvelle couche alpha en utilisant un mode de fusion et une valeur d'opacité.
Conseil : activez la case à cocher Aperçu, si ce n'est déjà fait. L'aperçu vous permet d'observer les résultats de vos modifications dans la fenêtre principale.
La boîte de dialogue Opérations permet principalement de superposer des couches. La source 2 correspond à la couche d'arrière-plan et la source 1 à celle située au premier plan. L'accent est mis sur la source 1, qui doit par conséquent contenir la couche au contraste le plus marqué. Dès lors :
Assurez-vous que les menus contextuels Source 1 et Source 2 sont définis sur l'image à masquer.
Il s'agit d'un document à une seule couche ; les deux options de calque sont par conséquent automatiquement définies sur Arrière-plan. Il est inutile de les modifier.
Pour la première option Couche, choisissez la couche présentant le plus grand contraste (dans le cas présent, la rouge). Pour la deuxième option, choisissez la couche la plus différente de la première (dans le cas présent, la bleue).
Il s'agit là de l'étape la plus imprévisible de la procédure car les paramètres idéaux varient radicalement en fonction de la composition de votre image. Dites-vous que le but est de sélectionner le sujet de premier plan, en le mettant en blanc, sur un arrière-plan désélectionné noir. Ainsi, vous devrez sans doute inverser les valeurs de luminosité dans l'une des couches, voire dans les deux. Les modes de fusion (Opération) qui inversent l'image, tels que Différence et Soustraction, sont également utiles.

L'image ci-dessus présente quelques-uns de mes essais (avec une légère coloration pour mieux faire apparaître les valeurs de gris) :
Dans la première image, j'ai coché la case Inverser pour les deux couches et défini l'option Fusion sur Produit. Cela donne un premier plan clair et un arrière-plan foncé, mais j'aimerais augmenter le contraste.
Ensuite, j'ai désactivé la case Inverser pour la couche bleue et défini l'option Fusion sur Différence. J'obtiens alors des contours noirs bien marqués, mais les tons clairs sont encore trop foncés.
Enfin, j'ai désactivé la case Inverser pour la couche rouge et je l'ai activée pour la bleue. Puis j'ai défini l'option Fusion sur Soustraction. Ce mode de fusion soustrait les valeurs de luminosité de la couche rouge à ceux de la couche bleue inversée. Il présente également une valeur Décalage, qui, lorsqu'elle est positive, ajoute de la luminosité à l'image. J'ai choisi une valeur égale à 50, ce qui augmente la luminosité et aide à réduire les écrêtages excessifs liés à l'opération Soustraction.
Ces variations ne sont pas particulièrement valorisantes et seront encore plus horribles par la suite. Les masques ne sont pas des éléments esthétiques ; ne les montrez pas à vos clients.
Dans cet exemple, mon dernier essai est le plus concluant pour l'obtention d'un masque définitif. Mes paramètres finaux sont les suivants :
Désactivez la première case Inverser et activez la seconde.
Définissez Fusion sur Soustraction.
Choisissez respectivement les valeurs numériques 100 %, 50 et 1, comme le montre l'illustration de droite.
Le paramètre obtenu devrait être Nouvelle couche. Photoshop ajoute ainsi une couche alpha pour contenir votre masque.
Une fois vos propres paramètres définis, cliquez sur OK.
Cliquez deux fois sur la couche alpha dans la palette Couches. J'ai pris l'habitude de nommer mes couches en fonction de la façon dont je les ai créées ; j'ai donc appelé la couche « R, B Inv., Soustraction, Décalage 50 ». Toutefois, vous pouvez nommer vos couches comme vous le souhaitez.
Cliquez sur la dernière couche de la liste et faites-la glisser dans la petite icône située en bas de la fenêtre Couches. Cela permet de dupliquer la couche. Cliquez deux fois sur la nouvelle couche et renommez-la « Réglages - Premiers niveaux ».
Pourquoi dupliquer la couche ? Par mesure de sécurité. Lorsque vous travaillez avec une seule couche, vous n'avez pas accès aux calques, ce qui signifie que vous ne pouvez pas faire d'essais avec les différentes options et les fusionner. Pour apporter librement des modifications, faire plusieurs essais et revenir en arrière, nous vous conseillons de dupliquer la couche alpha entre chaque étape. Vous disposerez ainsi de couches incrémentielles vers lesquelles revenir. Une image peut contenir 56 couches, ce qui vous laisse beaucoup de marge !
Choisissez Image > Réglages > Niveaux. Ajustez les paramètres pour mieux définir le masque. Dans mon cas, pour augmenter le contraste entre les cheveux du personnage et l'arrière-plan, j'ai défini la première valeur sur 80 et la troisième valeur sur 190.
Comme le montre l'illustration ci-dessous, cela a permis d'accentuer le contraste entre les cheveux et l'arrière-plan. Toutefois, la transition entre les épaules et l'arrière-plan n'est pas très marquée, se confondant même dans un gris délavé en bas de l'image.

Alors pourquoi ne pas trouver une meilleure façon de combiner les valeurs des niveaux ? Parce qu'il n'y en a pas. Nous pourrons améliorer le contraste des cheveux ou des épaules, mais pas des deux. A moins, bien sûr, de faire intervenir une autre couche.
Retournez à la couche que vous avez créée aux étapes 4 à 8 (celle que j'ai nommée « R, B Inv., Soustraction, Décalage 50 ») et faites-la glisser dans l'icône située en bas de la palette Couches. Photoshop duplique alors à nouveau la couche. Renommez-la « Réglages - Deuxièmes niveaux ».
Appuyez sur Ctrl+L (Commande+L) pour afficher la boîte de dialogue Niveaux. Réglez encore les niveaux pour améliorer les zones au contraste peu marqué. Dans mon cas, j'ai choisi 170 pour la première valeur et 190 pour la troisième. Cela laisse uniquement 20 valeurs de luminosité pour exprimer les gris, ce qui n'est pas suffisant pour conserver la transition subtile entre les mèches de cheveux. La zone des épaules donne cependant un résultat satisfaisant.
