Also da gibst du dir die Antwort doch schon selber.
Wenn es dich stören würde, ließe ich sowieso die Finger davon. Völlig davon abgesehen, dass es dem anderen immer ein blödes unsicheres Gefühlt gibt muss das doch echt nicht sein.
V.a. wie willst du argumentieren, wenn er dich mal mit einer ähnlichen Situation konfrontiert???
Gerade wenn dein Freund sehr tolerant ist, ist die Wahrscheinlichkeit doch hoch, dass er es dir "erlaubt", aber trotzdem nicht erfreut ist. Muss das sein?
Ich würde es lassen.