The devil of it

используется в разговорной речи самое обидное, неприятное (в том, что...) Например: Andy lost his notebook and the devil of it was that the notebook contained all his homework for the coming week. (DAI) — Энди потерял тетрадь, и самое обидное, что в тетради были записаны домашние задания на всю следующую неделю.

Англо-русский фразеологический словарь