חרמון החל את דרכו כבלם במדי היריבה העירונית, אולם משעבר להפועל ירושלים - תחילה לקדנציה של שתי עונות משחק - היה לאחד מסמליה, מאז ועד היום. במהלך  הקריירה שיחק במכבי נתניה ובהפועל חיפה, כשבעונת 2014-15 הצטרף להפועל קטמון ירושלים בליגה א'. הוא הוביל את הקבוצה לעליה ללאומית, ועם פרישתו התמנה לעוזר מאמן הקבוצה - תפקיד אותו ממלא מאז עונת 2016-17. הדגש המרכזי בעבודתו הוא על חוליית ההגנה האדומה, כמו גם אחריות על נושא המצבים הנייחים.