חטיבה 2 – "כרמלי" היא אחת מששת החטיבות שהוקמו בתחילת מלחמת העצמאות (1948) ובראשיתה הייתה חלק ממרחב "לבנוני".
משפורקה חטיבה זו, בפברואר 1948, התפצלה לשתי חטיבות – "גולני" ו-"כרמלי".
"גולני" פעלה בעמקים ובגליל המזרחי, ו"כרמלי" – במרחב חיפה והגליל המערבי.
למסגרת חטיבת כרמלי הוכפפו 3 גדודים – 21, 22 ו-23, ולחטיבה ניתן המספר "2". במהלך מלחמת השחרור הוקם גדוד נוסף – 24.
מפקדה הראשון של החטיבה היה משה כרמל, שבהמשך הפך למפקד חזית הצפון (אלוף פיקוד צפון) ובמקומו בא מג"ד 22 מרדכי מקלף, לימים הרמטכ"ל של צה"ל.
במהלך מלחמת העצמאות השתתפה החטיבה במבצעים רבים, שבשיאם – שחרור העיר חיפה ב-21-22 לאפריל 1948.
בסיום המלחמה התארגנה החטיבה מחדש, והפכה לחטיבת מילואים צפונית עם בסיס בעמקים.

עד לשנת 1974 תפקדה החטיבה כחטמ"ר העמקים (חטמ"ר צמח). גדודי החטיבה ביצעו אימונים ותע"מ בעמקי הירדן ובית שאן.
במלחמת ששת הימים החזיקה החטיבה מוצבים בגזרת הירדן ונטלה חלק במערכה על כיבוש רמת הגולן.
במלחמת ההתשה נטלה החטיבה חלק בהגנת עמק הירדן ועמק בית שאן.
במלחמת יוה"כ נטלה החטיבה חלק בהגנת העמקים ורמת הגולן.
לאחר המלחמה  הופרדה החטיבה מחטמ"ר העמקים ונקראה חטיבה  165. עד מלחמת של"ג ביצעה החטיבה תע"מ בגזרת לבנון וצפון רמה"ג, בסיני ובבקעת הירדן.
במלחמת של"ג נלחמה החטיבה בגזרה המערבית, ציר צור-צידון, צידון, עין חילווה ובירות. בתקופת מלחמת של"ג ואחריה ביצעה החטיבה תע"מ במרחב בירות ועל כביש בירות דמשק.

בשנת 2005 בהוראת הרמטכ"ל הוחזר לחטיבה השם ההיסטורי "חטיבה 2" בעקבות דרישת הלוחמים הותיקים ומפקדי החטיבה.

במלחמת לבנון השנייה ב-2006 החטיבה נטלה חלק בלחימה בגזרות המרכזית והמערבית בדרום לבנון.