彥根城歷史悠久，最早是在1600年，由當時的將領，也就是德川四天王之一的井伊直政領功後計劃建造，但1602年直政過世，長子井伊直勝（又名直繼）繼承父業，在1603年，彥根城才開始動工興築，當時彥根城的地理位置兼具保衛和戰略優勢，對關原之戰爆發後的戰亂有穩定效果。
由於連年戰亂，此木造城堡的建材多由一些殘破的城守拆替而來，如西之丸的三重櫓台建材來自淺井長政的小谷城，天平櫓台建材來自豐臣秀吉的長濱城，太鼓門建材來自石田三成的佐和山城，天守閣建材則來自大津城的天守。1605年，城堡本體大至具有規模後，直勝才率領家屬與家臣進駐。1614年，井伊直勝的弟弟井伊直孝由於兄長病弱，正式成為彥根城的第二代藩主。在1616年直孝開始進行外廓擴張的工程，並將城廓改造的更為堅固，且增建了御殿。彥根城約在1622年正式完工，一共花了近20年的建造時間。在1633年，直孝受封35萬石，是德川家康下譜代大名中受封最高的將領。
1677年，井伊氏更以唐玄宗的離宮庭園為概念，在彥根城中興建了玄宮園。園內的鳳翔台可從下往上眺望彥根城，是藩主招待貴賓之處（現已成為日式茶道的茶室）。1677年後，井伊直孝仍增建彥根城，鞏固其軍事地位。
幕府末年，1890年，井伊氏第14代中有名的大老井伊直弼成為彥根城的末期藩主之一。其子井伊直憲即彥根城最後一代藩主，日本廢藩置縣之後，井伊氏與彥根城的關係依然相當緊密，1953年擔任彥根市市長的井伊直愛就是井伊氏的直系血親。
1873年明治時期頒布了廢城令，彥根城由於年久失修而被列入了清單，在1878年，當時的內閣總理大臣，滋賀縣出生的大隈重信將彥根城從廢城清單中移除，並著手整修工程；1931年，天守閣的瞭望塔依日本國寶法被指定為國寶。
1950年，由於日本第一大湖琵琶湖被指定為國家公園，民眾選出了琵琶湖八景，其中第七景「月明」就意指彥根古城在月光下的美景（資料）。
在1951年的6月9日，整修之後保存良好的彥根城被指定為國家的特別史蹟，比知名的姬路城早了5年。1952年，新的文物保護法頒定，彥根城被列為日本的最重要的基礎國寶之一。1987年，以展示彥根城城裡文物的彥根城博物館開幕，藏有約6萬5千件重要文物，包刮井伊家歷代歷代征戰所用的朱紅盔甲、刀劍。以及能劇面具、茶道具、書畫等藝術品。最重要的是也保存了彥根城自興建至今所能找到的繪圖和文獻。1987年，由水戶市贈送的黑天鵝群也開始在彥根城的護城河中生活，成為民眾餵養、觀光客取景的一角。井伊直弼童年在彥根城中居住之地被稱為「埋木舍」也是保存的史蹟之一，埋木舍在1985年時開始修復，在1991年完工。
天守
天守
天守
天守内部（第二層）
廊下橋
太鼓門櫓
天秤櫓的門
馬屋
