Ísafjörður bestaat uit meerdere stadsdelen, en strekt zich uit van het einde van de fjord tot aan de oorspronkelijke nederzetting, waar zich ook de haven bevindt. Aan de andere kant van de fjord ligt het vliegveld, of beter gezegd: een landingsbaan met enkele kleine gebouwen. Hoewel fjorden in het hele noordwesten inwoners verliezen aan welvarender gebieden, slaagt Ísafjörður er in, zijn inwoners te behouden. Sterker nog, er is een lichte bevolkingsgroei, zodat er tegenwoordig altijd nog 3.000 mensen wonen. De plaats werd gesticht als nederzetting van de Hanze en is later overgenomen door de Denen. Ísafjörður is een uitstekend object voor de bestudering van de ontwikkeling van de IJslandse architectuur. Ísafjörður heeft vijf huizen uit de 18e eeuw die onder monumentenzorg vallen. Het oudste huis stamt uit het midden van de 18e eeuw, het nieuwste is van 1788. Vier van de huizen staan in Neostikaupstaour, één in Haestikaupstaour.
