Љубовија је на дринском путу и на реци Љубовиђи, на десној обали, под висом Јабучјем. Далеко је од Дрине и обезбеђена од плављења обеју река. Данашња или Нова Љубовија је на овом месту од 1897 год, а Стара Љубовија је била на Дрини, усред поља Драбића, према осећанском селу Михаљевићу. Ову је Љубовију Дрина однела 1896 године, те се морала изместити на данашње место удаљено 600 м. Стару Љубовију подигле су наше власти да буде центар азбуковачког среза и превозна тачка за Босну. Поникла је 1837 године и почела се нагло насељавати и ширити, тако да је била већа и бољег намештаја него садашња. Грађани Љубовије били су трговци, занатлије и службеници разних врста. Досељавали су се из околних и многих ужичких села. Вредно је забележити, да се друго колено овде није задржало. Ово вреди више за мушке него за женске. Имућнији и сиромашнији грађани још за живота своју мушку децу шаљу на занате и трговину у оближње градове и тамо их остављајум а женску децу удају за придошлице или у оближње паланке и градове. Ретка је породица ових малих паланчица да своје мушко или женско дете пошаље на школовање, докле сељаци то више чине.
Нова Љубовија има дрински и љубовиђански друм за улице и свега пред крај једн попречну којом се иде школи, судници, па пијац и вашариште. Куће су изнете на пут и грађене по једном плану, како су обично грађене по Шапцу, Ваљеву и другим варошима у то доба.
Љубовија је нова и у погледу насеља и стално се занавља. Са стране из околних села или ужичких долазе младићи на занате и трговину и остају, а старије се куће губе и нестају. Према овоме сваки списак породица ове варошице није за свако доба тачан, па према томе ни овај који износимо. Ми га износимо, да се према њему могу некада чинит сравњења, а он је из 1923 године.
У Љуговији су данас:
Јоковића трговачка кућа из Лоњина (Св. Јован).
Богдановића занатска кућа из Стапара (ужичког) (Св. Никола).
Савића 3 трговачке куће из Лоњина (Св. Јован).
Јакшића занатска кућа из Д. Љубовиђе (Св. Никола).
Грујичића занатска кућа из Раче (ужичке) (Св. Ђурђе).
Продановића 2 трговачке куће из Г. Љубовиђе (Св. Ђурђе).
Илића 2 трговачке куће из Лоњина (Св. Петка).
Михаиловића трговачка кућа из Солотуше (Михољ-дан).
Тодоровића трговачка кућа из Лознице (раније из Расног код Пријепоља) (Св. Арханђел).
Тадића 2 трговачке куће из Дрлача (Св. Јован).
Крстића трговачка кућа из Овчине (Св. Јован).
Ковачевића трговачка кућа из Доње Љубовиђе (Св. Стеван).
Перића трговачка кућа из Д.Љубовиђе (Св. Стеван).
Петровића трговачка кућа из Шапца (Св. Стеван).
Дамњановића 2 занатске куће из Д. Кошаља (Св. Јован).
Чобића занатстка кућа ид Д.Љубовиђе (Св. Аврамије).
Радојичића трговачка кућа из Дрлача (Св. Лука).
Лакића трговачка кућа из Лоњина (Св. Јован).
Јовановића 2 трговачке куће су од Сарића из Леовића (Михољ-дан).
Лукића занатска кућа је из Г.Кошаља (Св. Арханђел).
Јовановића занатска кућа је из Лоњина (Св. Никола).
Обућинска занатска кућа из Трипкове (ужички) (Св. Ђорђе).
Виторовића занатска кућа из Јасенове (Св. Арханђел).
Давидовића трговачка кућа из Читлука (Св. Игњатије).
Глигорића трговачка кућа из Читлука (Св. Игњатије).
Протића чиновничка кућа из Горње Буковице (Св. Јован).
На Љубовији су насељени:
Карадаревићи (5к) Цигани муслиманске вероисповести, досељени из Бајине Баште као ковачи, поткивачи, кочијаши и обични радници; имају по дну варошице своје куће.
На Љубовији има 26 родова са 38 домова.
П.С. Љубовија је имала 105 становника 1874, 222 у 1884, 597 у 1948, 4.130 у 2002, и 3.929 у 2011 години, у томе 168 млађих од 5 година, уз просечну старост од 39 година.