Pakson a település első könyvtára a Casino könyvtára volt. A XIX. század második felében sorra alakultak a különböző társadalmi rétegek könyvtárai, olvasókörei. A legjelentősebbek közülük a Paksi Polgári Olvasókör és a Népkönyvtár. A közkönyvtárak mellett jelentős volt ebben az időben Novák Sándor, a Daróczi, az Erdélyi és a Klein család magánkönyvtára is. 1945 után a kultúrotthonban, az ipartestület épületében létesült kölcsönzőhely. 1949-ben a Népkönyvtári Központ ajándékával, 1951-ben a szekszárdi körzeti könyvtár letétével gyarapodott a gyűjtemény.

1953. október 15-én alakult meg a településen a Járási Könyvtár. Ez a Marx tér (ma Szent István tér) 4. sz. alatt működött. Helyét azonban hamar "kinőtte", hiszen állománya 2248 kötetről 5 év alatt a duplájára nőtt,

1965-ben a könyvtár állománya megközelítette a 15.000 kötetet. A községi tanács megvásárolta a város központi részén lévő volt zsinagóga épületét és könyvtárrá alakítatta. Az intézmény 1968 óta várja olvasóit, immár Városi Könyvtár néven. (A zsinagógát 1780 körül építeték, a mellékelt ábrán ez látható.) Az átalakítás után a kétszintes épület földszintjén kapott helyet a gyermekkönyvtár, az emeleten a felnőtt könyvtár. A városban jelentős kulturális szerepet betöltő könyvtár nemcsak könyvkölcsönzéssel foglalkozik, hanem író-olvasó találkozóknak, különböző előadásoknak, kiállításoknak is helyet ad. Saját kiadványokat jelentet meg, mint például: Koch Józsefné: Megörökíteni? (2008.), Kernné Magda Irén: Híres paksi elődeink (2009.), Beregnyei Miklós: Építettünk és védtünk (2011.) című köteteit.

2001-től számítógépek állnak az olvasók és internetezők rendelkezésére.
2002-től számítógépes nyilvántartással és kölcsönzéssel bővűltek a könyvtár szolgáltatásai.
2009 óta gondozzuk a kistérségi könyvtárakat és építjük a 11 kistérségi könyvtár állományát. Közös számítógépes katalógus áll az olvasók rendelkezésére, mely segíti a környező községek könyvtáraiból való kölcsönzést.

A könyvtár Pákolitz István (1919-1996.) nevét 2003-ban vette fel, aki paksi születésű író, költő és pedagógus volt, 1987-ben kapta meg a Paks Város Díszpolgára címét.