图书馆源于保存记事的习惯。早在公元前3000年时，巴比伦的神庙中就收藏有刻在胶泥板上的各类记载。最早的图书馆是希腊神庙的藏书之所和附属于希腊哲学书院（公元前4世纪）的藏书之所。
我国的图书馆历史悠久。只是起初并不称做“图书馆”，而是称为“府”、“阁”、“观”、“台”、“殿”、“院”、“堂”、“斋”、“楼”罢了。如西周的盟府、两汉的石渠阁、东观和兰台、隋朝的观文殿、宋朝的崇文院、明代的澹生堂、清朝的四库全书七阁等等。“图书馆”是一个外来语，于19世纪末从日本传到我国。
据《在辞典中出现的“图书馆”》说，“图书馆”一词最初在日本的文献中出现是1877年的事；而最早在我国文献中出现，当推《教育世界》第62期中所刊出的一篇《拟设简便图书馆说》，时为1894年。
