本市公共図書館事業は、1919年（大正8年）日本統治時代に設立された財団法人台南公館の付属図書館がその前身です。1924年に公部門へ移管され、台南市立台南図書館になりました。それが、現在の台南市立図書館です。1942年には台南州が管理する図書館は23館になり、その中の１２館は現在の台南市内にありした。

1945年第二次世界大戦終戦後、台南州は台南市、台南県、嘉義市、嘉義県及び雲林県３県２市に分かれました。その後、台南県台南市の公共図書館は個別に展開していきました。台南市立台南図書館は台南市立図書館に改められ、徐々に総館１館、分館6館の規模になりました。台南県は31市町村に各1館、及び県文化センターに2館の図書館があります。

2010年12月25日、台南県と台南市が直轄市に合併され、両地の公共図書館は再度に合併されました。また、元の台南県31か所の町図書館は区図書館に改められ、31区の区公所によって区ごとに管理・運営されます。台南市立図書館は原台南県政府文化処図書館の管轄に組み入れられ、分館の南瀛図書館となりました。（2012年1月1日に再び新営文化中心に移管され、名称を新営文化中心図書館に変更されました。）更に、台南文化センター音楽図書室、蕭壟文化園区の児童図書館も含め、鹽埕図書館及び2019年4月13日に新開館の台江文化中心図書館、台南市立図書館の新本館が2020年1月2日に開館、全市トータルで45か所の公共図書館、及び2台の移動図書館（台江一号、台南市立図書館に所属する）があります。

本市公共図書館事業を主管する機関は台南市政府文化局であり、全市の公共図書館事業の発展政策、コンテンツの調達、評価などの責務を担っています。全市図書の購入の予算を編成し、発注手続きを行っています。

市立図書館は文化局の命令を受け、本市全域にわたる情報業務を行っています。例えば、公共図書館自動化システム及び公共図書館ホームページの立ち上げ、デジタルコンテンツ（電子定期刊行物など）を購入し共有化することなどです。また、市全域にわたる読書普及活動、テレビブックレビュー“非讀Book‧台南愛讀冊（「読まずにはいられない。台南お勧めの一冊」）”や読書会の主催、「町の本」の選出など、イベントの開催も市立図書館が行っています。更に、市立図書館は公共図書館館員の専門的な教育訓練と育成も行っています。

各図書館は各市町村が経営している公営の図書館であり、地域の方々のニーズに対応するサービスを提供しています。