Pembentukan Perwakilan Provinsi Sumatera Selatan dirintis dengan diresmikannya unit kerja bernama Sub Auditorat I BPK-RI di Palembang yang dipisahkan dari Perwakilan BPK-RI di Medan pada tanggal 1 Juli 1996.
Pada awalnya Sub Auditorat 1.2 menempati Gedung Markas Wilayah Pertahanan Sipil (Mawil Hansip) milik Pemerintah Provinsi Sumatera Selatan di Jl. Demang Lebar Daun No.1312 Palembang 30137 selama 5 tahun (1 Juli 1996 s.d 28 Juni 2001).
Pada saat itu jumlah pegawai sebanyak 14 orang yang terdiri dari 12 PNS dan 2 tenaga honor dengan wilayah kerja meliputi 3 (tiga) Provinsi yaitu: Provinsi Sumatera Selatan, Jambi dan Bengkulu, dengan susunan pejabat struktural sebagai berikut:
– Kepala Sub Auditorat Perwakilan : Drs. Syafruddin Tasman
– Kepala Seksi Provinsi Sumatera Selatan : Drs. Abdurachman
– Kepala Seksi Provinsi Bengkulu dan Jambi : Drs. Ibrahim
Pengukuhan Sub Auditorat Perwakilan 1 Menjadi BPK-RI Perwakilan II Palembang
Setelah selama kurang lebih 6 (enam) bulan menempati gedung Kantor Eks Dinas Kesehatan milik Pemerintah Provinsi Sumatera Selatan yang beralamat di J1. Kapten Anwar Sastro No.1061 Palembang, Sub Auditorat Perwakilan 1 Palembang kemudian dikukuhkan menjadi BPK-RI Perwakilan II Palembang pada tanggal 17 Januari 2002, dengan wilayah kerja BPK-RI Perwakilan II Palembang meliputi 5 (lima) Provinsi yaitu Provinsi Sumatera Selatan, Jambi, Bengkulu, Kepulauan Bangka Belitung dan Lampung. Dengan jumlah personil pada saat pembukaan perwakilan mencapai 70 orang.
Pada tanggal 28 Juni 2001, Kantor Sub Auditorat Perwakilan I Palembang dipindahkan dari Gedung Markas Wilayah Pertahanan Sipil (Mawil Hansip) ke Gedung Kantor Eks Dinas Kesehatan milik Pemerintah Provinsi Sumatera Selatan yang beralamat di J1. Kapten Anwar Sastro No.1061 Palembang.