as a whole は「全体として・総じて」という意味です。例: Society as a whole benefits from education.（社会全体が教育から恩恵を受ける）。
部分ではなく全体をひとまとまりとして見るという意味なので、名詞のすぐ後ろに置いて「その〜全体」と示すことが多い表現です。文全体にかかる on the whole（概して）とは、置く位置も意味もわずかに違います。whole は「全体の」という形容詞です。たとえば、We should look at the data as a whole, not just one year.（1年分だけでなく、データ全体として見るべきです）のように使います。
試験では as a whole と on the whole の使い分けが問われます。
