因為父親黃定華是徽商，黃賓虹家境優裕。24歲，黃賓虹結婚后的第二年，復往揚州，經友人介紹謀得兩淮鹽運使署文書一職，所得薪資正好收購字畫。據載，當時正值鹽政改革，鹽商業務失敗，紈绔子弟不事生產，只得變賣家藏度日，而且不分好歹貴賤，任意出售，黃賓虹則趁機收購。

黃賓虹去揚州拜訪親戚何維鍵（號芷舠，由湖北官任上辭官退隱到揚州，購買了片石山房并擴建為寄嘯山莊，俗稱“何園”）。何維鍵家富收藏，除了明清畫作，還拿出黃公望、倪云林、黃鶴山樵等元人名畫給遠道而來的黃賓虹欣賞。他又把黃賓虹介紹給當地收藏家程尚齋，使黃氏得以親覿明末清初的石濤、石谿、漸江和鄧石如、包世臣等人的作品。

1904年，39歲的黃賓虹受同鄉之邀，到蕪湖的安徽公學去襄辦校務，當時蕪湖是東南革命志士的集中地，也是民族民主革命思想交匯之地。黃賓虹與黃節、鄧實等人的友情也因辦學建立起來。后來黃賓虹與鄧實一起編印的《神州國光集》與《美術叢書》，也是他們廣泛涉獵金石書畫收藏之后的產物。之后的“貞社”也是以他和宣哲為主，集合愛好金石書畫收藏、鑒賞的團體。

辛亥革命爆發后，封建世家、名宦巨公紛紛逃入上海租界，也有封疆大吏、官紳富商在上海開設古玩鋪，文物收藏流入市場被外國人搶購。王秉恩和吳巽沂（吳仲坰之父）在舊跑馬廳，開辦名為“和光閣”的古玩鋪買賣書畫，黃賓虹、吳昌碩、狄平子等都是常客。

袁世凱篡奪革命果實后，南社成員、同盟會會員四散，“國學保存會”改為“神州國光社”，且增設古物流通處，鄧實也開始兼營古物買賣業務。隨之黃賓虹也開了一家“宙合齋”文物鋪。1935年5月24日余紹宋來滬過訪，觀黃賓虹所藏，在日記里寫道：“濱虹出卅余幅出示，多佳者，惜匆匆展視，不能仔細領略耳。其中最賞者為董文敏、王叔明、仇十洲、汪芝瑞、戴鷹阿、鄭慕倩、釋石濤、沈石田、唐六如等，賓虹喜藏皖派山水，蓋懷念其鄉先達之意。”余紹宋時任杭州《東南日報》特種副刊《金石書畫》的主編，于是向黃老商借所藏歷代名人書畫，比如夏昶、董其昌、漸江、石濤等人的作品在該刊發表。

1936年，黃賓虹重回安徽老家，與夫人一起再登黃山，追吊漸江的故墓。此后下半年他就應北平古物陳列所之聘北上，除了審定故宮南遷書畫以外，還兼任北平藝術專科學校講師。

據他自己說，“近伏處燕市，謝絕應酬，惟于故紙堆中，與蠹魚爭生活，書籍、金石、字畫，竟日不釋手。”所以在此期間，他將積累了三四十年的資料整理、分析、歸納，編成一部《漸江大師事跡佚聞》。在這個過程中他還找到許多石谿與垢道人程邃的資料，所以他閉門整理舊稿，寫出了包括《釋石谿事跡匯編》和《垢道人佚事》在內的三部畫家傳記。在日本人侵占北平的大環境下，目擊時艱，他著力研究這三位明末清初的畫家，有著特殊的意義。

在這段寂寞的歲月里，他把玩金石書卷，將看到的書畫題識、題詩、拓本跋尾、古籀考釋等隨手摘抄下來，據此編寫了畫史匯傳《文徵明》《沈石田傳》，先后在神州國光社印行。

寓京十年后，黃賓虹在1948年選擇南歸。時事不靖，民生痛苦。從當時他與友人的往來信件中可見，當時他的生活稱得上捉襟見肘，甚至開始出售所藏書畫。在給王聰的信中他寫道：“所急食物全缺，甚于北方。交通乏暇，友助亦缺。不得已將于兩浙有關文物貶值斥賣，然對故都收入已減。……敝篋尚有徽歙先哲書畫數十件，滬上有無兜售之處？聞家鄉長王允孝翁欲以賤值取之，諒不到外省人半價，因此保存身邊作伴（能銷當即抄單寄奉）。”1951年在給張虹的信中他再次寫道：“杭滬各省通車已便，巨室舊藏出而易米，時有所見。……附古玉拓本蠟摹一紙。”

夏承燾在《天風閣學詞日記》里，記錄了黃賓虹自1948年定居杭州直到1955年去世這生命中最后7年的時間里與湖上諸多友人的交往，這些文字資料為我們了解黃賓虹的收藏提供了最翔實的依據。

1948年10月9日，黃賓虹在外西湖藝專畫廊展出所藏古今名畫40件，并親臨會場講解。馬一浮、金息侯諸儒皆臨會欣賞。據標為10月10日寫成的文獻記錄：“有小李將軍（李昭道）山水，趙松雪（孟頫）、羅兩峰（聘）、朱白民（注：鷺）山水花卉，又有隋大業間一沙門紙畫神像，皆極名貴。”這僅僅是黃賓虹收藏的冰山一角。

1949年黃賓虹致信曾香亭、段栻：“敝藏有鄒臣虎一冊，有笪重光題云原有十二頁，中只四頁是真跡，余為門客所作。惟此為金山寺僧所藏，系查聲山后人留北平者，前十年流入廠肆購得之。惲道生有扇頁一個，極精美，前年為張宜之以張恂畫卷易去，今尚存數件頗精者。宋元名家真跡，平時最宜多見，能收藏更佳。或臨摹既多，心得有說不出之妙，在心領神會中，深者見深，淺者見淺。即后人臨古之作，亦當收藏，明其優劣。金石文字有關作畫用筆處尤多，故畫必當研究金石文字。……但古物極不易遇，而摹仿者亦不必盡棄。東坡言寓意于物而不留意于物可耳。”一年后又述：“敝藏黃山新安先哲畫數十家，如明人詹景鳳、丁云鵬、程孟陽、李流芳均有一二，惟簡筆最可愛。”黃賓虹謂偏愛新安畫家李周生，有仿前人簡筆之作，因其簡筆而能繁，尤為可貴。

作為一個畫家、收藏家和鑒賞家，不乏想與其探討藏畫，甚至親眼一觀之人。對于這些慕名而來的友人，他從不憚煩，但必先問明欲觀賞之流派，然后出示古畫。他曾說：“來客要看四王一派的畫，如果拿董、巨的作品，可能不合對方脾胃，反之也是同一道理。否則來客要懷疑我拿不出珍品來，或者認為是搪塞他們。”黃賓虹收藏的豐富，可想而知了。