在繪畫藝術方面確立雅的標準，早在唐末五代便初見端倪，黃休復在《益州名畫錄》中把畫分為四格，即：逸格，神格，妙格，能格。逸格為最高境界，并曰“畫之逸格，最難其儔。”這個逸字是超出技法層面的東西，是畫家各方面的修養及精神境界的流露。宋代著名的文學家蘇軾更是明白的提出雅與俗評價標準，其在論王維吳道子畫的詩中云：“吳生雖妙絕，猶以畫工論。摩詰得之于象外，有如仙翮謝籠樊，吾觀二子皆神俊，又于維衽無間言。”我們從蘇軾的字里行間可以看到，其對吳道子的畫盡管以妙絕評價，但卻流露出輕視畫工的意思，把工匠們的繪畫列為俗類，而對王維這個文人士大夫的作品贊不絕口甚至到了無以復加的地步。蘇軾把詩人（逸士）與畫工（俗人）的作品進行了比較，極力褒揚前者而貶后者。他的“古來畫師非俗士”，“論畫以形似，見與兒童鄰。”并稱文人士大夫的繪畫“非高人逸才不能辨，”其涇渭分明把文人畫稱為高雅藝術，將畫工匠人的繪畫稱為低俗藝術而進行褒貶，充分體現了其在美學概念推崇的“淡泊”“蕭疏簡遠，超凡脫俗”的境界。由于蘇軾在文人士大夫中的地位以及影響力，他的這些理論對后世“文人畫”的興盛和工匠繪畫的衰微則起到了不同尋常的影響作用。

元代是“文人畫”占據畫壇主導地位的時期，這期間具有代表性的畫家有：趙孟頫，錢選，倪瓚等，其對文人畫的理論加以演繹與發展。錢選提出“士氣畫”是不求形似，以得天趣為高的主張，倪瓚則提出“逸筆”和“逸氣”的理論曰：“仆之所謂畫者，不過逸筆草草不求形似，聊以自娛耳。余之竹以為寫胸中逸氣耳。”這樣的重“君子之風”，主張“游于藝”，強調“清雅超然于物外”，力求“蕭疏簡淡”的意境，為元代“文人畫”的興盛莫定了基礎，同時也為雅俗問題進一步作出了詮釋。

明代董其昌更是把個“文人畫”推崇到了極致，他的“南北宗論”可謂是在中國美術史有著非常特殊的意義，不論其提法對中國傳統繪畫的發展有多少負面影響，僅是他將禪宗思想理論融匯到中國畫流派的評價體系中這一點來說，便是意義深遠，使雅與俗更加清晰地對立起來。

明清兩代的文人士大夫在閑適無奈中，把繪畫創作看作是純粹的個人娛樂，“以畫為樂，寄情筆端”，把繪畫當作閑情逸致的享受。因為他們的審美尺度是“虛和蕭散，神逸氣靜，澹泊天真，”達不到這種境界便是“俗”了。不過，值得注意的是，唐宋以降的文人畫家大都是文學家，詩人以及有一定地位和官職的士大夫，他們在繪畫中文學趣味非常突出，“畫中有詩”成為他們的審美標準和評價取向。因此在“文人畫”中詩，書，畫，印相結合并融為一個整體，這便成為“文人畫”的基本樣式。。柯九思在他的題畫蘭石小品中寫到：“畫到書生本色始見清絕”，所謂“清絕”便是文人士大夫要求的高雅絕俗。