2005年新新聞訪談225席立委中扣除出國、拒訪、聯絡不上者的166位立委，以及電話隨機抽樣訪問全台1109名民眾，不分黨派立委，不論藍綠民眾，都不約而同姚文名列十大噩夢閣員榜首，入選理由是「不專業、不專心、不用功、沒禮貌、脾氣太衝」。
吳子嘉於2018年10月1日在政論節目上批判姚文智「草包中的草包」、「腦殘的政治人物」「就是一個豆腐渣」、「從頭到尾這一輩子從來沒有寫過一篇對台灣的定位、主權定位或是國際政治或是兩岸關係的文章或是有做過有意義的發言」，對姚文智的台灣價值更提出質疑「謝長廷當時搞憲法一中，姚文智也跟著到香港去跟共匪開會....那很誇張的會議他們也開過」
林濁水也於2018年6月23日在政論節目上提到姚文智的台灣價值經不起檢驗，「謝長廷帶團去大陸時，姚文智還是裡面的核心幹部。去跟北京說我們就是一中憲法時，姚文智有沒有跟團一起做、去當核心幹部呢？這樣檢驗下來怎麼辦？」
姚文失智的情況十分頻繁，例如，2018年8月20日姚文智在臉書痛批柯文哲，如果沒有講「兩岸一家親」就不會出現在中國央視，卻忘記自己在2017年底就已經登上央視的同一個節目，比柯文哲還更早。
姚文止於智者。
姚文智在接受新新聞專訪時自述，「小時候帶隊看Ａ片」國中為了跟老師唱反調，慫恿三分之一的同學一起翹課去延平北路的白宮看Ａ片，落到最壞班；成功嶺時因沒有入選籃球隊，聯合其他阿兵哥裝病。
姚文智原本唸東吳企管系，之後才轉學進輔大大傳系新聞組，即現在的新聞傳播系，同在新新聞專訪中他自爆是霸凌頭，稱李俊俋「要不是他爸，我早就欺負他欺負到他完蛋。」李俊俋父親為知名的憲法學者李鴻禧。本身親族有人脈，輔大學運青年籌辦《野聲》，打字印刷工作，就由姚文智洽請親戚幫忙。出處
謝長廷日後競選高雄市長時，有相當多各界團體共襄盛舉幫忙選舉，其中許多人都接觸過身為助理的姚文智，但是，評價均相當不好，指稱姚文智從那時眼高於頂，謝長廷一路從落後追趕，選情相當緊繃，其他助理都兢兢業業，只有姚文智高高在上，其原因，姚文智的太太潘瓊琪，父親潘弘裕，原本本家姓黃，是228政治受難者家族，也是謝長廷早期金主，姚文智之所以到謝長廷身邊，是岳家的關係，這也解釋為何姚文智在2018選舉時竟敢把謝長廷高雄政績當成自己的，以及在謝長廷內閣時不聽號令種種脫軌行為。
潘弘裕的生父黃石岩在日本時代曾任台北市太平國校教員，後來經商成為地主階級，家住台北圓環，在北門東和寺旁也有房子，住過朱崙里，又在大同公司後面蓋了九間透天厝，黃石岩生有六兒女，由於參與中國共產黨地下黨，曾經短暫當過「共產黨省工委會台北市書記」，黃石岩與老二黃弘毅因而在1950年、1953年先後遭槍決，排行第五的黃送養潘家，因此改姓為潘弘裕。潘弘裕回憶在黃石岩被槍殺時，才唸國小五年級，國小畢業後到台北市第十三水門旁的「鬼子標醬油廠」當童工，隨著三哥黃弘哲到台電公司上班，生活才轉為安定。出處
隨著謝長廷當選高雄市長，姚文智以首席大弟子身分，先後擔任新聞處長、副秘書長，2018年選舉時，姚文智因此把愛河整治、國家燈會等等謝長廷的政績都算成是自己的政績，更吹噓高雄捷運美麗島站，竟稱站名叫美麗島是當時身為新聞處長的他「請當時的謝長廷市長宣布」，有如處長可指揮市長，並稱美麗島站「光之穹頂」是他以市府副秘書長的角色協調導入設計，忘記日後因為設計失當極為耗電導致關燈，「光之穹頂」燈光黯淡有如廢墟。
2004年謝長廷終於受不了姚文智，將他安排到台視當董事，隨即酬庸升任台視文化總經理，半年後，隨著謝長廷成為行政院長，姚文智又「雞犬升天」(王世堅)，進入政院成為新聞局長，開啟荒唐的十大噩夢閣員之首時代，對謝長廷更是一大打擊。
姚文智不只本身的新聞局成為災難，更連累全數謝內閣，備詢時竟屢次與立委互罵，甚至還一言不和就甩袖尿遁離席，引起朝野立委震怒，造成總預算遭狂刪，謝內閣施政受到嚴重阻礙，謝長廷氣得在院會公開指名批評姚文智「個人風格太鮮明，連累到整個行政團隊」。
姚文智新聞局長任內最大的風波就是一上台就大手大腳，說大話，如2005年3月稱要讓台灣一年拍出一百部電影出處，講了許多冠冕堂皇的話，什麼電影產業的復興是建立台灣主體意識的重要工程，是台灣的文化使命，但根本脫離現實，最後當然沒有達成，差得遠了，跟2018年他屢屢提出的各種「十倍」「十分之一」政見一樣誇大不實。
TVBS一樣在蘇貞昌內閣時代訴願成功，免罰款，結果姚文智粗糙的政治操作，根本沒搞清楚權限與相關法律遊戲規則就認為什麼都可喊了算，不但沒有達到任何實際目的，反而造成大反彈，輿論認為是《2100全民開講節目》批評高捷案提出陳哲男照片，姚文智是為了遮羞才修理TVBS，導致扁政府聲望受到重創，但姚文智不但不反省自己，反而痛罵蘇貞昌內閣可恥。
2004年底發生南亞海嘯，台灣人民善心熱烈捐款，由新聞局統籌，結果竟然躺了8個月還沒發出去，媒體披露後全國嘩然，姚文智在第一時間召開記者會，竟大言不慚說：「一分鐘都沒浪費，九月初就會發出去。」收款是前任新聞局長林佳龍，正要選台中市長，連忙出來稱是審計部拖延，審計部立即打臉，指錢7月中才進國庫，財政部通知新聞局7月22日就可以領，可是新聞局並沒有去領。姚文智上任5個月，才把錢交到國庫，他卻認為「沒那麼嚴重啦！」
陳水扁總統出訪中美洲邦交國「榮邦專案」，姚文智發生嚴重失誤，對「榮邦計劃」胡亂發言，造成友邦對金援想像過度，本是要穩固外交反而變成動搖外交，基本任務都搞到大失敗，但是卻忙著整晚和空姐喝酒，第二天陳水扁與媒體茶敘時，身為新聞局長竟瞌睡連連，還陪護士打沙灘排球，諸多失態、失職，使得謝長廷被K的滿頭包。
姚文智更拿納稅義務人的錢，以選舉語言為執政黨的NCC政策做全版廣告，即「ＮＣＣ髒兮兮廣告」事件，此舉自以為是在護航，卻成了最大的豬隊友，引起輿論狂批，禍延到民進黨重返執政後，2018年在野黨還繼續拿髒兮兮來批評NCC政策。
姚文智最跳痛的新聞局長事件，莫過於金鐘獎入圍名單戲劇類7獎項突然保留事件，常識都知道金鐘獎這類的大型獎項活動事先有相當長的籌備期，該屆金鐘獎勵要點規定已在132天前訂定，新聞局長姚文智卻在公布入圍名單時，突然宣布暫緩公布戲劇類7個獎項，說是為了順應民意要增加獎項，但怎會事到臨頭才要加？他竟答：「公文很多，無法深入所有細節。」
隨意變動不僅導致窒礙難行，更違反基本行政程序正義原則，姚文智竟稱「只要是好事情，不要太在意程序」，同黨的王世堅也忍不住批他：「不專心、不用功、不當一回事。」、「已不適任新聞局長。」
於是他理所當然的成為十大惡夢之首，民進黨立委林岱樺稱「姚文智一定要換掉」謝長廷不應該一味袒護自己的徒弟，國民黨當然更是不客氣：「連法令都不懂」、根本稱不上是文人；「無法無天，沒有禮貌」、「態度強硬卻無道理，像選舉戰將而不像首長」、「預設了政治立場，沒有扮演好政策說明的角色」、「小丑，沒有專業能力」。是造成行政院與立法院衝突的源頭。
出了這麼多包以後，姚文智卻一點都不慚愧，還一直很得意，到2018年他自稱，當年新聞局長任內，每天新聞幾乎都有自己的名字，因此讓民眾印象深刻，所以登上「同志性幻想排行榜」第5名。新聞局長任內曝光是多，但其實都是負面新聞，他一點都不在意。
欲知後事，請待下回分解