山田下一部個人作品，又將八月檔的《男人之苦》暫停，但有渥美清的搶鏡客串。《希望與痛苦》改編自早坂曉的小說，早坂曉在1950年代頭投身日本電視圈，寫下不少著名劇本，例如《天下御免》、《夢千代日記》等。他更是三谷幸喜的偶像，三谷因為他決意成為編劇。他另一個身份是渥美清的密友，渥美清將私生活和電影界明確劃分，就連山田也被排除於外，他的密友多數是識於微時，例如在《男人之苦》後段飾演寅次郎旅伴的關敬六。渥美清和早坂曉在1950年代相識，地點是淺草的澡堂。
一如《幸福黃手絹》及《遠山呼喚》，山田也將《希望與痛苦》的原著大幅改寫，以接近他的世界觀及關注點。山田比較喜歡用專欄文章談自己的過去，較少用電影自述人生，《希望與痛苦》應是山田作品之中，最接近他少年回憶的一部。
1948年，四國松山。洪介（中村橋之助飾演）是松山高校（男校）的學生，那所學校是「舊制高校」，以德文為主要外語，不過隨着日本於二戰戰敗，各方面被美國支配，教育制度也要改成美式。害羞的洪介對附近女校的房子（藥師丸博子飾演）一見鍾情，房子是從中國東北回流日本的難民，父親被蘇聯俘虜，她要靠親戚接濟，洪介正好幫這位親戚的兒子補習。
鎮上一名妓女咲子（石田惠理飾演）答應和一名松山高校學生私奔，他卻不知所蹤。咲子跑了出來，被黑幫追捕，洪介及一眾學生將她匿藏於宿舍。後來揭出這位失踪的學生是個假冒學生的騙子，結果學生在黑幫來找咲子前，把她送回家鄉。
高校的年度慶典有話劇比賽，洪介的宿友決定將一篇德國古典短篇小說改編成戲劇。擔任導演的圭吾（柳葉敏郎飾演）去到女校邀請學生參演時，對房子一見鍾情，房子應承演出全是因為知道洪介會做男主角。
洪介他們贏得戲劇比賽後，圭吾對房子愈趨痴迷，他不知洪介也暗戀房子，居然叫洪介將一大疊情信交給房子。房子以為洪介想向他表白，知道真相後大失所望。圭吾輟學成為鎮上的劇團導演，洪介高中畢業後到九州讀大學前向房子表明愛意，房子也道出自己的心意，但最後兩人還是無法開花結果。圭吾三年後被黑幫殺死，洪介繼承他的遺願成為編劇。
山田的青蔥歲月
原著有許多內容是作者的童年及少年回憶，但最關鍵的分別，是書中的愛情線其實是作者搭上了妓女，更和她一起刺上愛情刺青。這顯然和山田風格南轅北轍，不如想成山田選取原著的元素，再去編寫另一個青春及愛情故事。
影片和山田的人生有許多相近之處，山田也是從中國東北回來，投靠山口縣的親戚，離松山只是一海之隔。學生們決定要送走咲子當晚，就有一批學生從山口縣坐船過來和松山學生一起狂歡，也許山田會是其中之一？另外，山田在山口縣也是是讀舊制高校。
片中有指出松山就是夏目漱石《少爺》的背景，那部作品是以高校為題材，《希望與痛苦》原著出版時，也以「新時代的《少爺》」作招徠。但我覺得另一部夏目漱石作品《心》對影片留下的印記，比《少爺》還深。這兩部書都是日本學生在課程中很容易接觸到的讀物，外國觀眾不會像日本觀眾直覺地見到這點關連。
洪介代人表白這一點，首先和《男人之苦》第十集中，寅次郎替人向八千草薰表白（寅次郎對她也有意思），卻反過來被女方表白頗像。在《心》，主角和好友也是暗戀同一個女孩，好友告訴主角後，結果主角搶先一步，向女孩的母親提親，母女都同意了。好友知道真相後自殺，主角一生都在自責，在多年後也結束自己生命。洪介是做着和《心》相反的事，好像對得住自己良心，卻要喝醉才敢面對圭吾，說房子拒絕了，圭吾怒斥洪介是否自己也對房子有意，所以把情信丟了。圭吾不辭而別，洪介一直害怕他自尋短見。
血氣方剛的高中生，滿腦子都是性，也可從當中情節窺探山田學生時代的經歷。影片用很多篇幅寫男生們的性壓抑，例如房間牆上有勸人不要自瀆的標語；咲子睡覺時露出大腿，幾位男生即時出現衝動，要靠長跑去化解。開場的德文課談到的詩，更是和少年幻想強暴少女有關。
山田曾和高倉健為《花花公子》對談，說過「男人會有衝動想侵犯女人，女人也有被強暴的預感，這種男女之間的戰意會激發出很強大的力量」。很稀有的一種說話，但用《希望與痛苦》的性壓抑去理解，就可以解釋到《幸福黃手絹》的欽也或《遠山呼喚》的虻田，何以強暴女主角失敗後，還可以和她們繼續做朋友，欽也更能抱得美人歸。
德國文化被美國文化取代
《電影天地》的默片及辯士被淘汰，《希望與痛苦》被淘汰的不只是舊制高中，還包括德國文化。學生們不時用德文單字，例如Danke、Mädchen、Liebe、Essen（謝謝、少女、愛人、食物）。德文課的場景頗多，提及歌德及席勒的重要詩篇，但隨着制度轉向美式及英文，從明治維新起成為日本頭號學習對象的德國文化亦必定被遺忘，洪介畢業後，學校也關門大吉。本片的學生，亦包括山田這一代，經歷了像《最後一課》的文化轉變。
相比起許多懷緬戰後日本的電影，《希望與痛苦》的戰爭傷痕非常輕微，原著中有一些和廣島原爆有關的描述，在電影中只能在配角貞一的三個弟妹全在原爆死亡這一點中出現，在鄉下的松山也沒受戰火摧殘。反而是1948年的物價暴漲、學生教師都吃不飽、鎮內黑幫橫行，是這部影片中的苦難來源。若與山田的生平來比對，他一家在二戰期間過着優越的生活，反而是戰後才開始吃苦頭。
《希望與痛苦》雖然被選中去角逐奧斯卡最佳外語片（不入最後五強），但在日本的評價比山田的舊作為差，《電影旬報》的年度排名只得第21位，是山田自《家族》以來的個人作品中，第一次不入年度十大。但本片到底是山田一個重大嘗試，首先在於把早坂曉的原著改得翻天覆地去配合自己的需要，另外就是他第一次用全部片去拍青春題材，即使藥師丸博子當時已經24歲了。山田在過往十幾年，拍的要不是中年醜大叔寅次郎，就是中年型男高倉健或熟女倍賞千惠子。他拍過這次的中學生荳芽夢，一年後《男人之苦》第42集拍滿男和阿泉時，也算是有過經驗，不會拍得太尷尬了。