5楽章からなる。その第２楽章と第４楽章は、他楽章よりも前に完成しているが、全体は、1853年秋から冬にかけて、シューマンの住むデュッセルドルフでかきあげられた。しかし、ブラームスは満足せず、その後も改定を加え、なかでも、終楽章には大きな変更を加えた。
作品１と作品２のソナタよりも大きな規模をもっており、ブラームスはこの作品５でピアノ・ソナタの終着駅にたどりついたと考えたようである。全体は、第１楽章を基本的なモットーにして統一されている。
第１楽章：アレグロ・マエストーソ、ヘ短調、四分の三拍子。ソナタ形式。第１主題の最初の進行には、これ以後のブラームス作品でしばしばみられる、ブラームスのモットーのF－A－F（Frei aber froh “自由にしかし喜ばしく”の各語のイニシャルにもとづく）の萌芽がすでにみられる。このモットーはヨアヒムのモットーF－A－E（Frei aber einsam“自由にしかし孤独に”）から思いついたものである。
第２楽章：アンダンテ・エスプレｯシーヴォ、三部形式による。変イ長調、四分の二拍子。
ブラームスは、この第2楽章の最初に詩人シュテルナウの「若き恋」という詩の一節を標題として掲げている。大意は次のとおりである。
「黄昏はせまり、月は光り輝く
そこに二つの心が、愛で結ばれて
互いによりそい、抱き合う。」
この楽章は、独立して演奏されることもあった。
アンダンテ・モルトの結尾部のなだらかな旋律は、後にワーグナーが「ニュルンベルクのマイスタージンガー」のハンス・ザックスの歌に流用したと伝えられている。
第３楽章：アレグロ・エネルジーコ、スケルツォ。ヘ短調。
第２、第４楽章はいろいろな意味で対になっており、また、第１楽章は第５楽章に密接に関連しているので、全曲は、この第３楽章を中心にして、対照形のようになっている。
第４楽章 アンダンテ・モルト、変ロ短調、四分の二拍子。この楽章は、「間奏曲（インテルメッツォ）」と記されている。また、ブラームスは「回顧」という副題をおいている。これはシュテルナウの詩の題名である。この曲にはブラームスがライン地方の旅行のときに会ったある少女に対する想い出がこめられているという説がある。
切れ目なく次の楽章に続く。
第５楽章：アレグロ・モデラート・マ・ルバート、ヘ短調、八分の六拍子。ロンド形式で、A－B－A－C－A－結尾という形をとっている。その主題は、第３楽章のものと密接に関連しており、また、ヘ長調の第１副主題はヨアヒムのモットーにもとづく。最後の結尾は、カノンを用いて壮大な頂点を築きあげる。
