東京藝術大学楽理科卒業。旧西ドイツ・デトモルト音楽大学に留学し、幅広く研鑽を積む。チェンバロ、ピアノ、室内楽、指揮など多方面にわたり活躍し、特にJSバッハ、モーツァルト、シューベルトの解釈および演奏では最高の評価を得ている。
伴奏者としての活躍は、世界的名伴奏者であったジェラルド･ムーアに比肩するとまで云われ、これまでに、フィッシャー＝ディースカウ、ヘルマン･プライ、エルンスト･へフリガー、オーレル・ニコレ、ジャン＝ピエール・ランバル、モールス・アンドレなどと内外で共演している。
JSバッハの「ゴルトベルク変奏曲」のコンサートは1972年から毎年12月に東京で開催しており、根強い人気に支えられ、2006年で35回目を迎える。また、ユーモアを交えながらの深い学識に裏付けられた話は聴衆を和ませ、小林道夫自身の人柄と相俟って人々を引きつけずにはおかない。
　1970年第1回鳥井音楽賞（サントリー音楽賞）、1972年ザルツブルク国際財団モーツァルテウム記念メダル、1979年モービル音楽賞をそれぞれ受賞している。