경상남도 진주농림학교의 생물 교사로 재직 중이던 아버지 고바야시 도키히로(小林時弘)의 셋째 아들로 진주에서 태어났다. 1944년 대구중학교 4학년을 수료하고 1945년 3월 육군항공사관학교에 입학하지만 8월 일본의 패전으로 귀향했다. 1950년 레드 퍼지 반대투쟁을 지도하여 정학 처분을 당하고 다음 해에 와세다대학교를 중퇴했다. 1953년 도쿄 스기나미 진료소에 근무하며 공산당원으로 지역 활동을 하는 한편 소설 공부를 시작했다. 이듬해에는 잡지 <문학의 벗>의 편집위원이, 1955년에는 잡지 <생활과 문학>의 편집위원이 되었다. 1957년 유망한 작가로 주목받으면서「일본인 중학교」,「태백산맥」,「붉은 민둥산」을 발표하고 첫 번째 창작집 <포드 1927년>을 간행했으며 1960년 잡지 <문학계> 7월호에 발표한「가교」는 아쿠타가와상 후보작에 올랐다. 이후 오랫동안 괴롭혀 온 폐결핵 때문에 입원과 퇴원을 반복하는 가운데 1970년 <쪽발이>를 간행했다.