1892年1月、大林芳五郎が個人企業として大阪市に創業し、土木建築の請負に従事したのが当社の起源である。その後、個人企業を1909年7月に合資会社大林組に改め、さらに1918年12月に株式会社大林組と改めた。その後、1936年12月に株式会社第二大林組が設立され、翌年3月に同社は在来の株式会社大林組を吸収合併したうえ、商号を株式会社大林組に変更した。これにより当社の設立は1936年12月となっている。
営業網については、1906年に東京支店、1919年に小倉支店(1930年2月、同支店を福岡市に移し福岡支店に改称)、1925年4月に横浜支店、同年7月に名古屋支店を設置するなど着々とその整備拡充を進め、活発な営業活動を行っていた。
また、1931年10月に木工内装工事を行う内外木材工芸株式会社を設立し、1933年8月に道路舗装工事を行う東洋鋪装株式会社を設立するなど、新たな事業分野への進出にも取り組んだ。
当社設立後の主な変遷は次のとおりである。

1942年9月	広島支店を設置
1943年3月	内外木材工芸株式会社を内外木材工業株式会社に社名変更(1993年4月、株式会社内外テクノ
	スに社名変更、現・連結子会社)
1946年6月	仙台支店を設置(1987年4月、東北支店に改称)
1946年11月 1955年1月	札幌支店を設置 浪速土地株式会社を設立(1970年10月、大林不動産株式会社に社名変更)
1958年1月	高松支店を設置(1979年1月、四国支店に改称)
1958年12月	大阪証券取引所に当社株式を上場(現・株式会社東京証券取引所)
1960年11月	東京証券取引所に当社株式を上場(現・株式会社東京証券取引所)
1961年3月 1963年10月	福岡証券取引所に当社株式を上場(現・証券会員制法人福岡証券取引所) 東洋ビルサービス株式会社を設立
1965年7月	神戸支店を設置
1965年12月	東京都清瀬市に技術研究所を開設
1967年2月	東洋鋪装株式会社を大林道路株式会社に社名変更(現・連結子会社)
1970年12月	東京支店を東京本社に改める。
1971年4月	大林道路株式会社が株式を東京証券取引所市場第二部に上場
1972年1月	ジャヤ大林を設立(現・連結子会社)
1973年2月	大林道路株式会社が株式を東京証券取引所市場第一部に上場
1974年5月	タイ大林を設立(現・連結子会社)
1975年2月	金沢支店を設置(1979年1月、北陸支店に改称、1991年7月、新潟市へ移転)
1987年4月	福岡支店を九州支店に改称
1989年11月 1990年6月	株式会社オーシー・ファイナンスを設立(現・連結子会社) 台湾大林組を設立(現・連結子会社)
1990年11月	大林シンガポールを設立(現・連結子会社)
2002年7月	大林USAを設立(現・連結子会社)
2003年7月	オーク設備工業株式会社(当時・東芝空調株式会社)の全株式を取得(現・連結子会社)
2005年7月 2006年6月	東洋ビルサービス株式会社が株式会社オークビルサービスを吸収合併し、大林ファシリティーズ株式会社に社名変更(現・連結子会社) 大林ベトナムを設立(現・連結子会社)
2008年4月	海外支店を設置
2010年4月 2011年3月 2011年6月 2012年4月 2012年7月 2014年10月 2017年9月 2017年9月 2019年3月 2019年4月 2020年4月 2020年6月	東京本社を本社及び東京本店に、本店を大阪本店にそれぞれ改める。 大林カナダホールディングスを設立(現・連結子会社) 新星和不動産株式会社の全株式を取得 京都営業所を京都支店に改める。 株式会社大林クリーンエナジーを設立(現・連結子会社) 大林不動産株式会社が新星和不動産株式会社を吸収合併し、大林新星和不動産株式会社に社名変更(現・連結子会社) 大林道路株式会社が東京証券取引所市場第一部における株式上場を廃止 大林道路株式会社の全株式を公開買付け等の方法により取得(現・連結子会社) 海外支店を廃止 シンガポールにアジア支店を、米国に北米支店をそれぞれ設置 関東支店を設置 大林プロパティズUKを設立(現・連結子会社)