明治25年1月、大林芳五郎が個人企業として大阪市に創業し、土木建築の請負に従事したのが当社の起源である。その後、個人企業を明治42年7月に合資会社大林組に改め、さらに大正7年12月に株式会社大林組と改めた。その後、昭和11年12月に株式会社第二大林組が設立され、翌年3月に同社は在来の株式会社大林組を吸収合併したうえ、商号を株式会社大林組に変更した。これにより当社の設立は昭和11年12月となっている。
営業網については、明治39年に東京支店、大正8年に小倉支店(昭和5年2月、同支店を福岡市に移し福岡支店に改称)、大正14年4月に横浜支店、同年7月に名古屋支店を設置するなど着々とその整備拡充を進め、活発な営業活動を行っていた。
また、昭和6年10月に木工内装工事を行う内外木材工芸株式会社を設立し、昭和8年8月に道路舗装工事を行う東洋鋪装株式会社を設立するなど、新たな事業分野への進出にも取り組んだ。
当社設立後の主な変遷は次のとおりである。

昭和17年9月	広島支店を設置
同18年3月	内外木材工芸株式会社を内外木材工業株式会社に社名変更(平成5年4月、株式会社内外テクノ
	スに社名変更、現・連結子会社)
同21年6月	仙台支店を設置(昭和62年4月、東北支店に改称)
同21年11月 同30年1月	札幌支店を設置 浪速土地株式会社を設立(昭和45年10月、大林不動産株式会社に社名変更)
同33年1月	高松支店を設置(昭和54年1月、四国支店に改称)
同33年12月	大阪証券取引所に当社株式を上場(現・株式会社東京証券取引所)
同35年11月	東京証券取引所に当社株式を上場(現・株式会社東京証券取引所)
同36年3月 同38年10月	福岡証券取引所に当社株式を上場(現・証券会員制法人福岡証券取引所) 東洋ビルサービス株式会社を設立
同40年7月	神戸支店を設置
同40年12月	東京都清瀬市に技術研究所を開設
同42年2月	東洋鋪装株式会社を大林道路株式会社に社名変更(現・連結子会社)
同45年12月	東京支店を東京本社に改める
同46年4月 同47年1月	大林道路株式会社が株式を東京証券取引所市場第二部に上場 ジャヤ大林を設立(現・連結子会社)
同48年2月	大林道路株式会社が株式を東京証券取引所市場第一部に上場
同49年5月	タイ大林を設立(現・連結子会社)
同50年2月	金沢支店を設置(昭和54年1月、北陸支店に改称、平成3年7月、新潟市へ移転)
同62年4月	福岡支店を九州支店に改称
平成元年11月 同2年6月	株式会社オーシー・ファイナンスを設立(現・連結子会社) 台湾大林組を設立(現・連結子会社)
同14年7月	大林USAを設立(現・連結子会社)
同15年7月	オーク設備工業株式会社(当時・東芝空調株式会社)の全株式を取得(現・連結子会社)
同17年7月	東洋ビルサービス株式会社が株式会社オークビルサービスを吸収合併し、大林ファシリティーズ株式会社に社名変更(現・連結子会社)
同20年4月	海外支店を設置
同22年4月 同23年3月 同23年6月 同24年4月 同26年10月	東京本社を本社及び東京本店に、本店を大阪本店にそれぞれ改める 大林カナダホールディングスを設立(現・連結子会社) 新星和不動産株式会社の全株式を取得 京都営業所を京都支店に改める 大林不動産株式会社が新星和不動産株式会社を吸収合併し、大林新星和不動産株式会社に社名変更(現・連結子会社)