当社は、明治39年、広瀬金七、岩崎清七らにより、セメントの製造・販売を目的とする会社としてその設立が企図され、明治40年11月、商号を磐城セメント株式会社、資本金を100万円、本店を横浜市太田町3丁目52番として設立された。
その後、昭和38年10月に商号を住友セメント株式会社に変更した。そして平成6年10月に、大阪セメント株式会社と合併、商号を住友大阪セメント株式会社に変更し、現在に至っている。
その主な変遷は次の通りである。

明治40年11月	磐城セメント株式会社を設立
41年9月	四倉工場を新設
大正14年7月	日の出セメント株式会社を合併(八戸工場)
昭和15年12月	富国セメント株式会社を合併(現栃木工場)
16年11月	七尾セメント株式会社を合併(七尾工場)
24年5月	東京証券取引所の市場第一部に上場
25年12月	東洋セメント株式会社を合併
29年7月	浜松工場を新設
35年5月	川崎セメント株式会社を合併(現岐阜工場)
38年5月	福島セメント株式会社(田村工場)及び住友石灰工業株式会社(現山口事業所)を合併
41年6月	滋賀興産株式会社を合併(多賀工場、彦根工場)
同年9月	赤穂第一工場を新設
50年7月	七尾、多賀両工場を閉鎖
同年12月	赤穂第二工場を新設
52年9月	八戸工場を分離し、八戸セメント株式会社を設立(現・連結子会社)
59年11月	浜松工場を閉鎖
61年9月	四倉工場を閉鎖
62年4月	赤穂第一工場及び赤穂第二工場を統合し、赤穂工場とする。
同年12月	秋芳鉱業株式会社を設立(現・連結子会社)
63年12月	OAシステム事業部門を分離し、住友セメントシステム開発株式会社を設立(現・連結子会社)
平成2年4月	住友金属工業株式会社(現・新日鐵住金株式会社)と共同で和歌山高炉セメント株式会社を設立(現・連結子会社)
6年3月	青木海運株式会社を買収(現・連結子会社 エスオーシー物流株式会社)
同年10月	大阪セメント株式会社と合併、商号を住友大阪セメント株式会社に変更
8年3月	彦根工場を閉鎖
同年10月	スミセ興産株式会社を合併
12年3月	田村工場を閉鎖
15年3月	伊吹工場におけるセメント生産を中止
[大阪セメント株式会社]
昭和元年12月	大阪窯業セメント株式会社を設立
24年5月	東京証券取引所の市場第一部に上場
27年6月	伊吹工場を新設
36年12月	高知工場を新設
38年7月	商号を大阪セメント株式会社に変更
50年4月	オーシーエンジニアリング株式会社設立(現・連結子会社 エスオーエンジニアリング株式会社)
61年7月	株式会社キャップを設立(現・連結子会社)
平成2年4月	株式会社エステックを設立(現・連結子会社)