初創發展期（1961年—1977年）
建國初期，在周恩來總理的直接關懷下，中國同波蘭和捷克斯洛伐克等社會主義國家進行航運合作，分別在1951年和1959年成立了中波輪船股份公司和捷克斯洛伐克國際海運股份有限公司。這種合作有利于突破封鎖禁運，為日后組建中國遠洋運輸公司及其船隊培養了眾多急需的人才。
五十年代中期，毛澤東主席就提出了組建和發展中國遠洋運輸船隊的設想。
1958年，交通部遠洋運輸局成立，同時在廣州成立交通部遠洋局駐廣州辦事處，組建中國遠洋運輸公司及其船隊的進程明顯加快。
1959年，中國政府決定租船接運旅居印尼自愿歸國華僑。當時，交通部遠洋運輸局及其駐廣州辦事處第一次組織、指揮和調度十幾艘租船從事這項工作。這是中國遠洋運輸公司成立前的一次預演。
與此同時，周恩來總理在當時外匯收入較為菲薄的困難情況下，批準外匯撥款赴希臘買遠洋船舶。
1961年4月27日，新中國第一家國際海運企業——中國遠洋運輸公司宣告成立了。同時，也誕生了中遠公司廣州遠洋運輸分公司（以下簡稱廣州分公司）。成立時的中遠公司經理由交通部遠洋運輸局馮于九局長兼任，其辦公地點設在北京交道口原交通部大樓內。廣州分公司的舊址在廣州市沙面珠江路28號，第一任經理由郭玉駿擔任。
中遠公司成立當年，除“光華”號輪，還有“新華”號、“和平”號、“友誼”號。
1964年12月，中遠公司按國際慣例首次利用銀行貸款購進“黎明”號貨船。這也使中遠成為中國首家利用銀行貸款發展遠洋船隊的船公司。從此，中遠開始了國有企業“貸款買船，贏利還貸”的發展模式，自力更生發展遠洋船隊。
1964年4月1日，中遠公司的第二個分公司上海遠洋運輸分公司（以下簡稱上海分公司）宣告成立，成立時的舊址在上海市中山東一路5號，第一任經理由宋濤擔任。
1964年6月12日，上海分公司“和平60”號輪于上海啟航，首航朝鮮民主主義人民共和國的南浦港，受到朝鮮政府和當地人民的熱情歡迎。
1964年6月18日，“燎原”號滿負著祖國的重托和中國人民對日本人民的友好感情，由青島港啟航，首航日本的門司、東京、神戶三個港口，受到了日本人民和華僑們的友好接待。
中朝、中日航線的開辟，加深了我國和朝鮮人民、日本人民之間的友誼，促進了彼此間經濟、文化的交流。
1967年5月，廣州分公司“敦煌”輪從黃埔起航，開往西歐，標志著新中國第一條國際班輪航線的開通。
1968年4月15日，“黎明”輪從湛江港北上，首次開辟南北航線，試航成功后，廣州分公司“九江”輪又進行了第二次試航。1969年12月，經周恩來總理批準，這一航線正式開辟，從此我國南北之間的海上航線得以貫通。
1970年10月1日，天津遠洋運輸分公司（以下簡稱天津分公司）宣告成立，第一任經理由周吉擔任。天津分公司組建初期，主要經營天津—歐洲、天津—日本航線。以后，隨著船隊的發展和船型的增加，開始經營班輪運輸，航行區域也從歐洲和日本擴大到非洲東部、紅海沿岸、北美洲、波斯灣、孟加拉灣、東南亞和澳洲等地區。
1972年9月，交通部發布《關于重新組建中國遠洋運輸總公司的通知》，組建中國遠洋運輸總公司（以下簡稱中遠總公司）。
1975年，中遠總公司船隊的總噸位突破了500萬噸的大關。這期間，幾乎是每年以近百萬噸的運量快速增長，受到國際航運界的矚目。
1976年7月1日，中遠總公司又成立了一個專門承運散裝貨的分公司—青島遠洋運輸分公司（以下簡稱青島分公司）。第一任經理由陳化明擔任。
隨著中國總公司船隊的迅速增加，開辟的國際航線也更加廣泛。1971年至1978年在原有航線的基礎上，又開辟了我國至毛里塔尼亞、塞拉利昂、智利、巴林、菲律賓、赤道幾內亞、突尼斯、馬達加斯加、馬爾他、馬來西亞、阿拉伯聯合酋長國、伊朗、扎伊爾、墨西哥、西班牙、秘魯、貝寧、卡塔爾、沙特阿拉伯、丹麥、古巴、巴拿馬、牙買加、阿根廷、莫桑比克、喀麥隆、幾內亞比紹、加蓬、冰島、泰國、巴布亞新機內亞、新西蘭、尼加拉瓜、塞浦路斯、佛得角、多哥、圣多美普林西比、圭亞那、危地馬拉、塞舍爾、巴西、厄瓜多爾、瑞典等國家和地區的海上航線。
改革轉型期（1978年—2004年）
黨的十一屆三中全會以后，中國實行了對外開放政策，使中遠總公司更加富有生機與活力，向著經營管理的國際化和現代化邁進。
1978年9月26日，平鄉城輪裝載著162個國際標準箱駛離上海，標志著中國遠洋集裝箱運輸的正式開始。同年10月25日，熊岳城輪從上海港開出去澳大利亞，單船往返60天，形成每月一班的班輪服務。從此，中國真正有了自己的國際集裝箱班輪運輸。1979年4月18日，柳林海輪抵達美國西雅圖港，成為有史以來到達美國港口的第一艘懸掛五星紅旗的中國船舶，象征著中美之間封凍了30年之久的堅冰開始全面消融。1979年6月25日，中遠總公司與日本飯野海運公司在北京簽訂船員勞務合作協議，首次派出由大副、大管輪等29名船員組成的外派船員班子到飯野海運公司所屬的6萬噸級 “睦邦丸”油輪工作，從此中國船員勞務外派的序幕正式啟動。
1979年5月1日，經交通部批準，將中遠各分公司改稱為所在地區的遠洋運輸公司。如廣州分公司改為廣州遠洋運輸公司（以下簡稱廣遠公司）。
1980年1月1日，中遠總公司成立了第五個子公司，也是國內以經營油輪運輸為主的遠洋油運公司——大連遠洋運輸公司（以下簡稱大遠公司）。第一任經理由原國民黨招商局中首舉義旗、返回新中國懷抱的“海遼”輪船長方枕流擔任。至此，中遠總公司從事遠洋運輸的五支勁旅已初步形成。
20世紀80年代，中遠總公司對企業的功能和發展思路進行了深入思考和重新定位，針對計劃經濟下各直屬航運公司“大而全、小而全”、一味追求地域擴張的傳統做法，重新界定了旗下廣州、上海、青島、天津、大連五大遠洋運輸公司的市場定位。根據各公司船隊特點和以往的經營范圍、業務傳統，將青遠公司和大遠公司定為分別以經營散貨船隊和油輪船隊為主，主要承運石油、糧食、礦砂、化肥、鋼材等大宗貨物的專業性公司；將廣遠公司、上遠公司、天遠公司定為擁有多種類型船舶，根據各自船隊特點和地理位置，分航線、港口經營的綜合性公司。
改革開放后，中遠總公司在日本、新加坡、香港、巴基斯坦、澳大利亞、埃及、法國、意大利、羅馬尼亞、比利時、德國、英國、蘇聯、朝鮮、加拿大、巴拿馬、新西蘭、泰國等國家和地區派駐了航運代表。1980年中遠總公司與荷蘭派克船斯集團在荷蘭鹿特丹建立荷蘭跨洋公司，經營代理業務。這是中遠總公司在境外創建的第一家合營公司。1988年11月29日，中遠總公司收購“中好船務代理有限公司”英方股份，使之成為中遠在英國的獨資公司，并于1989年8月18日經交通部批準更名為“中遠(英國)有限公司”。這是中遠第一家海外獨資公司，從此，中遠開始了跨國經營的新歷程。此后中遠在漢堡成立了中遠歐洲公司、漢遠技術服務中心；有22家合營企業分布在挪威、荷蘭、比利時、西德、澳大利亞、美國、肯尼亞、泰國、日本和香港等地，初步形成了一個以北京為中心，國內為依托，以歐洲、北美、日本、東南亞和香港五大區域為輔設點的海外航運業務網絡。
1993年2月16日，以中遠總公司為核心企業與中國外輪代理總公司、中國汽車運輸總公司、中國船舶燃料供應總公司組建了中國遠洋運輸（集團）總公司（以下簡稱中遠集團）。確立了“下海、登陸、上天”的多元化發展戰略，經過短短幾年的快速擴張，初步形成了以航運為主業，業務范圍涉及遠洋運輸、船舶和貨運代理、海上燃物料供應、船舶修理、勞務輸出、房地產、進出口貿易、旅游、金融等十多個行業的多元化發展企業。為適應國際航運市場日益激烈的競爭形勢，1993—1999年，中遠集團大刀闊斧地進行了多次以船隊經營管理一體化為主要內容的航運體制改革，先后組建了集裝箱運輸、散貨運輸、雜貨運輸等方面的專業船公司以及國際貨運、工業、貿易等方面的陸上專業公司，并在海外建立了一批地區性公司。
根據當時世界航運業由專業化分工向集約化經營發展的趨勢，中遠集團對船隊體制進行了第二次大規模改革，形成專業化船隊。1994年1月1日組建“中遠集裝箱經營總部”，對廣遠公司、上遠公司、天遠公司的集裝箱船進行“集中經營，分散管理”；1995年底組建中遠散貨運輸有限公司，集中經營管理廣遠公司、天遠公司的散貨運輸船隊。廣遠公司成為以經營雜貨船、特種船為主的專業化公司，大遠公司成為經營油輪的專業化公司。這次改革，涉及船舶470艘，人員5萬多人，從根本上改變了中遠的船隊經營格局，奠定了中遠未來全球大發展的基礎。
1993年10月5日，中遠投資（新加坡）有限公司在新加坡成功上市，吹響了中遠全面進軍資本市場的號角，同時也成為第一家進入海外資本市場的中國國有企業。隨后數年間，中遠集團所屬中遠太平洋、中遠國際在香港先后上市。
1999年—2004年，中遠集團根據國際航運業的發展趨勢和國家關于企業“走出去”的戰略部署，提出了“從全球航運經營人向以航運為依托的物流經營人轉變，從跨國經營向跨國公司轉變”的“兩個轉變”戰略，圍繞這一戰略，調整航運業結構，保持和擴大船隊的合理規模，提高船隊的盈利能力，鞏固做強航運業；對航運相關業進行整合，大力發展現代物流業；同時優化發展陸上產業，由此形成了“一主兩重五支柱”的產業發展格局，實現圍繞航運、物流和修造船三個產業重點板塊的“適度相關多元化經營”；以相關多元化的業務為平臺和支撐，以信息技術為手段，全力打造“資本中遠”；整合優化海外資源，形成了九大區域公司，實行了“專業化經營、區域化管理”的經營管理模式。
2002年，中國遠洋物流公司在北京宣告成立，這是中遠由全球承運人向以航運為依托的全球物流經營人的轉變的一個重大舉措。中遠集團在全面推進現代企業制度建設的同時，重點推進了股份制改革，中遠航運（代碼為600428）1.3億股A股開始掛牌上市交易，標志著享譽海內外的中遠集團（COSCO）航運主業正式登陸中國資本市場。
2004年，中遠集團全面超額完成國資委下達給中遠集團的2004年經營業績考核指標，船隊運力突破3500萬載重噸，成為中國第一、世界第二大的航運企業，利潤總額突破120億元，成為中央企業中利潤貢獻最多的幾家企業之一，取得了中遠集團成立以來的第一個百億效益年。
全球化發展時期（2005年-2015年）
2005年初，中遠集團工作會首次在全系統響亮地提出“年創百億效益、打造百年中遠”的奮斗目標，以此為標志，中遠集團進入全球化發展新階段。這一時期，中遠集團船隊規模大幅增長，從2005年擁有和控制船舶615艘，3500萬載重噸，發展到2010年底擁有和控制船舶近800艘、5700多萬載重噸，其中自有船481艘，3006.9萬載重噸，占總運力的52.1％；租入船316艘，2766.7萬載重噸，占總運力的47.9％，連續多年保持世界第二大航運公司地位。生產規模再上臺階，2005年海運量首次超過3億噸，2007年再次突破4億噸大關，2010年達到4.36億噸。資產規模顯著提升，資產總額從2000年底的1354.52億元，增長到2010年底的3124.43億元，增長了130.67%。經濟效益持續提升，自2004年效益首次突破百億元以來，連續5年效益超過百億元。2007年7月，中遠集團首次躋身《財富》全球500強，排名第488位，2008年度以208.4億美元的營業收入再次入選，排名第405位，2009年度 274.303億美元的營業收入再次入榜，位列第327位。
2005年3月，中國外輪理貨總公司于正式并入中遠集團，成為全資子公司。2005年底，中遠集團正式受讓中遠發展持有的海南中遠發展博鰲開發有限公司99.375%股權，海南中遠發展博鰲開發有限公司更名為海南中遠博鰲有限公司，成為中遠集團直屬二級單位。海南中遠博鰲公司為每年一屆的博鰲亞洲論壇的成功提供周到優質的會議服務，成為中遠品牌形象展示的窗口。2010年12月16日，中遠集團溢價出售所持遠洋地產股權，退出房地產業務。
進入全球化發展新時期，中遠集團在以北京為中心，以香港、美洲、歐洲、新加坡、日本、澳洲、韓國、西亞、非洲等九大區域公司為輻射點的全球架構基礎上，加快“走出去”戰略實施步伐。2008年11月，中遠集團成功獲得希臘比雷埃夫斯港集裝箱碼頭35年特許經營權，并于2010年6月1日全面接管希臘比雷埃夫斯港集裝箱2號、3號碼頭。2010年10月中遠在臺北設立中遠臺灣代表處。目前中遠在海外的資產和收入均接近總資產和總收入的一半，主要國際化經營指數接近聯合國“全球跨國公司100強”標準。
中遠集團積極推動國際航運界交流合作，自2004年起連續7年牽頭國際著名航運咨詢機構英國德魯里航運咨詢公司（DREWRY SHIPPING）和國內外主要航運媒體主辦國際海運（中國）年會，影響力不斷擴大，成為國際海運界每年的一大盛事。
中遠集團堅持生產經營和資本經營“兩輪驅動”，打造資本中遠。2005年6月30日，中國遠洋控股股份有限公司（簡稱中國遠洋 1919 HK）股票在香港聯合交易所有限公司主板正式掛牌交易。2007年6月26日，中國遠洋控股股份有限公司首次公開發行A股股票在上海證券交易所掛牌上市，同年12月26日順利實現散貨資產注入中國遠洋，成為全球市值最大的綜合性航運公司。2010年5月30日，英國著名財經媒體《金融時報》發布了最新的全球500強企業排行榜(FT Global 500)，中國遠洋位列第450位，這是中國遠洋自2008年以來連續第三年蟬聯該榜單