張琳曾就讀於北京101中學。張琳從6歲開始接受游泳訓練，身材高挑的他作為中國泳壇的一名新人進步十分神速。1994年在北京市海淀業餘體校訓練，教練是李小娜。1999年在北京市二隊接受游泳訓練，教練是王卓龍。2000年9月進入北京隊，教練是陳映紅。2000年陳映紅教練想要招一批1987年出生的運動員，當時正在北京游泳二隊接受訓練的張琳進入了她的視線。張琳從此正式成為了北京游泳隊的一員。但是僅過了兩年，張琳就憑藉良好的表現順利地邁入了國家隊的大門。據陳映紅教練介紹，生活中的張琳是一個性格比較內向的孩子，但是每次一投入到比賽當中，他總是能夠立即興奮起來。
參加比賽2002年選入國家隊，教練還是陳映紅。在2003年第10屆世界游泳錦標賽男子800米自由式比賽中取得第八名。2005年，張琳在中華人民共和國第十屆全運會游泳比賽奪得三項冠軍，包括男子200米自由式、男子400米自由式、男子1500米自由式。2007年，去澳大利亞進行為期三個月的培訓，師從澳洲名將哈克特的教練丹尼斯，因訓練效果明顯，2008年5月再次赴澳，7月中歸來。在2009年的羅馬世界游泳錦標賽中，張琳以7分32秒12的成績獲得了冠軍，並將世界紀錄提高了6秒多。奧運經歷2003年來自中國北京的張琳，可謂年少成名，15歲就入選了中國國家隊，在2003年世界游泳錦標賽上，年僅16歲的張琳就在男子800米自由式比賽中取得了第八名，表現出了很好的潛質和天賦。2005年在2003年之後，他的成績節節攀升，2005年取得了東亞運動會的男子200米和1500米自由式金牌。2006年在2006年以來，他就被韓國名將朴泰桓所壓住，在多哈亞運會上他落在朴泰桓後面獲得了200、400和1500米自由式的三枚銀牌。朴泰桓的成績得益於在澳大利亞的訓練，與朴泰桓相比，張琳在水感和技術上並不差，但差距來自於因訓練手段的落後，他的體能和力量與世界級強手有一定的差距。2008年自2007年年底開始，張琳去澳大利亞接受曾訓練出奧運會金牌得主哈克特的著名教頭丹尼斯·科特萊爾的特訓，僅僅經過三個月的訓練，他就在中國游泳公開賽中游出了3分45秒04的成績，將他自己的最好成績提高了一秒多，這充分體現了先進訓練手段效果是顯著的。張琳獲獎在2008年的全國游泳冠軍賽上，張琳又將他的400米自由式成績提高到了3分44秒97，從而邁進了世界先進水平的行列。當年5月份張琳再度前往澳大利亞訓練，二個多月的特訓使得他的能力得到了大幅度的提升。2008年8月10日上午，在奧運會游泳決賽首日，張琳在男子400米自由式項目上獲得銀牌，韓國選手朴泰桓和美國選手詹森分獲冠軍和第三名。這也是中國男選手首次獲得奧運會游泳項目的獎牌。澳洲名將哈克特、俄羅斯選手普里盧科夫及美國的范德凱伊都成為了張琳的手下敗將，雖然在衝刺階段沒能超越韓國天才朴泰桓，然而張琳這一枚寶貴的銀牌仍然創造了中國男子游泳奧運會的歷史。張琳在400米自由式預賽中不僅打破了亞洲紀錄，並且力壓韓國神童朴泰桓以及澳大利亞名將哈克特以預賽第二的成績闖入決賽。在決賽中，張琳憑藉出色的衝刺一舉躍居到第二位，成功鎖定了這個項目的銀牌。2012年無緣奧運A標2012年4月3日，“中國男子游泳”第一人張琳在全國游泳冠軍賽暨奧運選拔賽400米自由式決賽中發揮失常，無緣奧運A標，這讓張琳和教練陳映紅百思不得其解，但是根據張琳表現出來的種種身體狀況，陳映紅分析弟子的失利可能與突發性哮喘有關。
張琳被人們所知道大概是在2003年的游泳世錦賽上，他當時是中國男子游泳唯一一名在個人項目中進入決賽的選手，儘管只名列男子800米自由式第八名，但是這已經足以讓人們看到他的潛力了。到2005年的十運會暨全國游泳冠軍賽上，他已經成長為一名冠軍的有力競爭者了。果不其然，2005年的全運會上他一舉打破了男子400米自由式的全國紀錄。並在男子200米和1500米自由式中折桂。但是到了2006年的亞運會中，男子1500米的冠軍卻旁落韓國小將朴泰桓。而到2007年3月的游泳世錦賽時，朴泰桓的成績已經又大幅度提高了很多，這讓一向內向的張琳爆發出想要去海外訓練的言論，儘管在短期內沒有實現，但是到了2007年末，他終於如願以償地來到澳大利亞，師從澳洲名將哈克特的教練丹尼斯。在經過八周的訓練之後張琳參加了當地的一個比賽以檢驗訓練成果，最終他1500米自由式游進14分59秒的成績讓他奪冠也讓他在澳洲訓練的時間又延長了一個月。2008年1月底，張琳回國參加好運北京的游泳測試賽，儘管測試賽的水平並不很高，且由於溫差等關係張琳有些感冒，身體狀態不在最佳，但比賽中他表現出來的能力還是有目共睹的，在澳洲訓練的這三個月成果很顯著，張琳通過這次訓練也增加了不少信心。2012年6月24日，國家體育總局召開了倫敦奧運會反興奮劑大會，孫楊、劉子歌等所有將加倫敦奧運會的選手悉數參加，中國游泳隊總教練么正杰和世錦賽冠軍趙菁分別代表教練員和運動員上台宣誓。但其中缺少了一個熟悉的身影——北京奧運會銀牌得主、中國男泳第一個世界冠軍張琳。張琳的缺席無疑宣告他將無緣倫敦奧運會。會後，國家體育總局游泳中心副主任尚修堂婉轉地表示，“我們也覺得很惋惜，他是為中國游泳作出過貢獻的選手，男子2008年歷史性的突破，但是作為奧運會這種頂級賽事，不像其他比賽，可以張三不去李四去，這么簡單。”張琳從廣州亞運會開始，狀態一路下滑，中國男泳一哥的位置也逐漸被90後小伙孫楊取代。不僅如此，因為在4月份舉行的全國游泳冠軍賽暨奧運選拔賽以及5月底的全國青年游泳錦標賽上他無論是主項400自還是副項200自均未能達到A標，出戰倫敦奧運會單項的機會成零。而他最後的希望只能寄托在中國游泳隊一直以來的“綜合評定”慣例，如果入選，張琳可以以替補的身份搭上奧運末班車，但只能參加男子4×200米自由式接力。於是結束濟南之行後，張琳返回北京邊備戰邊等待“綜合評定”結果。中國游泳隊此次共有51名運動員參加倫敦奧運會，其中女子26名滿額，男子25名，隊伍預計在7月初分批飛往巴斯大學，在英國完成備戰奧運的最後衝刺。
2003年，第10屆世界游泳錦標賽男子800米自由式第八名。世錦賽800自冠軍2004年，山西全國游泳冠軍賽以3:52.15的成績創男子400米自由式全國紀錄。2004年，全國游泳冠軍賽暨奧運選拔賽200米、400米、1500米自由式、4X200米自由式接力冠軍。2005年，全國游泳冠軍賽暨十運會預賽男子400米自由式以3分50秒15的成績打破了他自己保持的3分52秒15的全國紀錄。2005年，第四屆東亞運動會（澳門） 男子1500米自由式決賽中以15分00秒27的成績打破亞洲紀錄；200米自由式冠軍，400米自 由泳亞軍。2006年，上海短池世錦賽男子1500米自由式第三名、400米自由式第四名、4X200自由式接力第四名、200米自由式第九名2006年，世界盃短池游泳賽斯德哥爾摩站比賽中，奪得400米自由式冠軍。2006年，多哈亞運會 男子400米自由式 3分49秒03 亞軍 。2007年，世界游泳錦標賽男子200米自由式第六名 。2008年，全國游泳冠軍賽暨奧運選拔賽200米、400米、1500米自由式三項冠軍，其中400米和1500米兩項破全國紀錄 。2008年8月10日第29屆北京奧運會男子400米自由式比賽中獲得亞軍，成績是3分42秒44，實現了中國男子游泳運動員在奧運會比賽獎牌零的突破，為中國代表團在此屆奧運會上奪得第三枚獎牌，首枚銀牌。2009年，羅馬世界游泳錦標賽男子400米自由式以3分41秒35的成績奪得季軍，比朴泰桓在北京奧運會奪冠的成績快0.51秒，並打破亞洲紀錄。2009年，7月29日，男子800米自由式決賽以7分32秒12的優異成績將世界紀錄縮短了逾6.53秒，為中國游泳隊收穫了此次羅馬世錦賽的首枚金牌，他也是中國男泳世界大賽中奪冠的第一人。2009年，羅馬世錦賽男子1500米自由式獲得第五名，成績為14分54秒23。2009年，在中華人民共和國第十一屆運動會上，獲得男子200自由式金牌、400自由式金牌、4×100自由式接力金牌，4×200自由式接力銀牌和1500自由式銅牌。其中的4×100自由式接力，北京隊以3分15秒50的成績創造了新的亞洲紀錄。2009年，第五屆東亞運動會男子200米自由式銅牌，男子4×200米自由式接力銀牌。2010年，全國游泳冠軍賽，男子200米自由式金牌，400米自由式金牌，1500米自由式金牌。2010年，廣州亞運會，男子200m自由式第4名2010年，廣州亞運會，男子4*200m自由式接力金牌。2010年，廣州亞運會，男子400m自由式銅牌。2011年，上海世錦賽男子4x200m自由式接力銅牌2012年全國游泳冠軍賽男子400米自由式第四名2010年第16屆亞運會第一棒火炬手。2010年廣州亞運會11月14日當選王老吉“亞運之星”。2010年廣州亞運會11月16日王老吉“亞運之星”候選人。2010年簽約成為東風風神代言人。2009年世界游泳錦標賽男子800米自由式冠軍，並以7分32秒12的成績打破了由澳大利亞著名選手格蘭特·哈克特保持的7分38秒65的原世界記錄（將世界記錄提高了6秒53)。2010年1月16日，獲得CCTV2009年度體壇風雲人物最佳男子運動員獎。最好成績：2008年第29屆北京奧運會男子400米自由式亞軍，成績3分42秒44（實現了中國男子運動員在奧運會游泳項目上獎牌零的突破，也是中國奧運軍團在本屆奧運會上奪得的第一塊銀牌）。
路透社的標題最為震撼：《張琳摧毀800米自由式世界紀錄》。文中稱：“確實，張琳的這個成績比澳大利亞傳奇巨星，中長距離自由式之王格蘭特·哈克特的原紀錄高出了6.53秒之多。這是一個怎么樣的奇蹟。在這個背景下，路透社的這個標題也確實恰如其分了。”法新社以最快的速度報導了張琳奪得金牌的訊息。雖然標題只是平淡的《張琳打破世界紀錄獲得男子800米自由式冠軍》，但是文章中的用詞同樣震撼，法新社稱“張琳以7分32秒12粉碎了世界紀錄”。6.53秒的巨大差距確實讓所有人都大吃一驚，文章描述道：張琳打破了原來7分38秒65的世界紀錄，這是澳大利亞的格蘭特·哈克特在2005年7月27日在蒙特婁游泳世錦賽上創造的。賽後，張琳表示：“這是中國男子游泳的一個突破！” 隨後張琳哭了。這也是北京奧運會上他奪取銀牌後，第二次落淚。他表示：“雖然結果不是完全出乎意料，開始我也保持冷靜，但沒辦法，我太激動了，不知道用什麼言語來表達自己的感受。”兩次落淚，況味不同。“奧運會上哭了，那是悲喜交加，這次則全是因為激動。”