شاهین بوشهر اولین تیم حرفه‌ای طارمی بود، او سال ۸۹ به این تیم پیوست و در مدت دو فصل حضورش، برای این تیم هشت بازی انجام داد و تنها یک بار موفق به گلزنی شد.
سال ۹۱ به ایرانجوان رفت و توانست با ۱۲ گل در ۲۲ بازی، توجه‌ها را به سمت خود جلب کند. بازی‌های خوب او باعث شد تا پیشنهادات زیادی به دستش برسد. در این بین نام علی دایی اسطوره فوتبال ایران و سرمربی وقت پرسپولیس، در میان خواهان طارمی می‌درخشید.
مهدی طارمی، در اردیبهشت سال ۹۳ با قراردادی دوساله به پرسپولیس پیوست تا شاگرد علی دایی شود. دایی با اشاره به اینکه او را در یک بازی دوستانه در اردبیل کشف کرد، گفته بود: «طارمی فقط پنج دقیقه بازی کرد و گفتم با او قرارداد ببندید.» طارمی اولین گل خود را برابر ذوب آهن به ثمر رساند. نام او در پیروزی ۲-۱ برابر استقلال بر سر زبان‌ها افتاد. جایی که به عنوان بازیکن تعویضی به زمین آمد و در برد تیمش نقش داشت. مهدی طارمی دو سال پیاپی آقای گل لیگ برتر شد، او همچنین با ۵۵ گل زده بهترین گلزن تاریخ باشگاه پرسپولیس در لیگ برتر است.
لژیونر شدن هدف بعدی او بود؛ تصمیم گرفت به ریزه اسپور ترکیه بپیوندد. اما این انتخاب به قدری احساسی بود که تنها پس از چند هفته پشیمان شد و به مدیران پرسپولیس درخواست بازگشت داد. از آنجا که طارمی بازیکن تحت قراداد بود، مذاکره با او می‌توانست دردسرساز شود، اما باشگاه پرسپولیس مهدی را بازمی‌گرداند. در ادامه با شکایت باشگاه ترکیه ای، مهدی طارمی، به چهار ماه محرومیت از فعالیت‌های ورزشی و باشگاه پرسپولیس نیز از دو پنجره نقل و انتقالاتی محروم شد. این اتفاق بیشتر به ضرر پرسپولیس بود چرا که نتوانست در ادامه، تیم خود را تقویت کند و در لیگ برتر و لیگ قهرمانان آسیا متضرر شود.
الغرافه قطر مقصد بعدی مرد بوشهری بود. او در زمان حضورش در پرسپولیس، در مصاحبه‌ای با اشاره به اینکه میخواهد در تیم‌های اروپایی بازی کند، تاکید کرده بود: «هرگز به تیم‌های عربی نمیروم.»، اما به هرحال این انتقال رقم خورد.
طارمی پس از گذشت یک فصل با پیشنهادات زیادی روبه‌رو شد، او تصمیم گرفت سوار پرواز پرتغال شود، این در حالی بود که کشور‌های حوزه خلیج فارس چندین برابر دستمزد بیشتری نسبت به تیم پرتغالی به او می‌دادند. ریوآوه همان تیمی بود که طارمی برای نشان دادن خود می‌خواست، او در ۳۰ بازی ۱۸ گل به ثمر رساند و آقای گل لیگ پرتغال شد. مهدی با عملکرد خود توجه سران پورتو را جلب کرد و به این تیم پیوست.
مهدی طارمی، به قدری خوب بود که در مدت کوتاهی، جایگاه خود را در پورتو به دست آورد و محبوبیت زیادی هم در بین طرفداران این تیم کسب کرد. او علاوه بر درخشش در لیگ پرتغال، توانست با پورتو در لیگ قهرمانان اروپا نیز موفق باشد. تصویری که در ذهن‌ها باقی مانده، گل قیچی برگردان او به چلسی است.
سرژیو کونسیسائو، سرمربی پورتو، چندی قبل با تمجید از مهدی طارمی، گفته بود: «طارمی شخصیت فوق العاده‌ای دارد، یک بازیکن حرفه‌ای بزرگ و انسانی فوق العاده است. ارتباط او با تمام هم تیمی‌هایش هم خوب است.»
دوران ملی مهدی طارمی، از اردیبهشت ۹۴ آغاز شد. او اولین بار توسط کارلوس کی‌روش به تیم ملی ایران دعوت شد. طارمی در سومین بازی ملی، در چارچوب مسابقات مقدماتی جام جهانی ۲۰۱۸ اولین گل ملی خود را برابر گوام به‌ثمر رساند.
جام‌جهانی ۲۰۱۸ روسیه، اولین تجربه این تورنمنت برای مهدی بود، او با توجه به سبک دفاعی تیم ملی نمی‌توانست زیاد خطر ساز باشد و بیشتر به تیم در کار‌های دفاعی کمک می‌کرد. اما در آخرین بازی جام، با پرتغال در دقیقه ۹۴ یک فرصت بسیار عالی برای طارمی پیش آمد که او نتوانست آن توپ را گل کند و به این ترتیب ایران با کسب ۴ امتیاز از صعود بازماند. اشک‌های مهدی طارمی، پس از فرصت سوزی در بازی با تیم ملی پرتغال سوژه رسانه‌های جهان شده بود. جام ملت‌ها آسیا ۲۰۱۹ و مقدماتی جام‌جهانی ۲۰۲۲، در این دو تورنمنت طارمی جزو بازیکنان تاثیرگذار تیم ملی بود.
قطر، جام‌جهانی ۲۰۲۲، امید اول گلزنی ایران مهدی طارمی بود. او توانست در اولین بازی تیم ملی برابر انگلیس دو گل به ثمر برساند، اما قبل از آن تیم شش گل دریافت کرده بود. در بازی با ولز و آمریکا، اما پای مهدی به گلزنی باز نشد. تا تیم ملی کشورمان باز هم در صعود به مرحله حذفی ناکام بماند. مهدی طارمی، در جام ملت‌های آسیا، توانست سه گل برای تیم ملی به ثمر برساند.
