В настоящее время моржи в составе группы ластоногих относятся к отряду хищных, также как и медведи, собаки, лисы, норки и горностаи. Ранее отдельный отряд ластоногих включает помимо моржей ушастых тюленей (морских котиков, львов и сивучей) и настоящих тюленей, таких как нерпа, морской заяц и морской слон. Учёные до сих пор спорят, но более склоняются к тому, что моржи ближе к ушастым тюленям, хотя и не сохранили наружной ушной раковины.
Более близких родственников у моржей не сохранилось, и они являются единственным представителем некогда разнообразного и процветающего семейства моржовых.

Предки моржей возникли на севере Тихого океана и изначально были мелкими, но к моменту появления настоящих моржей (современное семейство Odobenidae) уже достигли гигантских размеров. «Ходящие на зубах» совершенствовались в жизни на границе моря и суши, развивали мощные бивни, специализировались в способе добывания корма посредством всасывания (об этом мы расскажем дальше).