Veliki beli morski pes je pelagična vrsta, kar pomeni, da živi v odprtem oceanu, vendar se pogosto približa obali za hranjenje. Nekatera področja, na katerih se običajno najdemo velike bele morske pse, vključujejo:
- Tihi ocean, zlasti ob obalah Kalifornije, Oregona, Washingtona, Havajev, Avstralije, Nove Zelandije in Japonske
- Atlantski ocean, zlasti ob obalah Massachusettsa, New Yorka, Severne Karoline, Južne Karoline, Floride, Gruzije in Južne Afrike
- Indijski ocean, zlasti ob obalah Južne Afrike, Mozambika, Madagaskarja in Avstralije
Habitat velikega belega morskega psa vključuje različna okolja, od alpskih gozdov in peščenih plaž do globokih, obalnih voda. Najdemo jih v globinah do 3.900 čevljev (1.200 metrov), vendar jih najpogosteje najdemo v globinah manj kot 1.640 čevljev (500 metrov).
Veliki beli morski psi so samotni lovci in se ne zbirajo v velikem številu, razen v sezoni parjenja. Običajno potujejo sami ali v majhnih skupinah dveh ali treh.