Sivi kiti so celoviti temno sivi, s svetlejšimi plati na trebuhu, zlasti poleti. V povprečju merijo 10,7 do 15 metrov (35 do 49 stopinj) v dolžini in težejo okoli 18 do 32 metrilskih ton (20 do 35 ton). Njihova telesa so upogibljena in mišičnata z robusno zgradbo. Glava je srednje velika in nekoliko zaokrožena, z značilnim V-oblikovim dihalnim luknjico. Oči so majhne in ležita na stranih glave. Sivi kiti imajo eno hrbtenico, ki leži približno dve tretjine dolžine hrbta, skupaj z dvema velikima, širokima perajema. Njihov dih je kratek in rašast, pogosto se pojavi kot široka megla. Koža je debela, usnjena in pogosto prekrta s rakami in drugimi morskimi organizmi. Namesto zob imajo plitvasti čepiči, ki jih uporabljajo za filtracijo majhnih organizmov.