解説
関係代名詞の which です。文を2つにして考えると、後半は、the largest of the five families had eight persons というセンテンスが出来上がります。このうち the largest of (the) five families の five families を関係代名詞で引き受けて the largest of which となります。関係詞は先行詞の直後に置くのが基本ですので、of which the largest ... という語順になっています。
what は「先行詞を含む関係代名詞」と理解しておきます。ここでは先行詞に相当する five families がありますので、使えません。
that を関係代名詞として使う場合、２つ注意点があります。一つは「非制限用法」では使えないこと。ここでは、of の前にカンマがあり、非制限用法になっています。もう一つは、前置詞＋that は使えないこと。of that とは言えません。
They invited five families, of which the largest had eight persons.（招待したのは5家族で、そのうち一番多い家族は8人であった。）
関係代名詞を考える場合は、先行詞よりも先にまず、後ろの文構造を捉えましょう。たとえば「先行詞が〜だから、ここは who になる」といった考え方ですと、正解と不正解が不安定になるはずです。まずは、後ろの文構造を捉えて、「何が欠けているか」を判断します。主語なのか？目的語なのか？補語なのか？
目的語は２種類ある点も確認です。「他動詞の目的語」と「前置詞の目的語」があります。