Существует несколько версий происхождения названия блюда. Согласно одной из них, этот рецепт был предложен королевой Шарлоттой, женой короля Великобритании Георга III. По другой версии, название десерта происходит от др.-англ. charlyt, что в переводе означает блюдо, приготовленное из взбитых яиц, сахара и молока. В XV веке в Англии было также популярно мясное блюдо с аналогичным названием. Существует романтичная история о безнадёжно влюблённом поваре, посвятившем придуманный им десерт даме своего сердца Шарлотте.
По ещё одной версии, в конце XIX — начале XX века в России было множество немецких пекарен, в которых готовили этот пирог из остатков хлеба и булочных изделий. Русские посмеивались и говорили, что жёны немцев экономят и даже пироги делают из сухарей, а самих жён, обобщая, за глаза называли Шарлоттами, так как это было довольно популярное имя, уже ставшее нарицательным для любой немки, проживающей в России.