Trouvant son origine à la fin du 13^e ou du début du 14^e siècle, le château de Saint-Simon a connu plusieurs phases de construction, mises en lumière par les études d'archéologie du bâti menées par l'Université Jean-Jaurès.

A la fin du 13^e ou au début du 14^e siècle, cette façade n'avait pas du tout la même allure : l'étude archéologique a montré qu'elle était éclairée par six fenêtres jumelées. Le rez-de-chaussée était percé par un portail en arc brisé, orné d'un blason aujourd'hui disparu, et par de petites ouvertures ressemblant à des archères. Une tour, plus haute que ce qu'elle n'est aujourd'hui, prenait l'apparence d'un donjon. Ce vocabulaire, issu de l'architecture militaire, est contredit par la présence de grandes baies au 1^er étage, bien difficiles à défendre en cas d'attaque ! La présence de fenêtres jumelées, dès la construction du château, indique une demeure de plaisance, plus qu'un château fort.

Les études d'archéologie du bâti qui ont été menées par l'université Jean-Jaurès  montrent également une organisation de l'édifice tout à fait différente. A la fin du 13^e ou au début du 14^e siècle, le château se compose de deux bâtiments : le bâtiment principal pourvue d'une tour, ouvrant par la façade sud, et un bâtiment de moindre importance sur la façade nord. L'espace libre entre les deux bâtiments aurait pu accueillir l'escalier, dont l'emplacement d'origine n'a pas encore été retrouvé. A moins qu'il n'ait été placé dans une construction en saillie, révélée par deux traces d'arrachement qui s'avançait vers l'ouest, dont la fonction reste sinon encore difficile à expliquer.
Un peu plus tard dans le 14^e siècle, il semble qu'un nouveau corps de bâtiment ait été ajouté dans l'angle nord-est.

Des traces de l'architecture médiévale d'origine sont toujours visibles sur cette façade, constituant l'arrière du corps de bâtiment principal au Moyen Âge.

Les portes surmontées d'un arc brisé, dont une au rez-de-chaussée aujourd'hui bouchée, datent de la première phase de construction du château, à la fin du 13^e ou au début du 14^e siècle.
De même la galerie pourvue de balustres en bois, aujourd'hui construite ne béton, a dû remplacer une galerie plus ancienne, permettant de desservir les trois pièces du 1^er étage, inaccessibles autrement.

Enfin, des vestiges de fenêtres jumelées, identiques à celles de la façade sud, ont été repérées grâce aux travaux des étudiants en archéologie de l'université Jean-Jaurès. L'une se trouve au 1^er étage, l'autre sur la tour, transformée en pigeonnier au 19^e siècle. La présence de la tour reflète là encore l'influence de l'architecture seigneuriale, mais elle n'a pas d'utilité militaire avec ses larges fenêtres jumelées.

A l'époque moderne, les fenêtres médiévales sont remplacées par des croisées ornées de motifs floraux caractéristiques, encore en place aujourd'hui.

La volonté de reprendre les codes de l'architecture militaire ne disparaît pas au 17^e siècle : à chaque angle de la façade sud, une petite tour en surplomb (une échauguette) est ajoutée, intensifiant l'aspect défensif du château. L'échauguette sud-ouest a aujourd'hui disparue, seuls quelques vestiges en subsistent à l'intérieur.