また、少し遅れて興福寺北円塔を造営したときの古文書に、番匠大工２人・引頭８人・長２０人・連１１人、瓦葺き大工１人・引頭２人、瓦造り大工１人、鍛冶長２人、鋳物師大工１人と書かれた記録が現われます。この場合の大工とは、どれも統率者・指導者を意味します。

推察するに、平安時代中頃から木工寮や修理職の衰退とともに、寺工のようにそれらの役所に属さない木工が「座」を結成して活動し始めた結果、その木工たちの中に木工寮の番上工のような役割を持った工匠たちを、番をする匠として、役所の官名であった番上工に替り、民間職名として番匠と呼ぶようになったと思われます。現在では、中世から番匠の語彙が出現し、そのもとは木工寮の番上工であるとの定説です。

鎌倉時代終盤の付けられた京都の室尾谷神社本殿の棟札に、南都巧匠の大工宗高が社殿を、丹後国番匠の藤原国家が社殿を包むように建つ覆屋（おおいや）を建立したと記されています。棟札とは、上棟式のときに棟木に打つ付ける札で、工事年月日・施主・工事担当者などを記したものです。この場合、大工は番匠より上位に書かれています。