Von 1120, der nördlichen Song-Dynastie bis zum Fall der Qing-Dynastie im Jahre 1911 befand sich Huangshan innerhalb der als Huizhou bekannten Präfektur. Verehrer der „Sage der Drei Königreiche“, eine chinesische Dichtung mit historischem Hintergrund, welche die Kriegsperiode zwischen 220-280 n.Chr. beschreibt, werden begeistert sein, wenn sie hören, dass Huizhou ein ehemaliger Wohnsitz von General Cao Cao ist und dass man ganz in der Nähe neun Familiengräber der Cao’s gefunden hat. Ungeachtet des Anspruches auf Berühmtheit, basierend auf dem 3. Jahrhundert, erlangte Huizhou erst in der Mitte der Südlichen Song-Dynastie (1127-1279) eine nationale Bedeutung, die sich innerhalb der folgenden sechshundert Jahre ausweitete. Unter dem Kaiser Gao Zong (R. 1127-1187) verfiel der kaiserliche Hof immer tiefer der Dekadenz. Als Reaktion auf die Bedrohung einer Besetzung durch die Jurchen (Dschurden) wurde die kaiserliche Hauptstadt nach Hangzhou verlegt, wo ein breit angelegtes Bauprogramm aufgestellt wurde. Als der kaiserliche Hof im Jahre 1132 in der neuen Hauptstadt ankam, waren Händler aus Huizhou zur Hand, die Bambus, Holz, Lacke und Handwerker für den Bau von Palästen, Pavillonen, Villen und Tempel zur Verfügung stellten. Der Bauboom verschaffte den Huizhou-Händlern Kapital, das ihnen ermöglichte in neue Industrien und Provinzen vorzudringen. Es drang durch, dass Huizhou’s Standplatz zwischen den Provinzen Zheijiang und Jiangsu auf Grund der Stärkung der südlichen Wirtschaft Profit bringen könnte. Bald hatte Huizhou eine Schlüsselpositon bei den Handels- und Kommunikationswegen und die einheimischen Händler fügten ihrem Sortiment Tee, Seide, Kleider, Malereien, Töpfereien, Tinte und Papier hinzu. Handel, der in der konfuzianischen Ethik verpönt war, wurde für die zuvor benachteiligte Gegend so ein Segen, dass während der Regierung des Kaisers Jiajing (R. 1522-1567), ungefähr 70% der Bevölkerung damit beschäftigt war. Die Geschäfte expandierten noch schneller, als sich die Huizhou-Händler dem Salzhandel, bei dem sie hohe Spannen erreichen konnten, und der Pfandleihe zuwandten. So breiteten sie sich in ganz China und sogar in einigen südostasiatischen Staaten aus. Es wird behauptet, dass unter der Regierung des Kaisers Guangxi (1875-1909) alle Pfandleiher aus Huizhou stammten. Durch Investitionen in das Bildungswesen Huizhous waren sie imstande, viele Kandidaten für die kaiserlichen Prüfungen zu stellen und so die kaiserliche Bürokratie zu beeinflussen. Zwischen 960-1911 hatten erstaunlicherweise 2018 Personen aus Huizhou die höchsten Posten des kaiserlichen Reiches inne. Auf diese Weise verschworen sich diese durchtriebenen Händler um Handelsvorteile, wie zum Beispiel das Salzmonopol, zu behalten. Nachdem Huizhou’s Händler Berühmtheit und Reichtum erworben hatten, kehrten sie in ihre Heimat zurück, um in großangelegte Bauvorhaben zu investieren. Um ihr eigenes Ansehen zu erhöhen, und die Ahnen zu ehren, errichteten sie Ahnenhallen, Villen, Gedenkbögen und Brücken, all diesen architektonischen Prunk, der Huizhous wundervolles Land noch immer schmückt.