En 1984, una expedición que estudiaba el patrimonio cultural del condado de Yanqing, situado al noroeste de la ciudad de Beijing, encontró una serie de cuevas cerca de la localidad de Dongmenying.
Están excavadas en la pared rocosa de una montaña, que está atravesada por 117 cuevas en cuyo interior hay 350 cámaras, ya que cada cueva consta de varias habitaciones, la mayoría de las cuales miden aproximadamente 1,8 metros de altura y 4 metros cuadrados. De superficie. El más grande de todos mide 2 metros de alto, 3 metros de ancho y 5,2 metros de largo.
Una de las cuevas, excavada en la parte más alta de la pared rocosa, se llama Palacio del Cacique , al tener una estructura más elaborada, tiene ocho habitaciones y se sostiene sobre columnas excavadas en la roca.

Las cuevas fueron excavadas en diferentes niveles en diferentes caras de la montaña, dando al complejo la apariencia de un edificio de varios pisos. El yacimiento consta de dos partes, la llamada fosa delantera y la fosa trasera, estando las cuevas situadas de este a oeste y cubriendo una superficie de 1,5 kilómetros cuadrados.
Unas 91 cuevas están dispersas a lo largo de las laderas sur, norte y este de las vertientes sur, norte y este, mientras que otras 26 están ubicadas en la parte trasera oriental. Curiosamente, la mayoría de ellos fueron excavados en las laderas umbrías, donde no suele brillar el sol, algo extraño teniendo en cuenta el frío clima invernal de la región pequinesa.

Las cuevas en sí ocupan una superficie interior de 3,9 kilómetros cuadrados y se accede a ellas a través de unas escaleras de piedra excavadas en la roca de más de 10 metros de altura.
El interior de las cuevas está cincelado con patrones ornamentados, aberturas de ventanas, candelabros y lo que parecen kangs de piedra (sistema de calefacción tradicional del norte de China). Una ranura en la roca a lo largo del techo sirve para recoger el agua de lluvia. Escaleras y puentes interiores conectan las diferentes estancias.
No se sabe quién los creó ni quiénes fueron sus ocupantes, aunque algunas hipótesis apuntan a una tribu del pueblo Kumo Xi procedente de las estepas de Mongolia.

Los Kumo Xi habitaron el noreste de China entre el 207 y el 907 d.C., cuando fueron completamente asimilados a la dinastía china Liao y desaparecieron de la historia. Pero una tribu Kumo Xi habría permanecido independiente y aislada, creando las cuevas de Guyaju como refugio y habitándolas hasta aproximadamente el año 960 d.C., justo el período de las Cinco Dinastías y los Diez Reinos de China.
Otra hipótesis considera que las cuevas son un puesto de vigilancia de la dinastía Han, la segunda dinastía imperial de China que gobernó entre el 206 a.C. y 220 d.C. E incluso hay quien piensa que el complejo fue construido por bandidos fugitivos que tenían en las cuevas un refugio más o menos seguro.

Se ha estimado que para su construcción se habrían necesitado 100 personas, trabajando de forma ininterrumpida durante cinco años. Se considera el primer laberinto de China .
La expedición que los descubrió estimó su edad entre 1.000 y 2.000 años, o lo que es lo mismo en un lapso de tiempo tan amplio como el 6 a.C. hasta 1006 a. C. Pero nunca se ha realizado una datación estricta mediante métodos científicos.
Desde 1991 se han convertido en un atractivo turístico de la zona, recibiendo anualmente numerosos visitantes. En mayo de 2013 el lugar fue catalogado como Sitio Histórico y Cultural Protegido.