Sobre la base de los hallazgos arqueológicos, se ha postulado que la actividad de los homínidos en Japón puede tener una fecha tan temprana como 200,000 a. C. cuando las islas estaban conectadas con el continente asiático. Aunque algunos estudiosos dudan de esta fecha temprana para la habitación, la mayoría está de acuerdo en que alrededor de 40,000 a. C. la glaciación había vuelto a conectar las islas con el continente.
Con base en evidencia arqueológica, también están de acuerdo en que entre 35,000 y 30,000 a. C. El homo sapiens había emigrado a las islas desde el este y el sureste de Asia y tenía patrones bien establecidos de caza y recolección y fabricación de herramientas de piedra. Se han encontrado herramientas de piedra, sitios de habitación y fósiles humanos de este período en todas las islas de Japón..
Los patrones de vida más estables dieron lugar a alrededor de 10,000 a. C. al neolítico o, como sostienen algunos estudiosos, a la cultura mesolítica. Posiblemente ancestros lejanos de los pueblos aborígenes ainu del Japón moderno, miembros de la heterogénea cultura Jomon (ca. 10,000-300 a. C.) dejaron el registro arqueológico más claro. Para el año 3.000 a. C., la gente de Jomon estaba haciendo figuras y vasijas de arcilla decoradas con patrones hechos al imprimir la arcilla húmeda con cuerdas y palos trenzados o sin trenzar (Jomon significa 'patrones de cuerda trenzada') con creciente sofisticación. Estas personas también usaban herramientas de piedra astillada, trampas y arcos, y eran cazadores, recolectores y hábiles pescadores costeros y de aguas profundas. Practicaron una forma rudimentaria de agricultura y vivieron en cuevas y más tarde en grupos de viviendas temporales de poca profundidad o en casas sobre el suelo, dejando ricos basureros de cocina para el estudio antropológico moderno..
A finales del período de Jomon, se había producido un cambio dramático según los estudios arqueológicos. El cultivo incipiente se había convertido en un sofisticado cultivo de arrozal y control gubernamental. Muchos otros elementos de la cultura japonesa también pueden datarse de este período y reflejar una migración mezclada del continente del norte de Asia y las áreas del Pacífico sur. Entre estos elementos se encuentran la mitología sintoísta, las costumbres matrimoniales, los estilos arquitectónicos y los desarrollos tecnológicos, como lacas, textiles, metalurgia y fabricación de vidrio..
El siguiente período cultural, el Yayoi (llamado así por la sección de Tokio donde las investigaciones arqueológicas descubrieron sus rastros) floreció entre aproximadamente 300 a. C. y 250 d. C. desde el sur de Kyushu hasta el norte de Honshu. Los primeros de estas personas, que se cree que emigraron de Corea al norte de Kyushu y se mezclaron con los Jomon, también usaron herramientas de piedra astillada. Aunque la cerámica del Yayoi era más avanzada tecnológicamente, estaba decorada de manera más simple que la cerámica de Jomon..
El Yayoi hizo campanas, espejos y armas ceremoniales no funcionales de bronce y, para el siglo I d. C., herramientas y armas agrícolas de hierro. A medida que la población aumentó y la sociedad se volvió más compleja, tejieron telas, vivieron en aldeas agrícolas permanentes, construyeron edificios de madera y piedra, acumularon riqueza a través de la propiedad de la tierra y el almacenamiento de granos, y desarrollaron distintas clases sociales. Su cultura de riego de arroz húmedo era similar a la del centro y sur de China, requiriendo grandes insumos de trabajo humano, lo que condujo al desarrollo y eventual crecimiento de una sociedad agraria altamente sedentaria..
A diferencia de China, que tuvo que emprender obras públicas masivas y proyectos de control de agua, lo que llevó a un gobierno altamente centralizado, Japón tenía abundante agua. En Japón, entonces, los desarrollos políticos y sociales locales fueron relativamente más importantes que las actividades de la autoridad central y una sociedad estratificada..
Los primeros registros escritos sobre Japón provienen de fuentes chinas de este período. Wa (la pronunciación japonesa de un nombre chino antiguo para Japón) se mencionó por primera vez en el año 57 d. C. Los primeros historiadores chinos describieron a Wa como una tierra de cientos de comunidades tribales dispersas, no la tierra unificada con una tradición de 700 años como se establece en el Nihongi, que sitúa la fundación de Japón en 660 a. C..
Fuentes chinas del siglo III informaron que la gente de Wa vivía de vegetales crudos, arroz y pescado servido en bandejas de bambú y madera, tenía relaciones con maestros vasallos, recaudaba impuestos, tenía graneros y mercados provinciales, aplaudía (algo todavía se hacía). en los santuarios sintoístas), tuvieron violentas luchas de sucesión, construyeron túmulos de tierra y observaron el duelo. Himiko, una mujer gobernante de una federación política temprana conocida como Yamatai, floreció durante el siglo III. Mientras Himiko reinaba como líder espiritual, su hermano menor llevó a cabo asuntos de estado, que incluyeron relaciones diplomáticas con la corte de la dinastía china Wei (220 a 65 d. C.).