今から数十万年前には、日本列島はアジア大陸の一部であった。その後、太平洋の周りで火山活動が盛んになり、富士山やそのほかの山がたくさんできた。また、日本と朝鮮半島の間も海になり、日本は島になった。こうして日本列島は太平洋や日本海などの海に囲まれ、大陸とは浅い大陸棚で接している。日本と大陸との間にある日本海は深さが200ｍ以下の浅い海である。しかし、太平洋側には非常に深い日本海溝や伊豆小笠原海溝があり、深さが6,000ｍから10,000ｍもある。
日本列島は、太平洋プレートが、大陸プレートの下に潜り込んでいるところに位置し、方向の異なった五つの島弧からなっている。また変動帯に位置するため、地殻変動が激しく、大地震や火山活動が盛んである。
日本列島は、中部地方を通るフォッサマグナによって東北日本と西南日本に分けられ、西南日本はさらに中央構造線（メディアンライン）によって内帯と外帯に分けられる。西南日本内帯は、一般に侵食の進んだ地形が見られ、準平原が隆起してできた隆起準平原が、吉備高原などに広がっている。また、近畿地方を中心に断層地形も多く、六甲山地（兵庫県）や生駒山地（奈良県･大阪府）などの断層山地や、京都盆地や奈良盆地などの断層盆地が見られる。
西南日本外帯には、内帯と対照的に、壮年期の険しい地形を示す紀伊・四国・九州の諸山地が広がる。これらの山地は一連の山地からなると考えられ、陥没した部分が紀伊水道や豊後水道となっている。そこでは大小のＶ字谷に海水が侵入したリアス式海岸が発達する。
東北日本は、東北本線が通る低地帯と、石狩―勇払平野を結ぶ低地帯を境に東西に分けられる。西側には奥羽山脈・出羽山地などが南北に連なり多数の火山が分布している。山間部には盆地が広がっている。東側では隆起準平原が見られ、西南日本内帯に似た性質を持っている。北海道では、壮年期の地形を示す日高山脈を除くと、氷河期の気候の影響を残す緩やかな地形の山地が多い。
日本は山が多い国であり、国土の３分の２近くは山地である。
日本列島の真中には背骨のように山が続いている。高い山が続いている所を山脈という。それで、日本列島全体は海の中にそびえている山脈のようである。
日本列島の中央には、3,000ｍ以上の山が沢山そびえている。この山々はドイツとスイスの間にあるアルプスに似ているので、日本アルプスともいう。日本にはいくつかの火山脈が走っているため、地形は変化に富む。川は短く急流で、山あいでは深い峡谷をなし、海岸線は複雑には入り組んでいる。風光明媚な所が多く、温泉地も点在している。
　日本の平野はほとんどが堆積平野であり、中でも河川が運搬・堆積して形成した沖積平野が多い。山間部では谷底平野が形成されるが、河岸段丘となっているところもある。川が山地から平坦なところに出ると、そこに扇状地が発達している。日本では山地が海に迫っているため、富山平野のように扇状地しか見られない平野もある。しかし、河川が海や湖に流入する河口では、三角州が見られることが多い。砂が堆積した浅海底には、海退により海岸平野ができる。