Bermula dari ide Bill Joy, saat ini adalah vice president Sun Microsystem, untuk membuat sebuah bahasa pemrograman yang merupakan kombinasi antara MESA dan C. Bahasa pemrograman ini ia butuhkan untuk merekayasa ulang sistem operasi UNIX. Joy berpikiran bahasa pemrograman C atau C++ kurang efektif untuk digunakan, ia ingin sebuah bahasa pemrograman yang lebih bagus, bahasa pemrograman yang ringkas dan efektif. Bill Joy kemudian membentuk sebuah tim khusus yang diberi nama "Stealth Project" di tahun 1991. Visi dari "Stealth Project" ini adalah untuk membuat sistem terdistribusi yang dapat saling berkomunikasi didalam sebuah jaringan.
Salah satu anggota tim "Stealth Project" ini adalah James Gosling. Ia bertanggung jawab untuk membuat bahasa pemrograman yang akan dipakai dalam "Stealth Project". Semula James akan memakai C++, namun setelah yakin benar C++ tidak dapat dipakai untuk mencapai tujuan yang diinginkan dari "Stealth Project", ia kemudian berubah pikiran dan memutuskan untuk membuat sendiri bahasa pemrograman baru yang ia beri nama "Oak", terinspirasi dari pohon oak didepan jendela ruang kantornya. Sayangnya nama "Oak" tidak bisa dipakai karena sudah ada bahasa pemrograman sebelumnya yang memakai nama "oak". Jadilah kemudian dipakai "JAVA" sebagai nama untuk bahasa pemrograman yang baru dibuat ini. Menurut cerita, ide menggunakan nama JAVA terinspirasi saat anggota tim sedang duduk-duduk di kafe, sambil ngopi tentunya, namun ada juga yang bilang JAVA adalah akronim dari para penemunya yaitu James gosling, Arthur Van hoff, Andy bechtolsheim.
Tahun 1995 adalah awal dimulainya penggunaan JAVA di lingkungan internet ditandai dengan peluncuran HOTJAVA di Sun World '95. HOTJAVA adalah sebuah "browser", program untuk berselancar di internet, yang dibangun seutuhnya menggunakan bahasa pemrograman JAVA. Penggunaan bahasa JAVA untuk pemrograman internet ini kemudian juga memperoleh dukungan untuk platform lainnya seperti id browser buatan Netscape dan Microsoft Internet Explorer. Karakter JAVA yang independen, dapat dijalankan di semua platform, relatif aman dan stabil sangat mendukung untuk pemrograman di internet.
Saat ini, setelah lebih dua puluh tahun berkiprah, bahasa pemrograman JAVA dipergunakan di lebih dari dua setengah milyar piranti digital: komputer, PDA, telepon seluler, navigasi pesawat, dan kartu kredit.
