A origem da alquimia se perde no tempo, sendo mais antiga do que a história da humanidade. Seu verdadeiro início é desconhecido e envolto em obscuridade e mistério. Assim, seu surgimento confunde-se com a origem e evolução do homem sobre a Terra.
A utilização e o controle do fogo separou o animal irracional do ser humano. Nos primórdios, não se produzia o fogo, porém ele era controlado e utilizado para aquecer, iluminar, assar alimentos, além de servir para manejar alguns materiais, como a madeira. Bem mais tarde conseguiu-se produzir e manufaturar materiais com metal, a partir de metais encontrados na forma livre e posteriormente partindo dos minérios.
Muitos associam a origem da alquimia a herança de conhecimentos de uma antiga civilização que teria sido extinta. Na Terra, já teriam existido inúmeras outras civilizações em diversas épocas remotas, dentre elas várias eram mais evoluídas que a nossa. Estas civilizações tiveram uma existência cíclica, com o nascimento, desenvolvimento e morte ocorrida provavelmente por meio de grandes catástrofes, como a queda de um grande meteoro, inundações, erupções vulcânicas, dentre outras que acabavam por reduzir grandes civilizações a um número ínfimo de sobreviventes ou mesmo por dizimá-las, fazendo com que uma nova civilização brotasse das cinzas. Os conhecimentos sobre a alquimia estariam impregnados no inconsciente coletivo de todas as civilizações até hoje ou poderiam ter sido transmitidos pelos poucos sobreviventes, desta maneira a alquimia teria resistido ao tempo.
Os textos chineses antigos se referem as "ilhas dos bem aventurados" que eram habitadas por imortais. Acreditava-se que ervas contidas nestas três ilhas após sofrerem um preparo poderiam produzir a juventude eterna, seria como o elixir da longa vida da alquimia.
No ocidente, o Egito é considerado o criador da alquimia. O próprio nome é de origem árabe (Al corresponde ao artigo o), com raiz grega (elkimyâ). Kimyâ deriva de Khen (ou chem), que significa "o país negro", nome dado ao Egito na antigüidade. Outros acham que se relaciona ao vocábulo grego derivado de chyma, que se relaciona com a fundição de metais.
Os alquimistas relacionam a sua origem ao deus egípcio Tote, que os gregos chamavam de Hermes (Hermes Trimegisto). Alguns alquimistas o considerava como um rei antigo que realmente teria existido, sendo o primeiro sábio e inventor das ciências e do alfabeto. Por causa de Hermes a alquimia também ficou conhecida como arte hermética ou ciência hermética.
Os relatos mais remotos de doutrinas que utilizavam os preceitos alquímicos, remontam de uma lenda que menciona o seu uso pelos chineses em 4.500 a.C. Ao que parece ela teria aflorado do taoísmo clássico (Tao Chia) e do taoísmo popular, religioso e mágico (Tao Chiao). Porém os textos alquímicos começaram a surgir na dinastia T'ang, por volta de 600 a.C. Na China, o mais famoso alquimista foi Ko Hung (cujo nome verdadeiro era Pao Pu-tzu, viveu de 249-330 d.C.) que acreditava que com a alquimia poderia superar a mortalidade. Atribui-se a ele a autoria de mais de cem livros sobre o assunto, dos quais o mais famoso é "O Mestre que Preserva sua Simplicidade Primitiva". Teria aprendido a alquimia por volta de 220 d.C com Tso Tzu. O tratado de Ko Hung, além da alquimia trata também da ciência da alma e das ciências naturais. Sua obra trata tanto do elixir da longa vida bem como da transmutação dos metais. Até então a alquimia chinesa era puramente espiritual e foi Ko Hung que introduziu o materialismo, provavelmente devido a influências externas. Ela foi influenciada também pelo I Ching "O livro das Mutações". Posteriormente seguiu a escola dos cinco elementos, que mesmo assim permaneceu quase que completamente mental-espiritual.
Na China a alquimia também ficou vinculada à preparação artificial do cinábrio (minério do qual se extraía o mercúrio - sulfeto de mercúrio), que era considerado uma substância talismânica associada a manutenção da saúde e a imortalidade. A metalurgia, principalmente o ato da fundição, era um trabalho que deveria ser realizado por homens puros conhecedores dos ritos e do ofício. A transformação espiritual era simbolizada pelo "novo nascimento", associada a obtenção do metal a partir do minério (cinábrio e mercúrio).
A filosofia hindu de 1000 a.C. apresentava algumas semelhanças com a alquimia chinesa, como por exemplo o soma cujo conceito assemelhava-se ao do elixir da longa vida.
No Egito a alquimia teria surgido no século III d.C. e demonstrava uma influência do sistema filosófico-religioso da época helenística misturando conhecimentos médicos com metalúrgicos. A cidade de Alexandria era o reduto dos alquimistas. O alquimista grego mais famoso foi Zózimo (século IV), que nasceu em Panópolis e viveu em Alexandria, escreveu uma grande quantidade de obras. Nesta época, várias mulheres dedicavam-se a alquimia, como por exemplo Maria, a judia, que inventou o um banho térmico com água muito utilizado nos laboratórios atualmente, o "banho-maria", Kleopatra que possivelmente não seria a Rainha Cleópatra, Copta e Teosébia. Os persas conheciam a medicina, magia e alquimia. A alquimia possuía um pouco da imagem da população de Alexandria, era uma mistura das práticas helenísticas, caldaicas, egípcias e judaicas.
Alexandre "o Grande" foi quem teria disseminado a alquimia durante suas conquistas aos povos Bizantinos e posteriormente aos Árabes. Os árabes, sob a influência dos egípcios e chineses, trouxeram a alquimia para o ocidente ao redor do ano de 950, inicialmente para a Espanha. Construíram-se escolas e bibliotecas que atraiam inúmeros estudiosos. Conta-se que o primeiro europeu a conhecer a alquimia foi o teólogo e matemático monge Gerbert que mais tarde tornou-se papa, no período de 999/1003, com o nome de Silvestre II. Na Itália Miguel Scott, astrólogo, escreveu uma obra intitulada De Secretis em que a alquimia estava constantemente presente.
No século X, a alquimia chinesa renunciou a preparação de ouro e se concentrou mais na parte espiritual. Ao invés de fazerem operações alquímicas com metais, a maioria dos alquimistas realizavam experimentos diretamente sobre seu corpo e espírito. Esta retomada a uma ciência espiritual teve como ponto culminante no século XIII com o taoísmo budaizante, com as práticas da escola Zen.
A alquimia deixou muitas contribuições para a química, como subproduto de seus estudos, dentre eles podemos citar: a pólvora, a porcelana, vários ácidos (ácido sulfúrico), gases (cloro), metais (antimônio), técnicas físico-químicas (destilação, precipitação e sublimação), além de vários equipamentos de laboratório. Na China produzia-se alumínio no século II e a eletricidade era conhecida pelos alquimistas de Bagdá desde o século II a.C.