El área de la llanura de Palermo y las montañas que la rodean están habitadas desde época prehistórica. Restos de esta presencia son las pinturas rupestres que se encuentran en la cueva de Addaura, en el monte Pellegrino, situadas al norte de la ciudad y que estuvieron habitadas durante el Paleolítico y el Mesolítico.

Palermo fue fundada hacia el siglo VIII A.C., en un puerto natural, por los fenicios con el nombre de Ziz («flor») y más tarde pasó a los cartagineses.

Los primeros asentamientos y fundaciones fueron transformados en una ciudad a la que fue dado el nombre de Mabbonath que en fenicio significa «alojamientos», es decir ciudad habitada. Pronto se convirtió en la más importante del llamado triángulo fenicio, comprendiendo Motia y Solunte, del que habla Tucídides.

De la dominación fenicia quedan algunos testimonios, como los muros antiguos de la ciudad, que permanecen en algunas calles y en el centro del casco antiguo, el Pie Fenicio constituido por la calle principal, la Avenida Vittorio Emanuele, y por toda una serie de callejones perpendiculares a esta. De esta época, la Palermo fenicio-púnica tiene únicamente restos arqueológicos en las necrópolis, que se extienden entre la Plaza Independencia al norte, la «roca» de Monreale y la zona denominada Papireto.

Entre los siglo VIII y VI A.C. los griegos colonizaron Sicilia, le dieron el nombre de Panormos, 'puerto fluvial' (para subrayar la peculiaridad geográfica de que se trataba de una península rodeada por las desembocaduras de dos ríos, y por lo tanto fácilmente defendible, del que procede el actual puerto), y mantuvieron el comercio con los cartagineses, es decir con el pueblo descendiente de los fenicios, que fundaron un reino en las costas africanas.

Durante la Primera Guerra Púnica fue un importante bastión de Cartago. En el año 254 A.C. los romanos conquistaron Palermo y debieron defenderla de las numerosas tentativas de reconquista de los cartagineses en el 251 A.C.

El nombre latino de Palermo era Panormus. Bajo el emperador romano Augusto, legionarios romanos se estacionaron en la ciudad. Sicilia en la antigüedad era una isla cuya lengua dominante era el griego antiguo, sobre todo en la parte oriental. Palermo estaba en la frontera con la zona donde se hablaba griego.