Para instalar Apache, MySQL y PHP tal cual:

Si deseamos debugar PHP es necesario instalar Xdebug:

Por defecto está desactivado el modo debug, para activarlo editar /etc/php5/conf.d/xdebug.ini en modo administrador y añadir

Captura de pantalla

Si deseamos instalar curl:

Para reiniciar Apache y MySQL:

Para verificar que todo está bien y ver la configuración de PHP ir a /var/www/ y crear un archivo de nombre info.php con el siguiente contenido:

Después escribimos http://localhost y debe aparece algo como esto:

Si deseamos que cada usuario tenga su carpeta de para desarrollar al estilo http://localhost/~usuario en este enlace explican cómo configurarlo.

Si utilizamos Netbeans, instalar el plugin de PHP. Ir a Herramientas>Complementos pestaña Complementos Disponibles e instalar el complemento PHP. Ahora ya podemos crear y debugar proyectos PHP desde Netbeans.

Referencias:

http://www.technoblog.com.ar/index.php/2010/05/como-instalar-apachemysqlphp-en-ubuntu-10-04/
http://blogs.oracle.com/netbeansphp/entry/ubuntu_php_netbeans
http://web.asistenciainformatica.org/2010/08/configurar-curl-en-ubuntu.html