Lo primero es instalar el Net Core, descargándolo desde https://dotnet.microsoft.com/download
Puedes instalar varios al mismo tiempo y no entran en conflicto.
Para instalar un API, puedes hacerlo dentro del site Default convirtiéndolo en aplicación, pero antes se debe crear un Application Pool con una identidad tipo LocalSystem para evitar que la base de datos SQL no acepte al usuario del IIS APPPOOL.
Ya lo demás va con la configuración predeterminada.
Cuando se trate de un sitio web si es preferible crear un nuevo sitio, crear una identidad tipo LocalSystem en Application Pool y básicamente...eso es todo
