Faça login na conta Google Play Console.
1 – Clique no aplicativo que deseja remover da loja, neste exemplo iremos remover o aplicativo: Nativa FM Campinas – Carro

2 – Vá em CONFIGURAÇÃO > Configurações avançadas

3 – Clique na opção Não Publicado:

4 – Clique em CANCELAR PUBLICAÇÃO