Uma forma de fazer é assim:

    public class AtividadeInicial extends Activity {
        public void onCreate(Bundle savedInstanceState) {
            super.onCreate(savedInstanceState);
            exibeTelaPrincipalOuSolicitaLogin();
            finish();
        }

        private void exibeTelaPrincipalOuSolicitaLogin() {
            Intent intent = new Intent(this, usuárioEstáLogado() ? AtividadePrincipal.class : AtividadeLogin.class);
            startActivity(intent);
        }

        private boolean usuárioEstáLogado() {
            // Sua implementação que retorna se o usuário está logado ou não,
            // por exemplo obtida verificando se o token guardado em
            // SharedPreferences é diferente de null.
        }
    }

Se você preserva a autenticação entre as chamadas a Web Services por meio de um token com tempo para expirar no servidor, a condição de logado pode deixar de valer se o usuário fica muito tempo sem navegar pelo aplicativo e o token expirar. Nesse caso pode ser necessário fechar todas as as `Activities` abertas e solicitar login novamente, o que pode ser feito chamando o método `efetuarLogoffEVoltarParaATelaDeLogin()` abaixo:

    public abstract class AtividadeEmQueOUsuárioEstáLogado {
        protected void efetuarLogoffEVoltarParaATelaDeLogin() {
            invalidarToken();
            Intent intent = new Intent(this, AtividadeInicial.class);
            intent.setFlags(Intent.FLAG_ACTIVITY_CLEAR_TOP);
            startActivity(intent);
        }

        private void invalidarToken() {
            // Sua implementação que invalida o token atual
            // (por exemplo setando-o para null)
        }
    }

    public class AtividadePrincipal extends AtividadeEmQueOUsuárioEstáLogado {

        public métodoQualquer() {
            if (tokenExpirou) {
                efetuarLogoffEVoltarParaATelaDeLogin();
            }
        }
    }