Uma das formas possíveis é guardar o caminho da foto usando *SharedPreferences*.  

Escreva dois métodos, um para guardar e outro para ler o caminho.

    private void savePhotoPath(String photoPath){
        SharedPreferences preferences =  PreferenceManager.getDefaultSharedPreferences(this);
        preferences.edit.putString("photoPath",photoPath).apply();
    }
    
    private String getPhotoPath(){
        SharedPreferences preferences = PreferenceManager.getDefaultSharedPreferences(this);
        return preferences.getString("photoPath","");
    }

No método `onActivityResult()`, depois de atribuir a foto à *mageView*, guarde o seu caminho:

    protected void onActivityResult(int requestCode, int resultCode, Intent data) {
        if (requestCode == 34) {
            if (resultCode == RESULT_OK) {
                Uri takenPhotoUri = Uri.fromFile(new File(nomeFoto));
                String photoPath = takenPhotoUri.getPath();
                Bitmap takenImage = BitmapFactory.decodeFile(photoPath);
                ivPreview.setImageBitmap(takenImage);
                savePhotoPath(photoPath);
            }else {
                Toast.makeText(this, "A foto não foi tirada!", Toast.LENGTH_SHORT).show();  
            }
        }
    } 

No método `onCreate()` obtenha o caminho da foto e, se este não for vazio, recupere a foto e atribua-a à *ImageView*:

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_ver_perfil);
    
        btFoto = (Button) findViewById(R.id.btFoto);
        btFoto.setOnClickListener(btFotoListener);
        btOk = (Button) findViewById(R.id.btOk);
        btOk.setOnClickListener(btOkListener);
        ivPreview = (ImageView) findViewById(R.id.imageView1);
    
        String photoPath = getPhotoPath();
        if(photoPath != ""){
            Bitmap takenImage = BitmapFactory.decodeFile(photoPath);
            ivPreview.setImageBitmap(takenImage);
        }
    }