Para isso você pode utilizar os arquivos dimens.xml nas pastas values.
Por exemplo, você tem um ImageView.
<ImageView
android:layout_width="@dimen/imageview_width"
android:layout_height="@dimen/imageview_height"
/>
Assim, na pasta values-mdpi, por exemplo, você cria o arquivo dimens.xml e coloca:
<?xml version="1.0" encoding="utf-8"?>
<resources>
<dimen name="imageview_width">30dp</dimen>
<dimen name="imageview_height">30dp</dimen>
</resources>
Depois você cria na pasta values-xlarge, o mesmo arquivo, mas coloca outros valores:
<?xml version="1.0" encoding="utf-8"?>
<resources>
<dimen name="imageview_width">60dp</dimen>
<dimen name="imageview_height">60dp</dimen>
</resources>
Você pode criar os arquivos dimens em varias combinações de pasta, por exemplo values-normal-hdpi.
Outra opção seria utilizar o campo peso do componente LinearLayout. Por exemplo:
<LinearLayout
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="horizontal"
android:weightSum="10" >
<ImageView
android:layout_width="0dp"
android:layout_height="match_parent"
android:layout_weight="3" />
<TextView
android:layout_width="0dp"
android:layout_height="match_parent"
android:layout_weight="7" />
</LinearLayout>
Assim os componentes vão ocupar sempre as mesmas porcentagens da tela, independente do seu tamanho.