<% %>
Essa declaração aceita código executável, mas não retorna nada para a página web.
Depende. Na verdade não é bem isso que você colocou.
Essa é a marcação herdada do ASP Clássico. Ela simplesmente executa alguma instrução imperativa, não necessariamente escrevendo em HTML.
Agora, eu posso perfeitamente escrever no HTML usando da seguinte forma:
<% Response.Write("Estou escrevendo no HTML!"); %>
<%# %>
Essa declaração também aceita código executável, mas aparentemente se limita a uma expressão e não executa métodos sem retorno. Também não retorna nada para a página web.
Não é bem isso. Essa declaração serve pra você realizar amarrações de dados (binding) dentro de outra tag ASP.NET. Por exemplo:
<asp:GridView ID="GridView2" runat="server" AutoGenerateColumns="False" DataSourceID="SqlDataSource1">
<Columns>
<asp:BoundField DataField="Name" HeaderText="Name" SortExpression="Name" />
<asp:TemplateField>
<ItemTemplate>
<asp:Image ID="Image2" runat="server" ImageUrl='<%# Eval("Coluna") %>' Width="70" />
</ItemTemplate>
</asp:TemplateField>
</Columns>
</asp:GridView>
Neste caso, <%# Eval("Coluna") %>
faz a amarração de dados para <asp:Image>
.
<%: %>
Essa declaração é idêntica a declaração acima, porém tem seu valor retornado para a página web.
Na verdade <%: %>
é equivalente a <%= %>
, com o adicional de realizar a codificação de caracteres adequada para o HTML.
Há outras notações não mencionadas na pergunta que podem ser encontradas aqui.