Se quer definir os tamanhos de forma relativa, de forma que as posições sejam respeitadas independente da tela, você precisa utilizar os gerenciadores de layouts. Eles servem como organizadores de componentes na tela ou dentro de outros componentes na propria tela. Com isso, você sempre terá a mesma organização independente da resolução da tela do usuário que está executando a aplicação.
Quanto a manter o tamanho do JFrame
relativo ao tamanho da tela do usuário, nesta resposta há uma solução que pode funcionar.
Como você não apresentou um exemplo Mínimo, Completo e Verificável, não dá para sugerir nada de específico para a tela apresentada, mas a solução com certeza é o uso de um ou mais gerenciadores.
Apenas para demonstrar o poder dos gerenciadores de layout, juntamente com a dica da resposta linkada, veja o exemplo abaixo onde fiz uma tela com proporçoes relativas a metade da minha tela, e mesmo redimensionando, os componentes náo se desorganizam, apenas a tabela se adapta graças ao JScrollPane
.:
O assistente do netbeans pode parecer tentador, mas usá-lo sem conhecer a API swing e seu funcionamento vai te engessar nesta IDE e te prender a problemas como o que você enfrenta nesta pergunta. Sugiro que, antes de brincar de arrastar e soltar, aprenda o basico sobre swing e seus componentes, pois é essencial ter noção, de como criar telas e organizar componentes sem depender de IDEs, por mais que o construtor de telas do netbeans ou windowbuilder no eclipse facilitem bastante esse processo.