a) O seu componente deve derivar (direta ou indiretamente) de algum dos componentes visuais Swing ou AWT, como JTextField, JPanel etc.

 

b) Ele deve ter um construtor sem parâmetros. Isso é muito importante porque o editor do NetBeans irá tentar instanciar esse componente no editor chamando esse construtor.

 

c) Você pode fazer uma de duas coisas:

1) O seu componente só será usado em seu projeto

Neste caso, basta clicar sobre o nome da classe e arrastá-lo para o editor (em modo design). É necessário que seu componente já esteja compilado (basta usar Build -> Compile, ou F9)

 

2) O seu componente será usado em vários projetos

Neste caso, ponha seu componente em um projeto separado, compile-o, clique com o botão direito, e no menu selecione a opção Tools -> Add to Palette... (normalmente eu peço para pôr na categoria "Beans".)

 

Dica: se possível, use o Update Center e baixe todas as atualizações possíveis do NetBeans. Sem essas atualizações, o recurso 1 não funciona, e você é obrigado a cadastrar seu componente na palette, o que pode ser indesejável se você precisa que esse projeto possa carregar em outros computadores onde a palette não está configurada.