Sei que é antigo esse post, mas acho que posso ajudar. Segue um exemplo de como fazer o delete: 

    @Stateful
    @Local (EmpresaLocal.class)
    @Remote (EmpresaRemote.class)
    @RemoteBinding( jndiBinding="EmpresaBean/remote" )
    @LocalBinding( jndiBinding="EmpresaBean/local" )
    @TransactionManagement(TransactionManagementType.BEAN)
    public class EmpresaBean  { 
        private List<Empresa> empresas; 
        
        @PersistenceUnit(unitName="Curriculo")  
        private EntityManagerFactory emf=null;
        
        @PersistenceContext(unitName = "Curriculo")  
        private EntityManager entitymanager= null;   
         
        private UserTransaction transaction = null;
            
        public EmpresaBean() { 
        	empresas = new ArrayList<Empresa>();   
        	this.emf =  Persistence.createEntityManagerFactory("Curriculo");
        	this.entitymanager=emf.createEntityManager();
        	try {
    			this.transaction = (UserTransaction) new InitialContext().lookup("UserTransaction");
    		} catch (Exception e) {			
    			e.printStackTrace();
    		} 
        } 
    
     public void remove(Empresa empresa) {
        	try {
        		transaction.begin();    		
    			entitymanager.remove(entitymanager.merge(empresa));
    			entitymanager.flush();
    			transaction.commit();
        	} catch (Exception e) {			
        		try {
    				transaction.rollback();
    			} catch (IllegalStateException e1) {
    				e1.printStackTrace();
    			} catch (SecurityException e1) {
    				e1.printStackTrace();
    			} catch (SystemException e1) {
    				e1.printStackTrace();
    			}    		
        		e.printStackTrace();
    			
    		}
        }
    }



Eu fiz um tópico sobre como utilizar o controle explícito de transações JTA por BMT (Bean Managed Transactions), utiliza o objeto UserTransacition. 
Segue o link: http://www.tidicas.com.br/?p=319