O Καρούζος κάποτε ήταν καλεσμένος στο σπίτι του ζωγράφου και συγγραφέα Νίκου Χουλιαρά. Κάποια στιγμή, όπως ήταν φυσικό, η κουβέντα πήγε στην ποίηση. Ο Καρούζος άρχισε να βρίζει και να κατηγορεί τον Ελύτη λέγοντας ότι η γραφή του είναι πολύ επιτηδευμένη και πως στερείται αυθεντικότητας. Τόσο ήταν το πάθος και το μένος του που είχε σηκωθεί όρθιος, χτυπούσε δυνατά τα πόδια του και φώναζε: «Αν τον βρω στον δρόμο μου θα τον σκοτώσω». Ο Χουλιαράς αναγκάστηκε να επέμβει : «Νίκο, μην κάνεις φασαρία γιατί είναι περασμένη ώρα και οι από κάτω κοιμούνται». «Καλά… τότε θα τον λιώσω». Και περιστρέφει το παπούτσι του με την ίδια κίνηση που κάνουμε όταν συνθλίβουμε ένα έντομο. (από αφήγηση αυτόπτη μάρτυρα).
Η αλήθεια είναι πως πέρα από τις διαφορές στο ποιητικό ύφος, τους χώριζε και μια άβυσσος ως προς την κοσμοθεωρία και τον τρόπο ζωής τους. Ο Καρούζος ήταν μηδενιστής ( η λεκτική τρυφή μου: μηδενάκι), άθεος (πάτερ ημών ο εν τοις ουρανοίς..κανείς) και υπαρξιστής. (Δεν σε βλέπω απόψε καλά τι έχεις;… - Έχω ύπαρξη). Σύχναζε στα καταγώγια και στα λαϊκά ταβερνάκια και όχι στα φιλολογικά σαλόνια, όπως ο αστός από κούνια Ελύτης.