Cara.. você não pode usar o useState dentro do render, você deve passar essa informação antes do render.. dentro de um constructor como diz a documentação... Exemplo:
class Example extends React.Component {
constructor(props) {
super(props);
this.state = {
count: 0
};
}
render() {
return (
<div>
<p>You clicked {this.state.count} times</p>
<button onClick={() => this.setState({ count: this.state.count + 1 })}>
Click me
</button>
</div>
);
}
}
https://pt-br.reactjs.org/docs/hooks-state.html
Edit1: Aplicando isso ao seu código vc alteraria primeiro o seu state
state = {
file: null,
update: false,
searchText: '',
searchedColumn: '',
establishment: [],
loading: false,
open: false
};
Depois removeria de dentro do render o código
const [open, setOpen] = React.useState(false);
modal:
const handleOpen = () => {
setOpen(true);
};
const handleClose = () => {
setOpen(false);
};
E adicionaria ele logo a baixo da função handleSearch() assim:
handleOpen = () => {
this.setState({open: true})
};
handleClose = () => {
this.setState({open: false})
};
isso provavelmente resolveria o seu problema :)