Você pode começar olhando 2 informações do certificado, o Issuer e o AKI (Authority Key Identifer):
O Issuer contém o nome da autoridade certificadora que emitiu o certificado. Para saber quais são as autoridades certificadoras da ICP-Brasil, você pode consultar neste site, que tem a lista de todas as ACs e seus respectivos sites.
No site de cada AC, procure por "repositório" ou "certificados" (ou algo assim), e baixe os certificados de cada uma. Assim, você saberá os nomes exatos de cada uma.
Portanto, o issuer do seu certificado (campo "Issuer" ou "Issuer Name", dependendo da API utilizada) deve ser igual ao nome (campo "Subject") do certificado da AC.
Porém, só o nome não é suficiente, já que nada impede de existir 2 certificados com o mesmo nome, porém de ACs diferentes. Portanto, você deve verificar a extensão Authority Key Identifier (também chamado de AKI).
Na ICP-Brasil foi definido que esta extensão contém o hash da chave pública da AC que emitiu o certificado, e este valor também está no certificado da AC, porém na extensão Subject Key Identifier (ou SKI).
Ou seja, o SKI do certificado da AC deve ter o mesmo valor do AKI do certificado que você está verificando.
Os certificados ICP-Brasil tem mais de um "nível" de hierarquia, portanto o ideal é que você também verifique toda a cadeia.
Por exemplo, um eCPF geralmente é emitido por uma das ACs credenciadas (Serasa, Certisign, etc). Por sua vez, os certificados destas ACs foram emitidos pela AC da Receita Federal, que por sua vez foi emitido pela Raiz ICP-Brasil.
O ideal é validar a cadeia completa, mas geralmente as APIs já possuem métodos prontos para fazê-lo, bastando que você forneça os certificados da cadeia via configuração ou parâmetros (e estes podem ser baixados seguindo os links das ACs conforme explicado acima). Neste caso varia conforme a API, mas a ideia geral é essa.