Formaty rzadkie (CSR/COO) używa się, gdy większość wpisów to zera. Przechowują tylko wartości niezerowe i ich pozycje, co oszczędza pamięć i przyspiesza operacje typu mnożenie macierz‑wektor. Minusem jest wolniejszy losowy dostęp i trudniejsze aktualizacje.