Machine Learning – Istoria Transformers și BERT
Înainte de apariția arhitecturii Transformer, modelele recurente precum LSTM (Long Short-Term Memory) și GRU (Gated Recurrent Unit) reprezentau standardul în procesarea limbajului natural (NLP). Aceste modele procesau datele secvențial, cuvânt cu cuvânt, imitând într-o oarecare măsură felul în care oamenii citesc. Limitarea principală a acestor arhitecturi consta în dificultatea de a capta dependențe pe distanțe […]
Machine Learning – Istoria Transformers și BERT Read More »