связь экономика общество крипто токен

Как научить BERT «понимать» науку: гибридная классификация научно‑технических текстов с графами знаний

Трансформеры отлично улавливают контекст, но не обладают фактологическими знаниями: они не знают явно, что «метод опорных векторов» — это алгоритм классификации.

Существующие способы прямой интеграции графа знаний в механизм внимания трансформера (такие как K‑BERT или ERNIE) требуют значительных вычислительных ресурсов со сложностью , вносят семантический шум и жестко упираются в лимит в 512 токенов, что критично для объемных научных статей.

DMCA