DeepSeek запатентовал технологию снижения нагрузки на сеть при сборе данных
habr.comКомпания DeepSeek (Ханчжоуская лаборатория фундаментальных технологий ИИ) получила патент на «Метод и система широкомасштабного сбора данных», опубликованный 1 апреля на сайте Государственного управления интеллектуальной собственности Китая.Меньше нагрузки на сайты — алгоритм минимизирует трафик при сканировании, предотвращая перегрузку серверов.Повышенная эффективность — система анализирует загруженный контент и предсказывает качество нескачанных ссылок, избегая дублирования и низкокачественных данных.Стабильность обработки — отдельная очередь для метаданных гарантирует безопасность и точность обновлений базы.Современные большие языковые модели (LLM) требуют огромных объемов высококачественных текстовых данных для обучения.
Однако традиционные методы сбора информации из интернета сталкиваются с проблемами:Неполный охват сложных сайтов,Чрезмерные запросы, ведущие к сбоям,Загрузка дубликатов или бесполезного контента.Новая технология DeepSeek оптимизирует эти процессы, делая сбор данных быстрее, точнее и экономичнее для сетевых ресурсов.Источник: IT之家 Бесплатный поиск, мониторинг и регистрация товарных знаков и других объектов интеллектуальной собственности.
