Создан алгоритм, который убирает «воду» из текста.

  208      1    Hi-Tech, Новости    

MetaMind разработала алгоритм на базе нейросетей, который сканирует англоязычный текст и делает из него краткую выжимку. Такие алгоритмы существовали давно, однако в Salesforce заявили, что им удалось сделать прорыв.

Для оценки используется показатель ROUGE, который получается при помощи обработки стандартного массива статей сайтов CNN и Daily Mail. Для этих массивов уже написаны выжимки руками человека, а метод оценки работает так: то, что получилось у алгоритма, сравнивается с «человеческой выжимкой» (в ней ищут упоминания слов и выражений), и оценка показывает то, насколько результат близок к «рукотворному идеалу».

Выжимки создаются двумя способами: убиранием лишних слов из текста или пересказом при помощи введения новых слов (и выражений). Для второго подхода и требуется машинное обучение.

По мнению журналистов из MIT Technology Review, алгоритм Salesforce производит «удивительно связные и точные» выжимки. Например, новость The New York Times длиной в 345 слов превратилась в три предложения из 50 слов.

Источник


Создан алгоритм, который убирает «воду» из текста.

Silence is golden.

172.0

Репутация

0

Подписчиков

57

Статей

0 /  0

Отдал(а) голосов

  1. Smith Smith:

    Три предложения, 50 слов и 345 слов😔
    Нью Йорк Таймс рухнул в моих глазах😠

    0

Добавить комментарий