YouTokenToMe: инструмент для быстрой токенизации текста от команды ВКонтакте | by VK Team
Чтение: 3 мин.·
19 июля 2019 г.Мы хотим представить наш новый инструмент для токенизации текста: YouTokenToMe. Он работает в 7–10 раз быстрее, чем другие популярные инструменты для алфавитных языков, и в 40–50 раз быстрее для логографических языков. Здесь мы расскажем вам о YouTokenToMe и поделимся с вами этим инструментом с открытым исходным кодом на GitHub. Ссылку на него вы найдете в конце статьи.
Сегодня большинство задач, решаемых нейронными сетями, связаны с обработкой текста. Однако нейронные сети работают с числами, поэтому текст необходимо предварительно обработать, прежде чем его можно будет передать в модель.
Следующие методы являются популярными способами сделать это:
- Разделение по пространству
- Токенизация на основе правил, например, в SpaCy, NLTK
- Лемматизация, определение корня
Каждый из них имеет некоторые недостатки.
- Размер словаря, от которого напрямую зависит размер слоя встраивания модели, контролировать нельзя.
- Информация о связях слов, различающихся суффиксами или префиксами (пример: вежливо и невежливо), не используется.
- Они зависят от языка.
Алгоритм кодирования пар байтов был популярен в последнее время. Первоначально он был изобретен для сжатия текста, но несколько лет назад его начали использовать для токенизации текста для машинного перевода. Сейчас он используется для многих целей, в том числе в таких моделях, как BERT и GPT-2.
Наиболее эффективными реализациями алгоритма BPE оказались SentencePiece, разработанная инженерами Google, и fastBPE, созданная исследователем из Facebook AI Research. Однако нам удалось доказать, что токенизацию можно провести гораздо быстрее. Мы оптимизировали алгоритм BPE, опубликовали код на GitHub и загрузили пакет в PyPI.
Ниже показано сравнение скорости нашего алгоритма с другими версиями.
В качестве примера мы взяли первые 100 МБ из базы Википедии на русском, английском, японском и китайском языках.
Графики показывают, что скорость алгоритма сильно зависит от языка. Это можно объяснить большим количеством символов, используемых в азиатских языках, и слов, не разделенных пробелами. YouTokenToMe работает в 7-10 раз быстрее для алфавитных языков и в 40-50 раз быстрее для логографических языков. Токенизация была ускорена как минимум в 2 раза, а в некоторых тестах более чем в 10 раз.
Эти результаты были достигнуты новым алгоритмом благодаря следующим двум ключевым характеристикам:
- Линейное время выполнения, зависящее от размера обучающего корпуса. SentencePiece и fastBPE асимптотически менее эффективны.
- Эффективное использование нескольких потоков как для обучения, так и для токенизации. Это увеличивает скорость в несколько раз.
YouTokenToMe можно использовать через интерфейс командной строки и непосредственно из Python.
Дополнительную информацию можно найти в репозитории: github.com/vkcom/YouTokenToMe
Принципы Конституции Кроссворд ответ ключ
AlleBilderNewsBücherMapsVideosShoppingsuchoptionen
Принципы Конституции Кроссворд — WordMint
wordmint.com › public_puzz les
Основные термины конституции Кроссворд … Игрок читает вопрос или подсказку , и пытается найти слово, которое отвечает на вопрос из того же количества букв …
Bilder
Alle anzeigen
Alle anzeigen
7 Принципы Конституции Кроссворд — WordMint
wordmint.com › public_puzzles
Гарантированные права, данные всем гражданам, которые не могут быть отобраны правительством. Народ — это то, что дает правительству власть, которую они представляют ключ нужен щелчок прочь. Это займет всего несколько минут.
Конституция Кроссворды Flashcards — Quizlet
quizlet.com › … › Политика Соединенных Штатов
Принцип Конституции, разделяющий полномочия между национальным правительством и правительством штата.
делегированный. полномочия даны национальному …
Ähnliche Fragen
Каковы шесть основных принципов Конституции Соединенных Штатов?
Каковы 7 принципов Конституции?
Что такое картинка-пазл 5 букв?
Что такое слово из 6 букв, обозначающее принципы?
Принципы Конституции — My Crossword Maker
mycrosswordmaker.com › Принципы Конституции…
… 3 9 | 3 10 | 3 11 | 3 12 | 3 13 | 3 14 | 3 15 | 3 16 | 3 17 | 3 18 | 3 19 | 3 20 | 3 21 | 3 22 | 3 23 | 3 24 | 4 1 | 4 2 | 4 3 | 4 4 | 4 5 | 4 6 С| 4 7 …
Семь принципов Конституции — Кроссворды
www.whenwecrosswords.com › crossword › crossword…
Бесплатно распечатать кроссворд «Семь принципов Конституции». … 12, Основной принцип демократии, согласно которому законы принимаются большинством голосов …
Слова из 3 букв ACT — HUE — ILK — SET — WAY — WEB Слова из 4 букв Принципы Конституции Кроссворд Ключ к ответу — caraedesigns Who Правила Гражданские права .
