Искусственный интеллект и большие данные ВКонтакте от первого лица. Интервью с Павлом Калайдиным (видео и тезисы) — Сервисы на vc.ru
885 просмотров
Как ВКонтакте использует машинное обучение для автоматизации работы службы поддержки? Зачем и как соцсеть научила свои алгоритмы различать хентай и аниме? Как строятся исследования в области ИИ в принципе? И даже — какое аниме вам точно нужно посмотреть? Мы поговорили с Павлом Калайдиным, директором по исследованиям Вконтакте. Публикуем видео и тезисную расшифровку разговора.
Интервью вёл Роман Нестер, руководитель магистратуры “Коммуникации, основанные на данных” НИУ ВШЭ, со-основатель big data компании Segmento. В цикле “Большие данные больших компаний” мы также говорили с МТС, Сбербанком, Waay, ВКонтакте. Видео и расшифровки этих встреч мы вскоре публикуем на нашем канале и здесь на VC. Для удобства к этой расшифровке добавлены таймкоды видео — так вы сможете легко найти полную версию ответа.
00:01:15
Чем ты занимаешься в ВК?
Я — директор по исследованиям в области ИИ. Последние два года я руковожу подразделением, которое называется «Команда прикладных исследований». До запуска нашего подразделения, машинное обучение во ВКонтакте в основном применялось для ранжирования выдачи постов в ленте новостей. Мы расширили его применение. Цель нашей команды формулируется в целом как “разработка новых технологий”.
00:15:59
Как big data изменила ВК?
Благодаря машинному обучению нам удалось автоматизировать и ускорить ответы “агентов” поддержки. Всегда есть срочные вопросы и те, которые не требуют мгновенной реакции. Но чтобы понять это, их сначала нужно прочесть. Это тормозит работу агентов. Мы научились мгновенно распознавать вопросы и отвечать на часть из них. Благоларя этому нам удалось значительно сократить время ожидания ответа пользователем — теперь к агентам попадают уже отсортированные запросы. Также мы внедрили такую разработку, как подсвечивание определенных фрагментов текста вопроса для работников техподдержки — благодаря этому они могут быстрее определиться с ответом, не читая весь текст.
Всё это помогло лучше сортировать информацию и расставлять приоритеты. Все-таки цель агентов поддержки — отвечать быстро на сложные вопросы, а простые — откладывать на потом.
Другая задача — фильтрация контента в поиске, в особенности в “безопасном”. Благодаря нашей работе ВК сумел проводить более-менее четкое различие между эротикой и порнографией, что помогло продвинуться в скрытии из безопасного поиска NSFW-контента. Проблема была с выделением хентая — японского порнографического жанра. Но в аниме-материалах, которых много, могут встречаться сцены эротики. Нельзя вырезать всё скопом. Мы построили специальный классификатор, который научился разделять эти два понятия.
Еще одной разработкой стал алгоритм, позволяющий отслеживать «токсичные» посты с обилием оскорблений. Есть определенный набор фраз-тегов, благодаря которому фильтруется информация. Наличие в посте тех или иных фраз и формулировок определяют вероятность того, что текст относится к категории «токсичных» и его нужно скрыть.
Правда, и здесь возникают определенные трудности, потому что иногда под фильтр попадают слова, которые сами по себе не являются оскорбительными, но часто используются в подобных постах. Работа, нацеленная на совершенствование алгоритма, как раз и заключается в том, чтобы минимизировать подобные ошибки.
Как можно измерить пользу от ваших технологий в деньгах? Есть ли вообще с этим проблема, ведь работу ИИ не так просто “оцифровать”.
У команды стоит задача предложить применение машинного обучения, но у нас нет цели как-то непременно экономически это обосновать. Мы не ищем прямого пути увеличить прибыль, а разрабатываем технологии. Мы придумываем, как именно можно улучшить и развить саму платформу и затем сообщаем об этом командам разработчиков. Дальше уже их задача это внедрить или отбросить и на их этапе происходит оценка.
00:56:12
Чем занимается лаборатория ИИ Вконтакте?
Лаборатория — это учреждение на Физтехе МФТИ. Там сейчас работает пять человек, включая меня.
У нас есть кураторы в ВК, совместно с которыми мы обсуждаем, какие именно направления им интересно продвигать.
Потом происходит распределение — решается, кто над каким направлением будет работать, и в течение года человек этим занимается. Итогом его работы становится научная статья, которую он отсылает кураторам на ревью.
1:03:06
Будущее профессий: кто исчезнет и почему?
Исчезнут прежде всего те профессии, которые легко автоматизировать, как это произошло, например, в случае с профессией машинистки. Вполне возможно, автоматизация в будущем затронет услуги транспорта и грузовых перевозок — таксисты и дальнобойщики из-за автоматизации больше не будут нужны, нужен будет только человек, который мог бы следить дистанционно за работой средств транспорта.
1:06:40
Цифровые зависимости, этика и ответственность соцсетей
Сейчас на Западе активно развивается идеология противодействия навязыванию пользователям потребления больших объемов развлекательного контента.
Смартфоны затягивают людей и тянут всё глубже. Как ты, работая в огромной соцсети — поедателе времени — сам относишься к этому и появится ли у нас такое в России?
Думаю, такое направление, идеология будет развиваться и у нас. Но с точки зрения бизнеса и гораздо разумнее не бороться с этим движением, а помогать — предоставить пользователю рычаги, посредством которых он может бороться с информационным потребительством. Такие рычаги уже предоставляются сайтами — например, пуш-уведомления всегда можно (и нужно) отключить. По моему мнению, надо не стремится запрещать развлекательный контент, лучше потратить усилия для создания условий к тому, чтобы пользователю было интереснее смотреть вещи, связанные с образованием.
1:11:10
Как относишься к довольно популярной футурологической концепции “цифровых двойников”?
Эта идея будет реализована еще очень нескоро. Но понятное дело, что на протяжении ближайших лет человеческое общение все чаще и чаще будет осуществляться посредством сети, и живое общение по этой причине будет казаться чем-то довольно интимным, даже роскошью.
Однако в целом, что касается цифровых двойников, тут возникают понятные этические препятствия для реализации концепта — ведь далеко не все пользователи захотят предоставлять в достаточном объеме информацию о себе.
Ведь если какой-то человек будет иметь возможность общаться с твоим “двойником” без твоего ведома и контроля, он сможет многое про тебя узнать и затем использовать. Вообще же в нашем сообществе тема цифровых двойников не особо обсуждается по той причине, что для реализации таких идей должно пройти еще много лет. А машинное обучение направлено на конкретные задачи
1:23:58
Когда мы приблизимся в разработках к “человекоподобному” General AI?
Это сверхтрудно спрогнозировать. Возможно, сегодня с у нас просто нет достаточных ресурсов для того, чтобы совершить какой-то радикальный прорыв в данном направлении. В 80-ых и 90-ых годах, например, уже были крутые решения в области машинного обучения, но тогда еще не было нужного количества данных и отсутствовала нужная инфраструктура, чтобы создать сложные нейросети.
Когда же все это появилось, то нейросети, придуманные за 20 лет до этого, стали стремительно развиваться.
Какой условный срок ты бы все-таки назвал?
Моя ставка — 50 лет. Этому будет предшествовать развитие нейросетей, реализующих частные задачи — например, автоматизация транспорта, полеты беспилотников. Но при этом возможно, что еще до создания мощного искусственного интеллекта, произойдет симбиоз искусственного и естественного интеллекта (как пример — вживление чипа, позволяющего эффективнее мыслить, в человеческий мозг,).
Где происходит главный движ в области искусственного интеллекта?
Это крупные американские компании (прежде всего Google), а также университеты — Стенфорд, Беркли.
А китайские вузы этим занимаются?
Скорее, китайские компании — Aliexpress, Alibaba.
Где в России занимаются ИИ?
В России это тоже больше сосредоточено в крупных компаниях, либо в рамках отдельных вузов. В МФТИ есть мощные лаборотории.
01:42:04
Ник Бостром в своей книге «Искусственный интеллект» утверждает, что в какой-то момент разработка ИИ может начать развиваться непредсказуемо быстро. То есть мы сами не можем предугадать, в какой момент и где именно произойдет прорыв, и если это случится, то какая-то одна компания может получить значительное преимущество перед всем миром и использовать это не в добрых целях. Может ли такое произойти?
Конечно, может. Как это произошло, например, с ядерным оружием. Однако мне кажется, что сейчас информация распространяется очень быстро и поэтому сложно будет одной компании втайне получить значительное преимущество над другими. Скорее всего, все однажды поймут, что кто-то явно приближается к какому-то прорыву. Ведь происходит активный происходит обмен технологиями.
Что вообще скажешь о перспективах России в области исследований ИИ?
У нас есть очень сильные команды, но попросту не хватает ресурсов для полноценного развития искусственного интеллекта.
Мы говорили с тобой про технологию расшифровку аудиосообщений в переписках в текст. Как и где собирали данные для обучающей выборки? На основе какого объема делали модели, сколько человек и часов записей?
У нас есть крутая программа бета-тестирования — в неё записано 100 000 человек, которые участвуют в тестировании наших продуктов. Мы попросили их сделать аудиозаписи — получили около 100 миллионов. При обучении мы использовали технологию unsupervised learning. В настоящий момент мы c помощью этой разработки успешно исправляем многие ошибки, связанные с именами, географическими наименованиями, английскими словами в русской речи.
02:03:30
Разработчикам, занимающимся Big Data, постоянно приходится обучаться по различным направлениям. Как учиться эффективно? Какие ресурсы для этого использовать? Где получать знания?
Одного эффективного способа — нет. А вообще, хороших результатов не добиться в одиночку, вне команды. Нужно уметь работать в коллективе.
И именно по этой причине я верю в классическое офлайновое высшее образование, в лаборатории, в совместное решение задач — благодаря ему ты сможешь обмениваться идеями с большим количеством людей, работающих в твоей сфере, продуктивно их обсуждать, запускать совместные проекты.
Взять пример того, как я сам оказался в Сегменто и занялся машинным обучением в рекламе — мы нашли друг друга с Женей Лёгким именно потому, что в своё время учились вместе и понимали друг друга.
02:07:50
Как написать пост в соцсети, чтобы он был в топе ленты?
Я могу только предполагать про другие сети. Если мы берем фейсбук, то наверняка не стоит в посте давать ссылок на сторонние ресурсы. Наверняка алгоритм сделает такой пост менее приоритетным — по крайней мере я бы сделал именно так. Плюс там должна быть картинка и он не должен быть большим по объему. Нужна краткость. Также стоит избегать различных призывов — например, к лайкам и репостам. Помимо всего прочего, необходимо, чтобы пост резонировал именно с вашей аудиторией.
02:11:14
Можно ли парсить данные ВК? Это же открытые данные.
Это так не работает. Если в интернете 2020 года есть открытые данные, то это не значит, что их можно парсить. В правилах ВК написано, что парсинг и автоматический сбор данных запрещен без согласования администрации. Можно строить сервисы, пользоваться API, но парсить — нет. Но мы не просто запрещаем — у нас есть стриминг-API и можно подписаться на предзаданный поток данных. Так же действует и Фейсбук. Я советую следить за этим. Сейчас даже в научных работах и контестах проверяется, на каких данных сделаны ваши исследования и решения. Недавно Фейсбук дисквалифицировал победителей конкурса, использовавших неразрешённый датасет с Flickr. Был большой скандал.
2:18:20
Оффтоп — ты увлекаешься японской культурой давно. Какое _одно_ произведение из жанра аниме нужно обязательно посмотреть, чтобы понять этот жанр?
«Пинг-понг». Аниме про двух школьников, которые увлекаются пинг-понгом. Его стоит посмотреть, так как это не просто какое-то детское аниме, и оно не совсем про пинг-понг — по сути это история взросления.
Аниме рассказывает о том, как человек выбирает свой жизненный путь. Оно хорошо еще тем, что довольно короткое, плюс там хорошая и необычная отрисовка.
Гугл или яндекс? Гугл, просто он мне ближе.
Озон или амазон? Амазон, хотя озон тоже хорош (тестировал их доставку во время карантина).
Джобс или Гейтс? Гейтс, потому что он занимается настоящей эффективной благотворительностью.
Дуров или Маск? Дуров. Трудный вопрос. Рационально на него не ответить.
Алиса или Siri? Алиса, в конце концов, с ней удобно общаться на русском языке.
Япония или США?
США, потому что это открытая многонациональная страна. В том смысле, что если выучить язык, ты вполне сойдешь там за своего. С Японией такого не выйдет — ты всегда будешь чувствовать себя иностранцем.
Telegram или ВК? Активно пользуюсь и тем и тем.
2 книги которые больше всего на тебя повлияли?
“Песня свон” — фантастика про жизнь после ядерного взрыва, круто читать было на карантинет.
«Жизнь глазами Гарпа» Джона Ирвинга, рассказы Василия Шукшина.
Ютуб Каналы?
Блогер Кузьма, Максим Кац.
Что бы ты в целом пожелал нашим слушателям?
Критически относиться, не делать поспешных выводов, взвешенно принимать решения, слушать чужие точки зрения, обсуждать все с другими людьми и совместно с ними приходить к какой-то истине.
ССЫЛКИ из эфира
https://vk.com/ml — страница Павла.
https://vk.com/tech — паблик про технологии, который в видео-формате детально рассказывает о том, как именно применяется машинное обучение в ВК.
https://vk.com/lab — лаборатория искусственного интеллекта ВК, где как раз решаются вопросы, связанные с недочетами машинного обучения. model-degeneration — пытаются решить.
https://vk.com/deepvk — команда Павла.
Напомню, что это была лишь краткая тезисная выжимка — ответы на вопросы в видео шире и раскрывают вопросы глубже. Если вам интересна тема бизнеса и больших данных, то рекомендую видео с Алексеем Авдеем о том, как Сбербанк анализирует вас по транзакциям и как встраивает это в свою работу и интервью с Ильёй Лагутиным, сделавшим самого большого продавца данных в России.
«ВКонтакте» будет отстаивать право на лица пользователей – Коммерсантъ FM – Коммерсантъ
Социальная сеть «ВКонтакте» готовит судебный иск к разработчикам SearchFace, чей сервис позволяет находить профили пользователей по фотографиям. В чем опасность? Выясняла Яна Лубнина.
Фото: Зотов Алексей, Коммерсантъ
SearchFace способен узнать человека даже на некачественной фотографии, по изображению в шапке, очках или с непривычным макияжем. Более того, программа считывает детские снимки и находит по ним взрослых пользователей. Механизм крайне прост: заходите на сайт, загружаете фото пусть даже случайного человека, ждете пару секунд, и вуаля — сервис показывает страницы всех похожих людей из «ВКонтакте». Не помогают даже настройки приватности. Похожий принцип работы был у сервиса FindFace, который появился два года назад. Одно из неприятных последствий — бесконечные сообщения от незнакомцев. С этим столкнулась москвичка, владелица салона Look&Style Алена Сабанова.
Во время поездки в метро ее заснял фотограф. Позже он выложил снимок в сеть, и началось. «Мне стали писать люди, находить меня “ВКонтакте”, в Instagram, высылать эту фотографию, пытались знакомиться. Я даже обращалась к юристам, собиралась подать в суд. И я считаю, что этот вопрос нужно поднять. Возможность нахождения другого человека через фотографию в соцсетях — это слишком, должна быть какая-то конфиденциальность. Я считаю, что эта программа нарушает границы любого человека», — говорит Сабанова.
Читать далее
Представители «ВКонтакте» заявили «Коммерсантъ FM», что SearchFace самостоятельно собирает данные о пользователях. А это грубо нарушает правила соцсети, поэтому они намерены идти в суд. Но вот загвоздка. Создатели программы скрывают свои личности, поэтому призвать их к ответу вряд ли удастся. Такого рода сервисы — прекрасный инструмент для мошенников, рассказал технический директор компании Qrator Labs Артем Гавриченков: «Если мы хотим дальше развивать какие-то сервисы идентификации, как это стараются сейчас делать российские банки, мы должны всегда учитывать, что любая биометрия, в частности форма лица, — это вещь, которую очень легко где-то оставить, а вот отобрать или заменить ее потом невозможно.
Например, лицо человека используется в смартфоне iPhone X для его разблокировки. Есть работа, которая показывает, что имея ряд фотографий одного и того же человека в разных ракурсах, можно имитировать его мимику абсолютно правдоподобным образом».
Среди других неприятностей, с которыми могут столкнуться пользователи — атаки коллекторов, попытки шантажа и даже проблемами с трудоустройством. Ведь не секрет, что многие работодатели внимательно изучают аккаунты соискателей. А с помощью этой программы они могут найти даже их анонимные страницы. Аналогичный сервис FindFace, который также умел распознавать людей на фотографиях и искать их профили в соцсетях, вызвал интерес спецслужб. В итоге его разработчики получили контракты с госструктурами и крупными корпорациями. На это же рассчитывают и создатели SearchFace, уверен генеральный директор компании Intems Алексей Титов: «Они просто взяли и обернули доступный для потребителей сервис в оболочку.
Мне кажется, эта история больше связана с маркетинговой стороной.
Тот же FindFace получил очень приличную известность, и сейчас взаимодействует не только с государственными органами, но и со множеством других компаний. Мне кажется, создатели этого сервиса хотят повторить их успех».
Читать далее
Справедливости ради стоит сказать, что у создателей сервиса могли быть и благие цели. С его помощью, к примеру, можно найти понравившуюся девушку, с которой не рискнул познакомиться вживую. Или, скажем, отыскать своего двойника.
Пока сервис по определению личности по фото работает бесплатно. Хотя игроки рынка не исключают, что вскоре разработчики захотят его монетизировать. Один из возможных вариантов — брать деньги с тех пользователей, которые захотят, чтобы их аккаунт исключили из поисковой выдачи.
Юлии Цветковой грозит 6 лет тюрьмы за размещение эскизов вагины в Интернете
Юлия Цветкова: В России художница-феминистка предстала перед судом за размещение эскизов вагины в Интернете по обвинению в распространении порнографии.
Художница и феминистка Юлия Цветкова — 27-летняя женщина из российского города Комсомольск-на-Аморе. Ей грозит шесть лет тюрьмы за размещение красочных зарисовок вагины в своей онлайн-группе «ВКонтакте».
Дело вызвало широкую критику во всем мире, поскольку Россия продолжает привлекать к суду людей, которые, как представляется, нарушают «традиционные семейные ценности», пропагандируемые правительством страны. Артистке не разрешили поделиться подробностями своего дела.
К Цветковой уже не в первый раз привлекаются жесткие меры. В 2019 году ее задержали почти на четыре месяца. Большую часть из которых она провела под домашним арестом. Суд над ней начался через восемь месяцев после того, как президент России Владимир Путин подписал закон, запрещающий однополые браки в стране.
Юлия Цветкова руководила детским театром и выступала за права женщин и ЛГБТК. Она также является основателем онлайн-группы под названием «Монологи вагины», целью которой является поощрение людей к борьбе со стигмой, связанной с женским телом.
Международная правозащитная организация Amnesty International осудила дело против нее и назвала его «кафкианским абсурдом». Они заявили, что Цветкова просто «свободно выражала свои взгляды через искусство», и призвали российские власти снять с нее все обвинения.
В беседе с Associated Press мать Цветковой Анна Ходырева заявила, что ее дочь против порнографии. Она сказала: «Юлия всегда была против порнографии… Феминистки против порнографии, потому что это эксплуатация женского тела».
Она также утверждала, что ее дом и колодец, а также образовательная студия для детей ранее подвергались обыску. Ранее Цветкова дважды приводила штрафы, наложенные правительством, поскольку ее обвинили в «пропаганде гомосексуализма среди несовершеннолетних». Первый раз ее оштрафовали на 50 000 рублей в 2019 году.а затем сумму 15 000 рублей в июле 2020 года.
Художника поддержали многие общественные деятели, в том числе Владимир Познер, ветеран, сообщил российское государственное телевидение.
В ее поддержку также была распространена онлайн-петиция с 250 000 подписей. В своем твите делегация Европейского союза в России заявила, что внимательно следит за этим делом, и заявила, что судебное преследование артистки связано с ее публичной позицией как ЛГБТ-активистки. Они просили российские власти закрыть дело против Цветковой.
Мать Юлии Цветковой рассказала журналистам, что потеряла много клиентов в своей детской образовательной студии из-за частых визитов полиции и притеснений со стороны местных жителей. Цветкова, руководившая детским театром, сейчас закрыта.
«Полиция врывалась столько раз, что… я не готова, чтобы дети были вовлечены в этот беспредел», — сказала она.
Последнее испытание перед Мичиганом: OSU смотрит на Мэриленд
ПАРК КОЛЛЕДЖА, Мэриленд (AP) — тренер Майкл Локсли Мэриленда против этого на этой неделе, когда его команда принимает штат Огайо № 2.
Возможно, расписание поможет.
«Я думаю, у них есть большая игра после нашей», — сказал Локсли на этой неделе.
«Я не знаю, с кем они играют, но они играют с кем-то после нашей игры, довольно большой игры».
Общеизвестно, что «Бакейз» встретятся с Мичиганом на следующих выходных, а это означает, что «Террапины» Локсли — единственное, что стоит между штатом Огайо и непревзойденным рекордом на пути к этой титанической игре соперничества.
Он пытался донести до своей команды, что Мэриленду нечего терять в субботу.
С Бакеями такого не будет.
ОднакоШтат Огайо привык сосредотачиваться на других противниках, никогда не забывая о Мичигане.
«Мы работаем (над) игрой в конце года, каждый день в году», — сказал тренер Buckeyes Райан Дэй. «Так что нет ничего необычного в том, чтобы знать, что это всегда в глубине нашего сознания».
Штат Огайо (10-0, 7-0 Большая Десятка, №2 CFP) никогда не проигрывал Мэриленду.
На самом деле, в четырех из пяти последних встреч с Терпами «Бакейз» набрали не менее 62 очков.
Единственное исключение было в 2018 году, когда штат Огайо едва пережил овертайм со счетом 52-51.
Это также был последний раз, когда «Бакейз» играли в Мэриленде за неделю до игры в Мичигане.
Если терпы (6-4, 3-4) собираются держаться так близко, им может понадобиться еще один прорыв в атаке, как в той игре 2018 года.
Мэриленд теоретически способен, с нападением, в котором есть квотербек Таулия Таговайлоа — и много талантов в бегущем и принимающем.
Но в последнее время Террапины ускользают.
Они проиграли 30-0 в Пенн Стейт в прошлые выходные, а на предыдущей неделе они проиграли 23-10 в Висконсине.
Это была разочаровывающая пара игр после того, как в октябре команда разошлась со счетом 3:1.
Нападение штата Огайо, с другой стороны, является одной из констант игры.
«Бакейз» обыграли «Нотр-Дам» со счетом 21:10 в первом матче, и с тех пор они только однажды удерживались ниже 44 очков.
ГЛУБИНА НА WR
За пределами программы штата Огайо никто не может догадаться, выйдет ли на поле в этом году ресивер Джексон Смит-Нджигба.
В первой победе над «Нотр-Дам» он повредил подколенное сухожилие и с тех пор мало играл.
День мало что скажет о его успехах.
Но Баккеи не слишком по нему скучали.
Марвин Харрисон-младший входит в десятку лучших в стране с 969 ярдами приема и 11 тачдаунами.
Эмека Эгбука имеет 832 ярда и восемь TD.
Оба второкурсники.
«Я имею в виду, если бы вы сказали мне, что это произойдет в этом году, я бы вам не поверил, но вот мы здесь», — сказал Дэй. «Это футбол, вы должны преодолевать такие вещи».
ЧАСЫ MILESTONE
Таговайлоа вступает в игру с пасом на 7023 ярда в Мэриленде.
Только Скотт Миланович (7301) опережает его в карьерном списке школы.
Велики шансы, что Таговайлоа в какой-то момент займет первое место, хотя в каждой из последних двух игр он удерживался на расстоянии менее 100 ярдов.
«Лично я просто быстрее вынимаю мяч из рук», — сказал Таговайлоа. «В качестве оскорбления мы просто должны вернуться к основам».
RBs БОРЬБА С ТРАВМАМИ
Ранние защитники Buckeyes, ТреВейон Хендерсон и Миян Уильямс, борются с травмами.
Хендерсон был в уличной одежде во время победы над Индианой на прошлой неделе, а Уильямс вылетел с травмой ноги после того, как пробежал 147 ярдов и приземлился в первом тайме.
Один из запасных, Чип Траянум, также выбыл на прошлой неделе из-за неизвестной травмы.
Не вдаваясь в подробности, Дэй сказал, что некоторые из них или все могут вернуться на этой неделе.
«Я думаю, что мы вернем по крайней мере двоих из них, а затем уйдем оттуда», — сказал он во вторник.
Первокурсник Даллан Хейден и бывший помощник Ксавье Джонсон, который за свою четырехлетнюю карьеру использовался в основном как ресивер, скорее всего, получат большую часть керри, если остальные все еще больны.
ЗАЩИТА ПРОХОДЯЩЕГО
Локсли сказал, что ключ к сдерживанию штата Огайо — добраться до квотербека, но в этом году этого не произошло.
