vk-url-scraper · PyPI
Библиотека для извлечения данных и особенно медиа-ссылок (видео и фото) с URL-адресов vk.com.
Вы можете использовать его через командную строку или как библиотеку Python.
Установка
Вы можете установить самый последний выпуск из pypi через pip install vk-url-scraper
.
Для использования библиотеки вам понадобится действующая комбинация имени пользователя и пароля для vk.com.
Использование командной строки
# запустите это, чтобы узнать больше о параметрах
vk_url_scraper --help
# очистить URL-адрес и получить результат JSON в консоли
vk_url_scraper -username "логин здесь" --password "пароль здесь" --urls https://vk.com/wall12345_6789# ИЛИ ЖЕ
vk_url_scraper -u "имя пользователя здесь" -p "здесь пароль" --urls https://vk.com/wall12345_6789
# вы также можете иметь несколько URL-адресов
vk_url_scraper -u "логин здесь" -p "пароль здесь" --urls https://vk.com/wall12345_6789 https://vk.
com/photo-12345_6789 https://vk.com/video12345_6789
# вы также можете передать токен, чтобы избежать постоянной аутентификации
# и, возможно, получать подсказки захвата
vk_url_scraper -u "имя пользователя" -p "пароль" -t "сюда идет vktoken" --urls https://vk.com/wall12345_6789
# сохранить вывод JSON в файл
vk_url_scraper -u "имя пользователя здесь" -p "здесь пароль" --urls https://vk.com/wall12345_6789> вывод.json
# загрузите любые фотографии или видео, найденные по этим URL-адресам
# это будет использовать или создать выходную/папку и сбрасывать туда файлы
vk_url_scraper -u "логин здесь" -p "пароль здесь" --скачать --urls https://vk.com/wall12345_6789
# или же
vk_url_scraper -u "имя пользователя здесь" -p "здесь пароль" -d --urls https://vk.com/wall12345_6789
Использование библиотеки Python
из vk_url_scraper import VkScraper
vks = VkScraper("имя пользователя", "пароль")
# очистить любой URL-адрес "фото"
res = vks.scrape("https://vk.com/photo1_278184324?rev=1")
# очистить любой URL-адрес "стены"
res = vks.
scrape("https://vk.com/wall-1_398461")
# очистить любой URL-адрес "видео"
res = vks.scrape("https://vk.com/video-6596301_145810025")
print(res[0]["text]) # например: -> чтобы получить текст из кода
# Каждая функция очистки* возвращает список dict, например
{
"id": "wall_id",
"текст": "текст в этом посте" ,
"datetime": дата и время сообщения в формате utc,
"вложения": {
# если есть фото, видео, ссылка
"photo": [список URL с максимальным качеством],
"video": [список URL с максимальным качеством],
"link": [список URL-адресов с максимальным качеством],
},
"payload": "исходный ответ JSON преобразован в dict, который вы можете проанализировать для получения дополнительных данных
}
см. [документы] для всех доступных функций.
TODO
- очистить ссылки на альбомы
- очистить ссылки профиля
- документов онлайн от sphinx
Девелопмент
(подробнее на CONTRIBUTING.md).
- установка среды разработки с
pip install -r dev-requirements.
илиtxt
pipenv install -r dev-requirements.txt
Среда установки - с
pip install -r requirements.txt
pipenv установить -r требования.txt
- Для запуска всех проверок на
выполните прогон-проверки
(стиль исправлений) или по отдельности- Для фиксации стиля:
черный .
иисорт.
->чешуйка8 .
для проверки ворса - Для проверки типов:
mypy .
- Для тестирования:
pytest .
(pytest -v --color=yes --doctest-modulestests/ vk_url_scraper/
для подробных сведений о пользователях, цветах и тестовых примерах строк документации)
- Для фиксации стиля:
-
make docs
для создания документов shpynx -> при необходимости отредактируйте config.py
Чтобы протестировать интерфейс командной строки, доступный в main .py, вам нужно передать параметр -m
в python следующим образом: python -m vk_url_scraper -u "" -p "" --urls .
..
Выпуск новой версии
- редактирование version.py с правильным управлением версиями
- запустите
./scripts/release.sh
, чтобы создать тег и нажать, в качестве альтернативы-
git tag vx.y.z
для тега версии -
git push origin vx.y.z
-> это запустит рабочий процесс и поместит проект на pypi
-
Исправление неудачного выпуска
Если по какой-то причине рабочий процесс выпуска GitHub Actions завершился с ошибкой, которую необходимо исправить, вам придется удалить как тег, так и соответствующий выпуск из GitHub. После того, как вы отправили исправление, удалите тег из локального клона с помощью
git tag -l | тег xargs git -d && git fetch -t
Затем повторите шаги, описанные выше.
Как настроить учетные записи социальных сетей
Как настроить системы входа OAuth Google, Facebook и ВКонтакте Веб-сайт.
Перейдите по этой ссылке в Google:
Выберите «Создать проект» и нажмите «Продолжить ».
Если вы создаете проект впервые, вас также попросят принять Условия использования.
3. Нажмите « Перейти к учетным данным».
4. Выберите « Fitness API» в первом раскрывающемся списке, «Веб-браузер (Javascript)» во втором, а затем выберите «Данные пользователя».
5. Затем вы увидите всплывающее окно с сообщением о необходимости настроить экран согласия OAuth. Выберите «Настроить экран согласия».
6. Теперь вы будете перенаправлены на новую страницу. Оставьте все по умолчанию и добавьте имя вашего приложения, а также добавьте свое доменное имя в поле Авторизованные домены. Нажмите сохранить потом.
7. Вы увидите окно. Нажмите кнопку «Создать учетные данные» и выберите идентификатор клиента OAuth.
9. Теперь самое сложное. Вам необходимо добавить ссылку перенаправления в поле «Авторизованные URL-адреса перенаправления», чтобы она имела вид:
https://domain/socialAuth. php
, где домен — доменное имя вашего сайта
10. Нажмите «Создать». ‘.
11. Теперь вы увидите окно с вашим идентификатором клиента и секретом клиента. Скопируйте их.
12. Перейдите в «Панель управления» > «Приложение интеграции» > «Значки социальных сетей» > «Google» и вставьте эти 2 учетных данных в соответствующие поля.
13. Нажмите «Подключиться».
Вот и все 🙂 Если вы все сделали правильно и следовали каждому шагу, ваши пользователи теперь смогут входить на ваш сайт, используя свою учетную запись Google через элемент «Учетная запись пользователя».
1. Перейдите на страницу https://developers.facebook.com/docs/apps и войдите в систему, используя свою учетную запись Facebook.
2. После этого перейдите в раздел «Мои приложения» и выберите «Создать приложение».
3. Введите отображаемое имя приложения и нажмите «Создать идентификатор приложения».
4. В списке продуктов выберите «Вход через Facebook» и нажмите «Настроить».
5. На левой панели найдите и нажмите Настройки > Основные.
6. Домены в приложении добавьте домен вашего веб-сайта > Сохранить изменения.
7. На левой панели найдите и нажмите Вход через Facebook > Настройки.
8. В Действительные URL-адреса перенаправления OAuth добавьте URL-адрес этой формы:
https://domain/socialAuth.php
, где домен — это доменное имя вашего веб-сайта
9. Нажмите «Сохранить изменения».
10. Вернитесь в «Настройки» > «Основные» и скопируйте идентификатор приложения и секрет приложения.
11. Перейдите в «Панель управления» > «Приложение интеграции» > «Значки социальных сетей» > «Facebook» и вставьте эти 2 учетных данных в соответствующие поля.
12. Нажмите «Подключиться».
Поздравляем, теперь на вашем веб-сайте есть функция входа через Facebook. Проверьте это с помощью элемента «Учетные записи пользователей».
1. Войдите в свой аккаунт ВКонтакте.
2. Перейдите по этой ссылке: https://vk. com/apps?act=manage
3. Нажмите «Создать приложение».
4. Напишите заголовок, выберите «Веб-сайт» и домен вашего веб-сайта в поля «Адрес веб-сайта» и «Базовый домен».
5. Перейдите в Настройки. В Авторизованный URL-адрес перенаправления добавьте URL-адрес этой формы:
, где домен — это доменное имя вашего веб-сайта
6. Нажмите «Сохранить изменения».
7. Вернитесь в «Настройки» > «Основные» и скопируйте Идентификатор приложения и Секрет приложения .
8. Перейдите в «Панель управления» > «Приложение интеграции» > «Значки социальных сетей» > «ВКонтакте» и вставьте эти 2 учетных данных в соответствующие поля.
9. Нажмите «Подключиться».
Теперь на вашем сайте появилась функция входа ВКонтакте. Вы можете проверить это с помощью элемента «Учетные записи пользователей».
Добавив систему социальных учетных записей, вы значительно сэкономите время своих клиентов, а также увеличите количество зарегистрированных пользователей на своем сайте.