Скорость и манера повествования отличная. Супер материал. Спасибо!
@usota
2 жыл бұрын
Спасибо 🙏
@eprst0
6 ай бұрын
Вы крутой! Надеюсь продолжите свое творчество)
@akovemil9528
2 жыл бұрын
Открыл новую сторону парсинга) Спасибо!
@denissavast
2 жыл бұрын
Благодарю за отличную и грамотную подачу информации !!!
@usota
2 жыл бұрын
Спасибо за высокую оценку!
@REPAIRSERVICE
2 жыл бұрын
видео супер, много полезной информации, вот только с авито так больше не работает, ошибка 403 почему-то, и как исправить не понятно.
@НачинающийПрограммист-н3р
2 жыл бұрын
Блин спасибо тебе большое за твой труд. Очень классный видос !
@usota
2 жыл бұрын
Спасибо ☺️
@madllly9980
2 жыл бұрын
Отличное видео, спасибо за работу!
@kamaduuu
2 ай бұрын
Спасибо большое! К сожалению смотрел видео почти сутки, пытался сделать но к сожалению что-то не то… оооочень много других роликов смотрел- ваша подача серьезная и легче воспринимается
@usota
2 ай бұрын
Спасибо 🙏 к сожалению, видео устарело и эти площадки усилили защиту от парсинга.
@kamaduuu
2 ай бұрын
@@usota ну вот работаю над новым способом. Буду экспериментировать, знаю что парсер для недвижимости работает, но способом делиться не хотят))
@yanin68
2 жыл бұрын
В принципе понятно, но пока не все. В целом отлично. 👍👍👍
@bonethug
2 жыл бұрын
У кого не получается сделать по образу и подобию - при запросе на циан важно, что заголовок User-Agent был написан именного так (первые буквы заглавные), все остальные заголовки тоже - их проще убить. При копировании cURL он их всех преобразует к низкому регистру
@usota
2 жыл бұрын
Спасибо за подсказку
@makedatauseful1015
2 жыл бұрын
Евгений, как вы обучаетесь? Вы узнаете о том как работают сайты? Какие технологии они используют? Пытался решить похожую задачу год назад, но удалось ее реализовать только через прицепку к тегам. А вы получили json. Браво. Сколько каналов в прошлом перелопатил и никакой похожей и очень полезной информации не было.
@usota
2 жыл бұрын
Спасибо 🙏 Вы правы - парсинг легче даётся, если знаешь, как устроены сайты. И большой опыт создания интернет-магазинов помогает. Но обучаюсь, как и вы - перелопачиваю информацию в поисках новой и полезной)
@tuman8845
Жыл бұрын
Видео огонь! Но к сожалению в 2023 году на авито requests-ом можно вытащить только первые 8 объявления. Буду пробовать selenium.
@thesundaymaster
8 ай бұрын
успешно?
@kamaduuu
2 ай бұрын
@@thesundaymasterа у вас ?))))
@paleface_brother
2 жыл бұрын
Спасибо, Евгений, за интересную идею использовать json.
@dnevnik_antonio
2 жыл бұрын
Супер! Хорошо объяснено. На важных вещах верно фокусируется внимание. До этого ни разу на Python не писал, только на Java. Но благодаря данному ролику, всё получилось с первого раза. Спасибо за работу! Ждём вторую часть)
@usota
2 жыл бұрын
Спасибо за высокую оценку!
@rolandwalker4434
2 жыл бұрын
Отличный урок, очень интересно преподаёте !
@usota
2 жыл бұрын
Скорее делюсь опытом, чем преподаю ) Спасибо, очень приятно ☺️
@torbokovsanat
2 жыл бұрын
Спасибо большое!!!
@DmitriiDomingo
10 ай бұрын
Спасибо огромное, что поделился. Как раз именно этот способ искал распарсить по-человечески. Напишу в личку. Может тоже чем-то смогу помочь в ответ.
@georgie-facet
5 ай бұрын
А для чего В ИТОГЕ понадобилось собирать эти параметры? Какие полезности вы вытащили? Тренды, может
@usota
5 ай бұрын
Для сравнения цен на квартиры с подобными параметрами. В одном из проектов мы с заказчиком смогли найти классную студию в Москве по отличной цене, поручив всю аналитическую работу боту.
@nickklick5824
2 жыл бұрын
Спасибо за видео!
@NikitaEpt
2 жыл бұрын
Круто. Я бы еще добавил список прокси и пробовал с них парсить на случай блокировки
@usota
2 жыл бұрын
Спасибо ) А про прокси в части IV. Проект большой, в одно видео всё не уместилось)
@rabid_bear
2 жыл бұрын
блин, это очень крут👍
@-USER_NAME
6 ай бұрын
Здравствуйте. Все отлично работает . Но немного не понял как добыть свойство ?rgid из парсинга яндекс 49.48 . Уже по всякому пробовал и как то не получилось пока. Upd: вопрос снимается парсер не проходит блокировку Яндекса, ни через селениум, ни другими способами
@NikitregGameMix
2 жыл бұрын
👍👍👍 очень жду вторую часть
@usota
2 жыл бұрын
Спасибо, парсер тестируется и вторая часть уже на подходе)
@whats_video
2 жыл бұрын
Спасибо большое очень помог
@makedatauseful1015
2 жыл бұрын
Спасибо за информацию
@vlad4620
2 жыл бұрын
Добрый день, пробовали ли деплоить куда? Не сталкивались ли с ошибкой 403 именно на удаленном enviroment-е, когда локально все хорошо. Спасибо
@usota
2 жыл бұрын
Добрый день, да, скрипт успешно работает на сервере. Ошибка 403 связана как раз с блокировкой площадками. Для этого использую прокси и подменные заголовки.
@torbokovsanat
2 жыл бұрын
@@usota не смог заставить так работать, все равно 403
@eraliakylov1180
2 жыл бұрын
Здравствуйте, вопрос к вам, я посмотрел ваши другие видео, вы говорили что лучше парсить без программирования,но тогда почему вы здесь парсите с помощью Питона, я сам изучаю питон и я только начинающий , парсил только два сайта, стоит ли мне продолжать парсить на питоне или лучше ищучить создание ботов на питоне?
@eraliakylov1180
2 жыл бұрын
Так же , лучше парсить на питоне или метом без языка программирования, надеюсь на ваш ответ, извините уж что так много вопросов и спасибо заранее
@usota
2 жыл бұрын
Здравствуйте, однозначно лучше парсить на пайтоне. Без программирования - это первая ступень, чтобы познакомиться с принципом парсинга, устройством сайтов, разметки и т.д.
@dmitriypupkin8049
Жыл бұрын
Спасибо за толковое объяснение и проделанную работу.Повторил код,в целях обучения,но он уже не работает-авито скидывает запрос по ошибке ip.Хотелось бы еще гайд по работе с "безголовым хромом" для таких случаев
@usota
Жыл бұрын
Спасибо 🙏 По поводу безголового хрома смотрите в нашем тлг-чате proparsing, буквально вчера это обсуждали. Ссылка на чат есть в описании.
@ТатьянаТатьяна-д2о
11 ай бұрын
2023. Бан по IP. Грусть, печаль. Ищем дальше. Было интересно попробовать)
@dydai
11 ай бұрын
Сгенерированные имена классов делали не для защиты от парсеров. Так легче для разработки, css модули использовать, чтобы не было разногласий. Авито как я понял на реакте сделан
@usota
11 ай бұрын
Спасибо, не знал 👍
@MultiBigkush
2 жыл бұрын
Приветствую! Спасибо за видео. Как можно сделать так, чтобы и номер высвечивался? Знаю, что можно с помощью селениума. Но также находил информацию, что можно это сделать через запрос кода с моб. версии сайта, так быстрее получается. Только не пойму как лучше организовать это
@usota
2 жыл бұрын
Спасибо за отзыв! Да, можно вытащить через запрос, который делает авито в мобильной версии. Но там нужно подставлять ID сессии. А так как количество запросов с одного ID ограничено, то блокируют быстро. Эту задачу я не победил.
@MultiBigkush
2 жыл бұрын
@@usota Нужно менять user agent и прокси. Знаю, что так решается данное ограничение. Но сделать не могу
@usota
2 жыл бұрын
headers и proxy я и так меняю при парсинге, но пока не нашёл способа вытаскивать ключ key для запроса m.avito.ru/api/1/items/{id объявления}/phone?key={уникальный ключ}
@MultiBigkush
2 жыл бұрын
@@usota key = 'af0deccbgcgidddjgnvljitntccdduijhdinfgjgfjir' ключ, не разбирался где его брать, но похоже он статичен, т.к. гуглится на различных форумах. Пробовали этот ключ подставить?
@usota
2 жыл бұрын
Если так, то попробую это реализовать во второй части видео. Заодно протестируем. Спасибо за идею!
@FunySmileXa
Жыл бұрын
Подскажите можно ли в 2023 парсить Авито. Они там добавили кучу защит
@usota
Жыл бұрын
К сожалению, в 2023 обходить защиту авито не выгодно, парсинг выходит очень дорого
@WrldsporteventsR.Y..V.1992
2 жыл бұрын
все хорошо, подвисало местами правда..
@legaru9738
2 жыл бұрын
Добрый день. В начале все получилось по видео. Потом три строки работать перестали #city = item["geo"]["geoReferences"][0]["content"] #addres = item["geo"]["formattedAddress"] #offer["geo"] = city + ', ' + addres их комментирую. все норм
@usota
2 жыл бұрын
Всё меняется ) Я уверен, что через год этот код уже весь работать не будет. Но принцип останется прежний.
@-USER_NAME
6 ай бұрын
Поставьте точку останова на city затем наведите на item и в нем покажет все что есть и откуда можно достать . Один ньюанс район города иногда не указывается это тоже может вызвать ошибку . Нужно сделать проверку района прямо в этом же цикле .
@samooto4401
Жыл бұрын
В переменной html лежит не та разметка как на авито. О дальнейших поисках тегов и скриптов речи и не может быть. Для парсинга сайтов нужно подключать прокси или что-то еще?
@usota
Жыл бұрын
Верно, для сайтов с защитой нужно подключать прокси и что-то ещё. Например использовать selenium
@aleksgor1408
2 жыл бұрын
Автор спасибо за видео. Подскажите плиз, по Циану. Там во внутренней карточке если слева вверху нажать на просмотры, выходит график. На графике важные данные. Такие как дата публикации. Этот график открывается по ходу с другого сайта. Никак не пойму как можно спарсить это и инфо в инете не нахожу. Помогите плиз с этим вопросом. Отпишитесь как спарсить можно эту штуковину ?
@usota
2 жыл бұрын
Спасибо, рад, что пригодилось. 1) когда График открывается, сайт отправляет запрос на получение этих данных. Узнаёте запрос - получите данные. 2) Для быстрого ответа пишите похожие вопросы в телеграм-чат Про парсинг, ссылка будет в описании. Мы с ребятами, думаю, любой вопрос по парсингу решим
@МаксимКоролев-ш3с
2 жыл бұрын
Подскажите, если парсера забанили по айпи из за множественных запросов(авито), как быть? подключать прокси? или есть более простой способ?
@usota
2 жыл бұрын
Если IP забанили, то есть только один способ - зайти под другим IP) Да, я подключаю прокси.
@City__Walker
8 ай бұрын
Из этого можно собрать датасет?
@usota
8 ай бұрын
Да, но слишком дорого выходит, как по времени, так и по стоимости обслуживания.
@АнарГусейнов-с5ы
Жыл бұрын
2023 год уже так не получается или я что то не так делаю #block выдает Как только не пытался заголовки параметры в get не получается Только если с selenium
@usota
Жыл бұрын
Вы правы, способ получения данных с сайтов уже не работает. Эти площадки усилили защиту и обходить стало сложнее.
@АнарГусейнов-с5ы
Жыл бұрын
Подскажите пожалуйста на данный момент какая практика по Авито как повысить какие технологии . И вопрос к вам можно обратиться как к Ментору ? @anargus88 если да , очень надеюсь что ответ будет положительным 😊
@usota
Жыл бұрын
Посмотри в нашем чате в телеграмме proparsing, там были решения по разным маркеплейсам
@usota
Жыл бұрын
Менторством займусь лет через 5. Пока сам учусь )
@АлександрСтус-ы2ь
Жыл бұрын
Добрый день, на сколько актуален данный код на сегодняшний день или лучше связаться с платным api ?
@usota
Жыл бұрын
Лучше API
@bob196
2 жыл бұрын
Сегодня решил попробовать и у меня тоже выдаёт страницу с банном, причём бан с первой попытки и именно через requests. С того же ip через браузер отлично открывается. Видимо Авито чего-то нехватает, что есть браузере, но не даёт requests. Пока вижу решение в session и всё что с этим связано, буду курить матчасть и разбираться в нём. Ну а тут кто-то уже сталкивался с таким? requests.session помогает? UPD я до json не доходил, пока пробовал черех атрибуты в CSS до 30:00, дальше не разбирался
@usota
2 жыл бұрын
Авито хорошо борется с роботами. Попробуйте селениум
@bob196
2 жыл бұрын
@@usota спасибо, буду изучать
@Deny_672
Жыл бұрын
Может есть какие-то видео по парсингу при помощи API?
@usota
Жыл бұрын
Да, следующее. Но с 2022 года на этих площадках нужно ещё обойти блокировку, более сложную, чем просто смена прокси. Об этом можно посмотреть в нашем чате в телеграмме - пропарсинг
@Анекто
2 жыл бұрын
день добрый, всю голову сломал, уже дня 2 ковыряю код... не выдает json... печатает часть скрипта, а выдает ( raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)) подскажите (это циан) а так все доступно и понятно объясняется. все перепроверил, ошибки нигде не допустил..
@usota
2 жыл бұрын
Эти площадки теперь хорошо определяют роботов-парсеров, поэтому скорее всего вам отдаётся не json, а сообщение от том, что доступ запрещён. Можно попробовать другой инструмент парсинга - селениум, но по нему пока не могу конкретного видео порекомендовать.
@Максим-д1щ8ь
2 жыл бұрын
Добрый день. Интересует сотрудничество. Может связаться?
@usota
2 жыл бұрын
Добрый день, напишите пожалуйста в любой мессенджер - контакты оставил в описании.
@mychinacar
2 жыл бұрын
А как собрать объявления со всех страниц?
@usota
2 жыл бұрын
Чтобы собрать объявления со всех страниц - запустите запрос в цикле. Как выглядит запрос можно посмотреть, если перейти на любую страницу пагинации. Кстати, опытным путём выяснилось, что авито отдаёт максимум 1000 объявлений. Поэтому чтобы собрать все объявления, нужно будет дробить условия поиска.
@mychinacar
2 жыл бұрын
@@usota спасибо!
@wanwight5593
2 жыл бұрын
Непонятно, а как искать эти запросы с json? Просто вручную смотреть отклики? На циане я скопировал id из ссылки на товар и в поиске во вкладке сеть, нужный ответ находится. А в яндекс недвижимость поиск по сетевым ответам находит только "sslwidget.criteo" там пусто, а нужный запрос можно обнаружить если только вручную перейти по ссылке, т.к. ответ яндекса слишком большой и в превью он пишет "Request content was evicted from inspector cache". Вы говорите вот он запрос, а как вы его нашли, на что ориентировались не понятно?
@usota
2 жыл бұрын
Перебираю все запросы вручную и просматриваю каждый, ищу, пытаюсь понять, как работает. Эта работа делается всегда, когда начинаешь работать с новым сайтом. К 10 сайту ты уже нарабатываешь опыт и интуитивно начинаешь различать, что лишнее, а где может быть нужный ответ. К сожалению, пока готовой схемы у меня нет.
@nickklick5824
2 жыл бұрын
у тебя сейчас работает парсер авито? а то у меня перестал...
@usota
2 жыл бұрын
Я этот проект уже не веду, возможно что-то поменялось. Но если что-то открывается в браузере, значит это можно спарсить.
@@torbokovsanat не сталкивались случайно, если делаешь эту комбинацию, выводится надпись no line changed: content is already properly formatted. При этом json также весь в кучу
@torbokovsanat
2 жыл бұрын
@@МаксимВойтович-е8м нет. У меня всё как на ролике показано отработалось
@usota
2 жыл бұрын
Попробуйте открыть в другом редакторе, например VSCode
@downtester
2 жыл бұрын
@@МаксимВойтович-е8м Когда файл data.json больше 2.56 Мбайт, то такая же петрушка. Его не отформатировать средствами PyCharm
@kich_prog1623
2 жыл бұрын
Могли бы вы сделать гайд на подключение прокси, так как Авито забанило меня по IP.
@usota
2 жыл бұрын
В четвёртой части есть о том, как подключить прокси.
@kich_prog1623
2 жыл бұрын
@@usota Спасибо!
@alexbun2031
2 жыл бұрын
Приветствую! Что делать с ошибкой отображения кириллицы ? P.s. знаки вопросов
@usota
2 жыл бұрын
Приветствую, мало информации. Проблема точно с кодировкой, главное понимать, в каком месте её нужно указать, чтобы кириллица распознавалась правильно.
@alexbun2031
2 жыл бұрын
Пытался прикрепить скрин, но Ютуб все удаляет. Ошибка происходит при исполнении скрипта. Кусок скрипта, который вы запускаете на 4.30
@usota
2 жыл бұрын
@@alexbun2031 Возможно что-то с настройками интерпретатора. Попробуйте в другом редакторе запустить скрипт.
@dd-pe5dp
2 жыл бұрын
хм, а я только селениумом смог распарсить((
@usota
2 жыл бұрын
Главное результат) Кстати, авито тоже отдаёт чистый json без всех этих танцев, что я показываю. Но на момент записи видео, я ещё об этом не знал. Обязательно расскажу про это в третьей части, когда будем обсуждать прокси.
@lordlord5548
2 жыл бұрын
устанавливаю selectolax в env python3 и выдает ошибку no module named selectolax, кто сталкивался?
@usota
2 жыл бұрын
Возможно окружение не активировано, поэтому скрипт и не может найти модуль
@lordlord5548
2 жыл бұрын
@@usota спасибо за отклик, да активировано, все равно не видит почему то
@usota
2 жыл бұрын
Напишите в чат телеграмм, коллективно быстрее решим вопрос) Ссылка на чат есть в описании
@lordlord5548
2 жыл бұрын
@@usota добро, спасибо
@torbokovsanat
2 жыл бұрын
Народ кто нибудь сталкивался с ошибкой 403 при возврате response = requests.get(url=url) ??? месяц авито парсер норм, сеогдня ночью выдает такую ошибку
@usota
2 жыл бұрын
Ошибка 403 - доступ запрещён. Надо искать ошибку, поменять IP, куки, заголовки headers, может просто подождать.
@andrey0333
2 жыл бұрын
@@usota У вас работает ваш авито парсер на сегодняшний день? У меня второй день ошибка 403. И куки менял юзерагента, и на vds запускал, ничего не помогает)
@usota
2 жыл бұрын
Да, тоже не работает., пока не нашёл решение.
@usota
2 жыл бұрын
Ничего не делал, сейчас опять заработало.
@andrey0333
2 жыл бұрын
@@usota странно. Завтра попробую. А вы куки передаёте в запрос?
Пікірлер: 146