Евгений, спасибо! Очень нравятся видео на тему парсинга. Продолжайте в том же духе!
@usota
2 жыл бұрын
Спасибо ☺️
@EvgeniySakharov
Жыл бұрын
Тёзка, здравствуйте. Смотрю видео. Дошел до момента -Вступайте в чат- и вступил.))) 1 156 человек уже в чате. Начал парсить, вопросов куча. Уверен, там помогут. Почему уверен? У меня есть подобный чат по питону. Там всегда ребята помогут. Постебаются, как же без этого?! Но не со зла. Так, смеха ради. Но помогают. А тут еще и парсинг. Так сказать узконаправленный чат. Класс!
@mihun4ik
2 жыл бұрын
Спасибо за гайд! Будет полезно новичкам как урок для простого реверса
@makedatauseful1015
2 жыл бұрын
Спасибо большое за видео. Вы ответили на многие вопросы.
@odinMillion
2 жыл бұрын
Ну хоть один человек сделал толковое видео
@kyrylo7795
2 жыл бұрын
Супер! Было полезно, спасибо!
@forzzplay
2 жыл бұрын
Очень круто, спасибо!!!
@unknjown
Жыл бұрын
способ помог, обошел проверку ботов через undetected_chromedriver и сохранил страницу с запросом api как html и через lxml уже все распарсил и получил чистый json
@usota
Жыл бұрын
Отличное решение 👍
@АндрейКулагин-е1ш
Жыл бұрын
Только undetected_chromedriver помог? без селениума совсем никак сейчас не распарсить?
@unknjown
Жыл бұрын
@@АндрейКулагин-е1ш без селениума не получилось, так же пытался воспользоваться cloudscraper (requests) и увы не вышло
@bill8126
Жыл бұрын
Добрый день, отличный контент у Вас, дико недооцененный канал ! Сделайте пожалуйста обучающее видео, как заполнить форму авторизации пост запросом, только не на простеньком сайте, а на каком нибудь популярном, потому что популярные сайты, ставят всякие препоны джаваскриптами и прочим, чтобы это было сделать сложно
@мишамихайлов-х2р
2 жыл бұрын
Потратил несколько дней чтобы понять, что спарсить по этой методе не получится из-за cloudflare , а потом прочёл описание к видео
@usota
2 жыл бұрын
Да, в парсинге постоянно всё меняется. Но это хорошая новость - без работы не останемся )
@мишамихайлов-х2р
2 жыл бұрын
@@usota ждём видео как обойти))
@usota
2 жыл бұрын
Любое видео по selenium
@АлександрСмирнов-р5м
2 жыл бұрын
спасибо
@TheDoartLos
Жыл бұрын
в этом api запросе не нашел одного из самого главного - цены, кто-нибудь в курсе откуда ее вззять?
@TheStrix1
6 ай бұрын
хорошо когда ты шаришь (( а я как баран на новые ворота ((
@usota
6 ай бұрын
Поверьте, я тоже знаю чуть больше 1%. Опыт приходит со временем.
@TheStrix1
6 ай бұрын
так понимаю такими рода запросами не получится пользоваться - озон быстро забанит либо капчу выставит
@usota
6 ай бұрын
Да, этот способ уже не актуальный.
@kirik_bog
Жыл бұрын
На 7:52 выдает ошибку requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
@usota
Жыл бұрын
Этот парсер уже не актуален, причина - в описании. Соответственно, ничего не получив, парсер и выдаёт ошибку)
@морскойогурец-и1ф
5 ай бұрын
У меня получилось, только я использовал react js никакую защиту не обходил для работы с api использовал axios
@tomcherrr
Ай бұрын
расскажите подробнее, что именно и как получилось это сделать?
@морскойогурец-и1ф
Ай бұрын
@@tomcherrr короче для api используешь axios и все , если чисто через fetch get запросы то ничего не получится
@tomcherrr
Ай бұрын
@@морскойогурец-и1ф а как удалось имитировать браузер с помощью axios? Если можно, напишите мне на почту, пожалуйста (в описании канала). Третий день уже бьюсь над этой задачей...
@морскойогурец-и1ф
Ай бұрын
@@tomcherrr имитировать браузер? Я на реакт js запускаю локальный сайт в браузере, потом имортирую axios после чего с помощью запросов, получаю нужные мне данные и при нажатии на кнопку у меня выводятся все нужные мне данные уже на моем сайте
@tomcherrr
Ай бұрын
Кажется, я понял. Вы на основе запроса как бы клонируете сайт, получается? А как вы находите запрос с нужными данными? Просто если заходить на озон из headless-браузеров, то Cloudflare не пропустит
@БетаПЛЕЙ-г4н
2 жыл бұрын
Только присоединился к каналу, но пробежал глазами по каналу и немного посмотрел. А нету видео где происходит парсинг двух и более сайтов в одном скрипте?
@usota
2 жыл бұрын
Даже не представляю, когда это может потребоваться. Приведите пример задачи?
@БетаПЛЕЙ-г4н
2 жыл бұрын
@@usota в моем случае поиск работы по стране (не РФ) так как отсуствует общий агрегатор и присутствует большое количество сайтов представляющие вакансии. Фактически они однообразные по структуре.
@usota
2 жыл бұрын
У меня много похожих проектов, но все делаю по одной схеме - под каждый сайт свой парсер с единой базой данных. Так проще обслуживать парсеры. А ломаются они регулярно )
@usota
2 жыл бұрын
Сделайте свой агрегатор 😁
@HyiPizdaSkovoroda
2 жыл бұрын
@@usotaнапример агрегатор ставок букмекерских контор, - вилочники за это готовы платить гигантские деньги ))
@dmitriivanov7010
2 жыл бұрын
А как сделать так, чтобы скачивать инфу по множеству товаров? И ещё Просьба ответить какой редактор json вы используете, а то на видео не очень понятно. Вс, это вижуал студию?
@usota
2 жыл бұрын
Да, VS Code.
@dmitriivanov7010
2 жыл бұрын
@@usota Евгений, спасибо большое за ответ. А есть ли какой-то простой алгоритм парсить json сразу множества товаров. Ну например по товарной группе.
@usota
2 жыл бұрын
Да, алгоритм такой же. Открываем товарную группу и смотрим, по какому запросу отдаётся список товаров.
@ihorrible
10 ай бұрын
а сейчас есть рабочие варианты парсить отзывы с Ozon ?
@Александр-ц2б8к
Жыл бұрын
Добрый день, скрипт до сих пор актуален? Не удается спарсить таким образом на php curl.
@usota
Жыл бұрын
Прямым запросом уже не получится, сайт обнаруживает скрипт.
@Александр-ц2б8к
Жыл бұрын
@@usota спасибо за ответ, есть ли выход?
@usota
Жыл бұрын
К сожалению, в php не знаю. Но мы разбирали этот вопрос в нашем чате t.me/proparsing
@Александр-ц2б8к
Жыл бұрын
@@usota большое спасибо!
@MarkTheCat
2 жыл бұрын
Скачал pycharm, установил requests, повторил все в точности по видео - получаю ошибку 1, в тексте ошибки вижу в начале просьбу включить javascript, а дальше по тексту вступает cloudflare и просит ввести капчу что нужно сделать/установить/настроить, чтобы повторить тот же самый код, что и у вас на видео (на момент получения сырого json в принте в первой трети видео), чтобы все заработало?
@usota
2 жыл бұрын
Код из видео ещё не знал про блокировку, поэтому нужно доработать, может попробовать Селениум
@MarkTheCat
2 жыл бұрын
@@usota то есть с момента записи и публикации видео Озон принял меры против парсинга?
@usota
2 жыл бұрын
Да, с 19 мая по моим ощущениям
@MarkTheCat
2 жыл бұрын
@@usota ждём от вас новый видеоурок 😁
@usota
2 жыл бұрын
Будем разбираться ) Если будут идеи или другие вопросы - пишите в чат по парсингу, там обсуждаем эту тему.
@ОлегШенкер-з8ш
Жыл бұрын
Парсинг одного товара - это конечно круто. Но если мне нужно спарсить категорию. А там нужен поиск товаров. Список адресов. Это уже все реально сложнее.
@vladmindochin
Жыл бұрын
маякните как будет найдено какое-то решение против блокировки
@usota
Жыл бұрын
У нас в телеграм-чате есть варианты решений, ссылка есть в описании, присоединяйтесь
@SashaK-mw6fw
Жыл бұрын
какие плагины вы додавали?
@usota
Жыл бұрын
Не понял вопрос, уточните?
@NizomiddinovNizomidin
Жыл бұрын
The Mezanam
@WrldsporteventsR.Y..V.1992
Жыл бұрын
подскажите плиз, а если я не вижу значка как у Вас поиск, а только масштаб, что делать? 3:58
@usota
Жыл бұрын
Немного не понял вопрос… Окно поиска я вызываю комбинацией клавиш Ctrl + F
@WrldsporteventsR.Y..V.1992
Жыл бұрын
@@usota хотел узнать как вызывать окно поиска, благодарю!
@usota
Жыл бұрын
В консоли есть иконка фильтра
@MixaCooL
2 жыл бұрын
В данный момент данный способ не работает
@usota
2 жыл бұрын
Да, верно - с июня 2022 года сайт защитил доступ к api с помощью CloudFlare.
@usota
2 жыл бұрын
Отличная идея, спасибо 🙏
@rolandwalker4434
Жыл бұрын
А выйдет видео о том, как обойти эту защиту cloudflare ?
@usota
Жыл бұрын
Я думаю не будет. В таких случаях остаётся использовать Селениум. А по селениуму полно видео уже снято, вряд ли я сделаю лучше.
@rolandwalker4434
Жыл бұрын
@@usota Наверное вы правы, спасибо за ответ
@Дмитрий-ю5б5л
Жыл бұрын
@@usota cloufare не обходится sileniumom
@usota
Жыл бұрын
Возможно вы правы.
@GroundStreamTV
2 жыл бұрын
Ну хоть один человек сделай толковое видео
@WrldsporteventsR.Y..V.1992
Жыл бұрын
не работает почему-то 7:50.
@usota
Жыл бұрын
Да, в описании добавил об этом инфо
@WrldsporteventsR.Y..V.1992
Жыл бұрын
@@usota ааа, ок!
@canal-bx8wr
5 ай бұрын
вся суть парсинга сводится к тому, как на этом потом легально заработать иначе это хобби
@usota
5 ай бұрын
Разве парсинг - это нелегально?
@canal-bx8wr
5 ай бұрын
@@usota сам парсинг нет, а вот использование того, что вы собрали в коммерческих целях - уже совсем другое. одно дело, если вы риэлтор, и собрали для себя свежую инфу автоматически, а если вы это завернули в проект, и продаете базу многим клиентам - это уже вам юристы гигантов объяснят. С авторскими правами і тд. Они живут с платных услуг, которые вы у них отбираете. Но все зависит от ваших юристов). Если наложат арест на ваше имущество на время рассмотрения в суде, и не будут никуда спешить. Вам это не понравится. именно по этому он серый))) и лучше делать это не публично. И именно поэтому парсеры только парсят, и дальше не идут(или говорят что не идут). Как и вся муть в телеграм каналах ведь уголовно не наказуемая. Пока вы понемногу стрижете пассивных пользователей. Но когда потери будут у гигантов, сразу найдутся инструменты познакомится с вами)) тоже с серого инструментария.. А дальше у кого шары прочнее. Не каждый умный айтишник - морально крепкий айтишник). Особенно если о нем много информации и рычагов влияния. Или поработаете на дядю на его условиях, если вы хороший спец)). Сейчас люди пропадают даже на высоких должностях, а какого там айтишника удалить не сложно. Или идти в паблик максимально. Но паблик не про парсинг. Там вашим действиям понимания не будет. А если еще подсветят типа "из-за ваших действий сайт лежал 2 дня", ищите где это опровергнуть(на такую же аудиторию).
@usota
5 ай бұрын
@canal-bx8wr вы правы на 100%. Я к тому, что парсинг - это легально. Использовать данные парсинга в коммерческих целях - тоже легально, если все стороны согласны, как например поставщик, который предоставляет данные по API, например тот же Озон для своих селлеров. Парсинг - это обычный легальный бизнес, как и фермерство. Просто нужно знать, какие растения можно сажать, а от выращивания, обработки и продажи каких лучше отказаться. Спасибо за развернутый комментарий. Не понял только про паблик. Что значит идти в паблик максимально?
@canal-bx8wr
5 ай бұрын
@@usota то что поставщик сам дает - это понятно, это детский сад)) но вот если поставщик тратит на защиту от другого парсинга огромные средства, а его данные продают - это уже не хорошо) И за это по рукам дают. И если пришли уже по бесприделу (не спрашивая законен ли ваш парсинг или нет) - иногда публичность может откатить назад подобный наезд. Или вас по тихому закроют, и об этом никто не узнает. Но для этого нужны независимые СМИ.
Пікірлер: 87