Lembrando que o pupeteer consome memória pra caramba, se for deixar em produção, indico fortemente deixar separado da sua api! Parabéns kaike👍
@maykbrito
4 жыл бұрын
Ótima informações Felipe. Obg pelo feedback ❤️❤️❤️❤️
@FBI-ri8hu
4 жыл бұрын
Vindo do Chrome já dá pra saber o tanto de ram que vai precisar
@joaopinto1428
4 жыл бұрын
Quanto devo ter de memória pra funcionar bem o pupeteer Felipe?
@felipehuggler
4 жыл бұрын
@@joaopinto1428 depende da quantidade de acessos. Mas no minimo 1gb ... faça um teste de carga, use ferramentas de monitoramento como new relic por exemplo, e vc vai ter a base mais ou menos.👍
@joaopinto1428
4 жыл бұрын
@@felipehuggler valeu!
@MarcusPaulo
4 жыл бұрын
Parabéns Mike e Rocketseat pelo excelente vídeo. 🚀
@rocketseat
4 жыл бұрын
Valeeeeeu Marcus pelo feedback!! 💜
@helioadriano5884
4 жыл бұрын
Que aula sensacional professor.
@JohannyLS
4 жыл бұрын
Muito show. Aprendi bastante!
@antoniocarloszxc
3 жыл бұрын
Tem como compactar tudo em um "exe" ?
@JohnDoe-ng6ec
3 жыл бұрын
Em geral, como que se faz um "exe"? Nunca pesquisei sobre isso. Tu tem algum lugar daora pra aprender?
@antoniocarloszxc
3 жыл бұрын
@@JohnDoe-ng6ec Tem algumas aplicações que fazem isso(ex: PKG), mas quando crio o pacote ele não execulta o puppeteer...
@mateuscamposSD
4 жыл бұрын
Muito bom, Webscraping é algo util demais quando você precisa fazer caso de uso. Esse vídeo veio na hora certa. Gostei de uma aplicação e não soube como refazer. Agora eu sei. Mayk super professor, daqui a pouco os cursos pagos que ensinam coisas que não agregam tanto valor quando os seus ensinos vão ter que se reinventar pois o de graça ta sendo melhor que os pagos! LIVRE LEVE LIKE
@mrrs8994
4 жыл бұрын
Sempre top mega Power!!! Antes das minhas sugestões, me recomenda algum lugar onde eu possa comprar layouts de sites no figma (do jeito que vocês fazem no NLW)?? Novas sugestões: - instalar e usar o docker fazendo um contêiner de um sistema simples (algum sistema já criado mesmo); - Fazer deploy de um container do Docker (não sei se é possível, mas seria assim: subir um container que usa node em uma hospedagem que não usa node).
@EmpreendedoresdoBEM
4 жыл бұрын
Show! Melhor didática do youtube! parabéns 👏👏👏👏👏 um CodeDrops de Svelte seria TOP...
@skyknight1989
4 жыл бұрын
Mikão é um monstro! simples, rápido, didático e simpatia de sobra! top!
@JosePabloYuhigawa
4 жыл бұрын
Pra esse tipo de extração de dados sem estar por trás de um login, ou alguma manipulação complexa da página, o CheeriosJs é mais rápido.
@maykbrito
4 жыл бұрын
siiimmm. gosto muito do cheerio também ❤️❤️❤️❤️
@WandersonMorellato
4 жыл бұрын
É possivel criar um executável com o CheeriosJs ? Teria alguma página que vc poderia indicar?
@aquicnpj
3 жыл бұрын
@@WandersonMorellato mesmo com puppeteer, da certo, basta usar a biblioteca PKG do node
@LuisClaudioQF10
4 жыл бұрын
Esse vídeo caiu como uma luva! Depois de 35 vídeos e sites (ou até mais), descobri que a Rocketseat já tinha um vídeo isso hahahaha e foi esse que me ajudou a resolver a minha aplicação. Obrigado, Mayk e Rocketseat pelo excelente conteúdo! Dia 12 tamo lá na NLW
@rocketseat
4 жыл бұрын
Hahahahaha 😄😄. Que massa Luis! Nos vemos por lá então!! 😍🚀
@raspaes3899
3 жыл бұрын
Maykão, vc poderia mostrar uma maneira de "executar esse evaluate" em uma versão do Js puro? Ps: Eu codei um bot que baixa os stories (fotos e vídeos), separa em pastas com seus respectivos nomes, e guarda na minha máquina. Mas, queria muito entender isso, com o JavaScript puro.
@imperiando
3 жыл бұрын
Amigo, como conseguiu criar um bot pra baixar os stories?
@raspaes3899
3 жыл бұрын
@@imperiando Olá, eu usei o Puppeteer, o modulo fs e https do node. procure a documentação do Puppeteer. Lambrando que o que eu criei é para quem usar o instagram no pc e não no smartphone, certo?
@leonardosouzaconradodesant6213
Жыл бұрын
Obrigado por compartilhar!!! Fiz e funcionou tudo certinho
@kelvinlima02
Жыл бұрын
Pegou o seu? O meu não ta abrindo o Instagram pelo Chromium do puppeteer
@richcarvalho646
4 жыл бұрын
O cheerio também permite fazer isso, só que ele não abre um browser, é parecido com o beautifulsoup do Python.
@rodrigoferreiradossantos7873
4 жыл бұрын
Tentei usar o Cheerio no meu TCC e tive umas limitações. Só consegui executar com o Puppeteer. Queria que fosse ao contrário, pois o Puppeteer pode ficar bem pesadinho por abrir páginas do Chrome...
@krat0z226
3 жыл бұрын
@@rodrigoferreiradossantos7873 o que vc fez no seu TCC que teve que usar exclusivamente o Puppeteer?
@davidelias9209
4 жыл бұрын
So uma informação adicional cuidado onde vocês iram usar Web Scraping, alguns sites proíbem essa pratica, dando até processo para o envolvido
@GameplaysDuvidosoZ
4 жыл бұрын
Mas isso no uso indevido dos dados, não? Pq o Puppeteer nada mais é que um Chromium rodando em background. É o mesmo caso de você baixar manualmente e usar de forma indevida.
@machinzero2139
2 жыл бұрын
@@GameplaysDuvidosoZ Foi isso que eu pensei, utilizando dados de terceiros manualmente ou de forma automático com scraping dá no mesmo. O problema não é o scraping, e sim os direitos autorais kkkkk
@pedroterra8718
3 жыл бұрын
Comigo acontece uma parada que não sei se tá certa. Em modo headless, coloquei pra imprimir o título da página e me retornou Página não encontrada, o que não acontece quando faço o mesmo abrindo o navegador.
@AlbertoVeloso
3 жыл бұрын
Resolvi configurando o agent Pedro: await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36');
@programandocomandersonsouza
3 жыл бұрын
@@AlbertoVeloso sua dica resolveu meu problema. Obrigado.
@LucasGenari
3 жыл бұрын
Uma boa ideia pra ficar monitorando quando chega ps5 na amazon hahaha
@rocketseat
3 жыл бұрын
Olha que não é uma má ideia... 👀 😛 💜
@reinaldocouto7964
Жыл бұрын
Precisei de uma linha a mais de código para rodar deve aguardar o carregamento da primeira imagem na página antes de extrair todas as imagens, garantindo que você obtenha uma lista completa de imagens na saída. " await page.waitForSelector('article img'); "
@TiagoSantiniDaSilva
9 ай бұрын
Nossa que top web scraping , estou fazendo faculdade de DSM e teve uma palestra sobre raspagem de dados , mas ensinaram a fazer com python , dai tipo pega todo codigo fonte , html css e js do site , vou ver procurar pra ver se tem como fazer com js. Mas é muito legal praticamente cria um robo e manda ele fazer o que vc quiser top, parabens pelo video.
@eliseu_dev
3 жыл бұрын
se alguém ai deu erro na hora de executar o comando node index.js. é só rodar esse 'node node_modules/puppeteer/install.js' que resolve o problema.
@LareanTech
Жыл бұрын
boa madrugada, eu consigo rodar ele no terminal ubuntu server20.04?
@carlosfaita
2 жыл бұрын
Queria muuito seguir a aula, mas o puppeteer nao roda com wsl, já procurei solução e gambiarra, mas e um problema com a versão. Mas muito bacana o conteudo
@kaducarmo1874
Жыл бұрын
cara to assitindo seu video em 2023 e foi o unico video bem explicado que achei na internet, explicacao clara, objetiva e direto ao ponto, muito obrigado pelo seu conteudo e ganhou mais um inscrito. Abracos
@reinaldocouto7964
Жыл бұрын
O que seria de nós iniciantes se não fosse vocês da Rocket?. #MM MaykMonstro!
@thatianagimenez9963
2 жыл бұрын
Oi boa tarde tudo bem? Gostaria de te contratar pra um trabalho free lance. Estaria interessado? Aguardo seu retorno ok, obrigada
@principe.borodin
4 жыл бұрын
Eu faço webscapping com request e cheerio, o cheerio age como o jquery no backend, ae facilita o scrap, e o request, faz o request mesmo...inclusive com paginas com login, eu faço login, guardo o cookie e entro nas paginas protegidas, so com esses 2.
@pedrohenriquedeveloper4890
2 жыл бұрын
Sim, também faço isso, usar puppeteer gasta muita memória a toa
@leonardoprimieri8987
4 жыл бұрын
Quando usar o FS e quando usar um banco de dados? O FS seria mais pra testes, certo? Ou em aplicações pequenas posso usar?
@alison.aguiar
4 жыл бұрын
Você respondeu, geralmente em produção pode usar tbm porém vc vai ser responsável por fazer o backup dos arquivos, que é muito chato
@rbilvideos4552
3 жыл бұрын
Amei o video, no meu as imagens não aparecem, só aparece como se tivesse sendo carregada não printa nehum erro no meu console e ja verifiquei todos codigos estao corretos
@jarbassomonet1813
2 жыл бұрын
bom dia, seguindo a aula não carregou as imagens. Não deveria ter uma prate de login antes para após entrar na pagina e fazer a captura das fotos?
@BrunoSouza-fu4gp
2 жыл бұрын
no meu caso, o script não ta rodando por que não está logado no insta, alguém sabe como resolve?
@HerlonCosta
2 жыл бұрын
Explicação mais simples de uma IIFE que eu já vi desde que comecei a estudar. Show demais Maykão!
@damaziomelo9690
2 жыл бұрын
da pra colocar um registro de hora q foi salva a imagem? no caso salvar o texto da div + a imagem q o texto ta por cima...?
@eu_gosto_de_pudim1011
3 жыл бұрын
As thumbnails das imagens não estão aparecendo no meu.
@inumerosnumerosnatan211
Жыл бұрын
eu literalmente copiei e colei seu codigo, mas nao funcionou. Oq pode ter acontecido?
@elvesgomesnevessantos4757
2 жыл бұрын
opa, quando é o Mayk Brito, eu já deixo meu like antes de ele falar.
@arielton
4 жыл бұрын
muito massa! aqui só num deu certo acessar o instagram sem login, tá abrindo na página de autenticação :c
@ikaio9556
4 жыл бұрын
Maykão se liga na API que fiz intock-sv.umbler.net, ela vasculha o instagram baixa todas as imagens que ela encontrar e envia para um CDN aqui meu, ai ela lista tudo na api
@pedrohenriquedeveloper4890
3 жыл бұрын
Nem precisa de puppeteer basta usar um ?__a=1 no final da url, tipo: instagram.com/filipedeschamps/?__a=1 já retorna um json bonitinho
@ronaldo0grande
2 жыл бұрын
video maravilhoso, explicacao do mykao eh foda. mas a magica em 14:00 fico meio dificil de acompanhar pra mim, que tenho pouca intimidade com JS
@alexsandroxavier5373
2 жыл бұрын
Ele tem um array de objetos. O map é como se fosse um for onde retorna um array. Então para cada elemento desse array dele, ele cria uma LI.
@matteogalfano
4 жыл бұрын
Maykão! Cara, conteúdo muito fera... Queria fazer um pedido se possível. Que tal um vídeo mostrando como pegar a imagem e o conteúdo da foto do instagram? Descrição, título, autor da foto, coração, símbolo de enviar mensagem etc... Abraço!
@SniperElitexD
4 жыл бұрын
Hoje eu estava pesquisando isso também para um projeto...
@FabioAraujoGoogle
4 жыл бұрын
Pessoall, como posso fazer um scraping com páginas dinâmicas, por exemplo na página de pesquisa do Google ou do Freed do Facebook ?
@ikaio9556
4 жыл бұрын
existe uma opção no puppeteer chamada .waitFor() ela serve para esperar um tempo no navegador, eles tem uma documentação é só pesquisar
@tatupreto742
2 жыл бұрын
no meu não aparece como imagem, só o link da imagem, fiz algo errado?
@williammendes7664
2 жыл бұрын
Por algum motivo quando o IG abria, demorava um pouco para carregar e não conseguia baixar as imagens. Adicionei um delay e funcionou. Talvez seja útil para outra pessoa function delay(n){ return new Promise(function(resolve){ setTimeout(resolve,n*1000); }); }
@jorgelucas7494
2 жыл бұрын
O meu deu esse problema, como você usou o delay ?
@maurorante1
Жыл бұрын
Posso lhe fazer uma pergunta? Como faço uma aplicação em HTML ou PHP que use o PUPPETEER em uma hospedagem CPANEL.
@kelvinlima02
Жыл бұрын
Rapaz, o PHP é outra biblioteca pra fazer webscraping.
@Guarumidia
8 ай бұрын
não sei se mudou muito, mas tento de todas as formas e não roda mais para fazer esse print
@wellintonsantos2136
2 жыл бұрын
qual programa vc uso pra fazer este codigo
@TiagoCaus
3 жыл бұрын
Como passar por um reCaptcha? Tem algum video?
@WandersonMorellato
4 жыл бұрын
Olá pessoal, estou precisando muito criar um pkg com Puppeteer JS mas quando executo um dos comandos: >pkg . ou >pkg index.js --out-path ./build sempre da o erro abaixo. > Warning Cannot include directory %1 into executable. The directory must be distributed with executable as %2. %1: node_modules\puppeteer\.local-chromium %2: path-to-executable/puppeteer Alguém poderia me ajudar?
@antoniomarcoscastrodequeir1975
3 жыл бұрын
No caso o Chrome que é baseado no Chromium, não?
@RafaelGomes01
4 жыл бұрын
Show!! Um toast notification nos próximos code drop seria bacana.
@diegojob8084
Жыл бұрын
Consigo criar isso com docker compose??
@gustavoglu
3 жыл бұрын
Meu código conseguiu criar o instagram.json mas o Array ficou em branco, alguém sabe o que pode resolver?
@rocketseat
3 жыл бұрын
Faaaaala, Gustavo! Bora levar sua dúvida lá pra nossa comunidade no Discord! 💜
@dymonn
2 жыл бұрын
cara muito boa tuas explicações!
@leandrovalledeavila3567
3 жыл бұрын
muito bom este video. Parabens
@wilsonsantos9751
2 жыл бұрын
Eae Mayk blz ? cara tem como usar o Puppeteer directamente no front do vuejs ? quero extrair umas informação para o meu front
@kelvinlima02
Жыл бұрын
Tem não pois a biblioteca é muito grande pra fixar no front. Vc pode fazer do jeito q ele fez e criar o json, deixando o front acessar só esse arquivo
@marlonvictor9901
4 жыл бұрын
Eu consigo manter esse backend "rodando" automático pra quando adicionar uma foto no Instagram o robô já pegar ela e jogar na minha aplicação?
@ericdouglas1990
4 жыл бұрын
acho que dai teria que ficar em um servidor ou vc nunca desligar o seu note ou pc
@walyssonpaiva
4 жыл бұрын
sim, eu fiz um bot pro whats uma vez q ficava esperando novas mensagens, deve ser o mesmo princípio
@marlonvictor9901
4 жыл бұрын
@@walyssonpaiva Você só hospedou o servidor?
@walyssonpaiva
4 жыл бұрын
@@marlonvictor9901 sim, eu hospedei em um servidor próprio
@arthurdenner7
4 жыл бұрын
Não sei se você vai conseguir pegar uma imagem imediatamente após ser postada porque nunca usei a API do Instagram, mas você pode hospedar esse back-end em algum lugar (no Heroku ou Vercel é bem fácil de hospedar) e criar um cron job para realizar o scraping a cada X minutos.
@rromagnoli1
3 жыл бұрын
parece que não está mais retornando com o headless true... alguém sabe pq? desde já, agradeço
@BrunoSouza-fu4gp
2 жыл бұрын
é pq é false, vc vai colocar headless: false.
@joaoviitor9021
2 жыл бұрын
Acha ele melhor que o selenium ?
@stapait
4 жыл бұрын
Muito top. Parabéns pelo conteúdo.
@maykbrito
4 жыл бұрын
Valeu Fábio
@Matt-pd8vm
4 жыл бұрын
Mais um vídeo fantástico Mayk
@RonisonRodrigues
4 жыл бұрын
tá, que macumba é essa? eu tava nesse exato momento estudando sobre o Puppeteer JS pra usar em um projeto e do nada vocês postam um vídeo sobre ele
@maykbrito
4 жыл бұрын
hahahha que louco isso né? Estamos lendo mentes agora Ronison ahaha
@hendcode
Жыл бұрын
Seria legal ter algum video ensinando a fazer o Deploy de uma aplicação usando o puppeteer. Pq é bem chato fazer o deploy delas.
@jonathasribeiro6862
4 жыл бұрын
Alguém tem mais duvida que a Rocketseat é a melhor escola de programação do Brasil, os cara fazem de tudo, só to esperando ele criarem uma masterclass ou CodeDrops de como fazer uma cafeteira com alguma Lib chamada CoffeMachine.js hahahah
@rocketseat
4 жыл бұрын
Essa também queríamos hahahah 😍😍
@hoid7572
4 жыл бұрын
No lugar de copiar a nodeList usando o operador spreed não é mais viável utilizar Array.from(nodeList) ? uma vez que você não vai expandir com outros conteúdos a não ser o que vem do querySelectorAll, eu achei mais performático isso é verdade ? me bateu essa dúvida aqui
@douglasandrade5199
3 жыл бұрын
Gostei muito do vídeo!
@NetoHeitor
4 жыл бұрын
Eu consigo com essa lib logar em um site e fazer o download de um arquivo xml?
@maykbrito
4 жыл бұрын
sim rsrs é bem divertido
@Rafinha17N
4 жыл бұрын
Muito irado. Mas tentei fazer com typescript porém da does not exist on type 'NodeListOf' :(
@ILovePiper
2 жыл бұрын
Obrigado pato papão!
@hugonaamancastro5824
3 жыл бұрын
A aula ficou maravilhosa, parabéns pessoal. Infelizmente com a política do Instagram de não permitir o acesso ao conteúdo dos perfis, tive que fazer uma gambiarra para resolver.
@joaopinto1428
4 жыл бұрын
Puxa vida... isso é incrível... Obrigado Mayk Brito... Já sei...
@gabrielsmartins7550
4 жыл бұрын
Maikão manja muito
@luanpetruitis6261
4 жыл бұрын
Alguem tem no github o código, com os desafios feitos? Ou conseguiu fazer o download das imagens? Estou tentando e não consigo
@juaooliveiralp
4 жыл бұрын
Alguem teve esse problema também ? 'Tempo limite esgotado após 30000 ms ao tentar se conectar ao Chrome! '
@leandromangueirati4733
4 жыл бұрын
show... mestre tem como no lugar de ser uma url de uma site colocar o robô pra buscar imagens na web? tipo mandar ele buscar fotos de um produto a partir de uma planilha com códigos de barras independente do site... desde já agradeço pela aula, vocês são #phoda
@leonardolucio3053
3 жыл бұрын
Boa tarde, estou aplicando isto em 05/2021, e estou com problema nos cors, alguem tem alguma ideia? consigo garimpar os dados e salvar eles no json, porem ao enviar esses dados para o frontend, ele me retorna o erro get: Failed to load resource: net::ERR_BLOCKED_BY_RESPONSE
@brichardev6099
3 жыл бұрын
Mesmo erro aqui
@rbilvideos4552
3 жыл бұрын
@@brichardev6099 manda teu codigo por experiencia propriaas vezes a diferença entre uma letra maiuscula e outra minuscula pode dar uma grande confusão
@robsssn
2 жыл бұрын
minhas imagens não carregarram ficaram so no 'alt', pq a url nao informa a extensao da imagem, como resolver?
@MatheusSilva-qm3ph
2 жыл бұрын
Já coloca a extensão que é necessária!
@claudiocastro7609
2 жыл бұрын
Salvou meu dia! Precisava extrair links da página de busca do Google. Só precisei alterar os argumentos no callback do map. Show de bola! Valeu Mayk!!!
@willian2s
4 жыл бұрын
Não é possível, Rocketseat lendo mentes kkkk Vlw
@rocketseat
4 жыл бұрын
Nós já dissemos que lemos, não sei porque não acreditam! 🔮🔮
@joasjunior6223
3 жыл бұрын
alguem sabe como faço para o json atualizar sozinho quando hospedar a aplicação? ou ele ja faz isso por si quando entrar no site?
@GustavoBezerraRodrigues
3 жыл бұрын
Eu to tentando pegar o puppeteer, pra adaptar num projetinho, mas queria saber qual mastercless fala sobre o fs (file system)
@robsoncampos7884
4 жыл бұрын
F A N T Á S T I C O !!!!
@matheussouza6518
4 жыл бұрын
Ótima aula professor, estava procurando algo para extrair informações de outros sites XD
@maykbrito
4 жыл бұрын
Sensacional Matheus 🎉🎉
@LucianoMendes
3 жыл бұрын
Daora demais
@pedrohenrique-ot3ib
3 жыл бұрын
Galera, puppeteer não instalou, deu um erro .. alguém sabe oq pode ser?
@MarcosVas
3 жыл бұрын
Esse cara é um mito!
@principe.borodin
4 жыл бұрын
Na verdade eh o contrario, o chrome é baseado no chromium, pq o chromium é aberto, o chrome nao....
@CardosoPauloAndre
Жыл бұрын
top de mais😃
@kcapt96
2 жыл бұрын
Muito bem, dos melhores tutorials de Puppeteer. Recomendo.
@sandroff
2 жыл бұрын
Show....
@gettudo
3 жыл бұрын
Alguém sabe dizer se tem como deixar executavel?
@marioluiz8323
3 жыл бұрын
com electron
@MiltonRAlves
4 жыл бұрын
Muito top, parabéns pelo conteúdo!!
@maykbrito
4 жыл бұрын
Valeu Milton
@zanzaraloggan3713
4 жыл бұрын
Maykão tá parecendo Prince nesse vídeo
@luisrodrigues678
3 жыл бұрын
Muuuito bom!! Como fica em produção, eu consigo criar um service na aws, por exemplo, e disparar ele sempre que eu precisar?
@eduaugusto101
Жыл бұрын
excelente video! voz de dublador kk
@unk9
Жыл бұрын
Seu código rodou, irmão? O meu fica dando problemas ao carregar as imagens por causa da política CORP. (net::ERR_BLOCKED_BY_RESPONSE.NotSameOrigin 200)
@matheusgabriel794
2 жыл бұрын
Detalhado, ditádico e prático. Muito Obrigado pelo tutorial.
@LucasOliveira-ny6kw
3 жыл бұрын
.
@ahlecqsrd8678
3 жыл бұрын
Como faz pra usar o Chrome em vez do Chormium no Puppeteer?
@helloestouaqui3438
4 жыл бұрын
Partiu fazer maratona dos vídeos do mayk
@danteanjos_
3 жыл бұрын
Show de bola! Me pintou uma dúvida sobre essa prática de scrapping... Até que ponto podemos pegar informações de sites? Ex. Posso garimpar de qualquer site sem medo de ser processado por algum motivo hahahh?
@kelvinlima02
Жыл бұрын
Acho que se vc não reproduzir coisas com direitos autorais ou tentar vender os mesmos, pode pegar de tudo que esteja público. Mas tem que usar com sabedoria e vê as licenças do q vai pegar
Пікірлер: 254