[Nokogiri] 네이버 카페 크롤링

[Nokogiri] 네이버 카페 크롤링

네이버 카페를 크롤링 하려고 하는데,

가입된 사람만 볼 수 있습니다! 창이 떴다 흐앙

이럴땐 mechanize gem 을 이용해 주면 된다.

$ gem 'mechanize'

설치시에 unt_f ? 이런거 안깔려있다고 나오는데 sudo 로 설치해주면 깔린다.

example

require 'nokogiri'
require 'open-uri'
require 'rubygems'
require 'mechanize'
​
agent = Mechanize.new
page = agent.get('https://nid.naver.com/nidlogin.login?')
​
naver_form = page.form('frmNIDLogin')
naver_form.id = "naver_id"
naver_form.pw = "naver_pwd"
text = ""
page = agent.submit(naver_form)
​
# 이 이후, 크롤링 할 카페를 url을 넣는다. (모바일 버전으로 들어가자)  
cafe = agent.get("url")
​
# title
title = cafe.css("h2.tit").inner_text
​
# image
cafe.css("img").each_with_index do |p,index|
  p["src"]
end

기본적인 노코기리 기능은 차후에 올리겠다.