JMK no matter what

/quickpost/201002082117

서버가 맨날 I/O 로드가 높다고 경고를 보내서 로그를 뒤져보니 다음봇이 홈페이지를 크롤링 중이었다. 호.. 홈페이지를 발로 짜놨더니 봇이 1초에 한번 온다고 로그가 막 뜨네.. 캐싱도 안되나봐... :'(

뭐... 검색되는 게 중요하지도 않고.... 일단 아파치에서 막아뒀다. -_-;;;;;;;;;;;;;

2010-02-09 12:18:03 | JM | /quickpost/ | 4 Comments

Toivoa 2010-02-09 16:31:42	다음봇을 막은거야? robots.txt로 안되나?
JM 2010-02-10 00:33:58	@Toivoa robots.txt 도 적용했고.. 근데 당장 I/O rate 가 걱정되어 --; short term measure 로 막았지.
dasony 2010-02-12 03:29:30	빙 봇이나 (일본)네이버봇이 문제되는 건 많이 봤지만, 다음봇이 문제 일으킨다는건 처음 듣네. 검색 봇 개발을 계속 하긴 하나보군 ㅎㅎ
JM 2010-02-13 15:42:28	@dasony 한국 빙 검색이 다음으로 넘어갔으니 사실 저건 빙봇? 음?