일반적으로 robots.txt 파일을 이용하여 검색로봇을 제어하기 마련인데 파일을 업로드할수 없는 환경이라면 무용지물이었어요.

그러나 아래에 방법으로 html 문서내에서 검색로봇을 제어할수 있게 되었어요.


 Meta Tag

 문서 수집

 링크수집

 <meta name="Robots" content="ALL">

 O

 <meta name="Robots" content="index,follow">

이 문서 수집 O

링크된 문서 수집 O 

 <meta name="Robots" content="noindex,follow">

이 문서 수집 X 

링크된 문서 수집 O

 <meta name="Robots" content="index,nofollow">

이 문서 수집 O

링크된 문서 수집 X

 <meta name="Robots" content="noindex,nofollow">

이 문서 수집 X

링크된 문서 수집 X




 

 


+ Recent posts