jekyll에 robots.txt 추가하기
• jekyll
jekyll에 robots.txt를 추가해서 검색엔진 노출 빈도를 높여 보자
구글의 지침을 따르자면, 웹 크롤러의 검색을 돕기 위해선 robots.txt를 index.html이 존재하는
프로젝트 루트에 두어야 하는 모양입니다.
검색을 통해서 jekyll용 robots.txt를 찾았습니다.
jekyll에 robots.txt추가하기
# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
User-agent: *
Disallow: /
Allow: /blog
Sitemap: http://cinos81.bitbucket.org/blog/_site/sitemap.xml전 모든 디렉토리를 검색하지 않도록 만든 후에, 블로그만 크롤링 하도록 명시했습니다.
음? sitemap.xml 이라는 것도 같이 올려야 하나 봅니다.
jekyll용 sitemap 플러그인 설치하기
sitemap.xml을 생성하는 플러그인을 설치합니다.
# gem install jekyll-sitemap
그 후, _config.yml에 다음과 같은 내용을 추가합니다.
gems: [jekyll-sitemap]
sitemap이 생성됩니다.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://cinos81.bitbucket.org//jekyll/2016/01/23/addRobotTxt.html</loc>
<lastmod>2016-01-23T00:00:00+09:00</lastmod>
</url>
<url>
<loc>http://cinos81.bitbucket.org//buys/2016/01/21/littlebitsArduino.html</loc>
<lastmod>2016-01-21T00:00:00+09:00</lastmod>
</url>
...후략..그럼 robots.txt가 정상적으로 동작하는지는 어떻게 확인하지?
구글 웹 마스터 도구를 활용하니,
robots.txt와 sitemap.xml을 크롤러 입장에서 확인해 줄 수 있게 도와주는군요.
한글로 구성되어 있어서 별 무리없이 디버깅을 할 수 있었습니다.
