SEO
구글 검색엔진이 어떻게 작동하는지 알아 보자
목차구글 검색엔진의 작동 1. Crawling - 크롤링 - 정보수집 구글 크롤링 과정 1. 시작점 - 이미 알고 있는 웹 페이지 목록이나 웹마스터가 제출한 사이트맵을 기반으로 시작 2. 링크 따라가기 - 웹 페이지를 방문하고 링크를 따라 이동 및 크롤링 3. 정보수집 - 각 웹 페이지의 컨텐츠와 링크 정보를 수집하고, robots.txt 파일을 확인 하여 크롤링 허용 여부를 판단. *robot.txt 는 웹사이트 루트 디렉토리에 위치하는 텍스트 파일로, 특정 페이지의 수집 가능 여부를 봇에게 전달. -역활 서버부하 감소 개인정보 보호 - robots.txt 내부 내용 ..
2024. 5. 30. 16:05