katana.md 1.4 KB

katana

자동화 파이프라인에서의 실행에 중점을 둔 빠른 크롤러로, 헤드리스 및 비헤드리스 크롤링을 모두 제공합니다. 같이 보기: gau, scrapy, waymore. 더 많은 정보: https://github.com/projectdiscovery/katana.

  • URL 목록을 크롤링:

katana -list {{https://example.com,https://google.com,...}}

  • Chromium을 사용하여 헤드리스 모드로 URL 크롤링:

katana -u {{https://example.com}} -headless

  • subfinder를 사용하여 서브도메인을 찾고, [p]a[s]sive 소스(Wayback Machine, Common Crawl, AlienVault)로 URL 검색:

subfinder -list {{경로/대상/domains.txt}} | katana -passive

  • 프록시(http/socks5)를 통해 요청 전달하고 파일에서 사용자 정의 [H]eaders 사용:

katana -proxy {{http://127.0.0.1:8080}} -headers {{경로/대상/headers.txt}} -u {{https://example.com}}

  • 크롤링 [s]trategy, 크롤링할 하위 디렉토리의 [d]epth, 속도 제한(초당 요청 수) 지정:

katana -strategy {{depth-first|breadth-first}} -depth {{값}} -rate-limit {{값}} -u {{https://example.com}}

  • subfinder를 사용하여 서브도메인을 찾고, 각 서브도메인을 최대 시간 동안 크롤링하며 결과를 [o]utput 파일에 저장:

subfinder -list {{경로/대상/domains.txt}} | katana -crawl-duration {{값}} -output {{경로/대상/output.txt}}