112 lines
13 KiB
Python
112 lines
13 KiB
Python
#imports
|
|
import requests
|
|
from duckduckgo_search import DDGS
|
|
import tldextract
|
|
import numpy as np
|
|
import threading
|
|
import argparse
|
|
import re
|
|
|
|
#argparse
|
|
def parser():
|
|
parser = argparse.ArgumentParser(description="robust args")
|
|
parser.add_argument("--url")
|
|
parser.add_argument("--codes",nargs="+")
|
|
parser.add_argument("-nosplit")
|
|
parser.add_argument("-cookie",nargs="+")
|
|
parser.add_argument("-uagent",nargs="+")
|
|
args = parser.parse_args()
|
|
runrobust(args)
|
|
|
|
#main function
|
|
def runrobust(args):
|
|
found=[]
|
|
def bust(href):
|
|
headers={}
|
|
if args.cookie:
|
|
headers["cookie"]=" ".join(args.cookie)
|
|
if args.uagent:
|
|
headers["user-agent"]=" ".join(args.uagent)
|
|
try:
|
|
r=requests.get(href)
|
|
splitl=r.text.split("\n")
|
|
splitl=list(set(splitl))
|
|
for line in splitl:
|
|
if "Disallow: " in line:
|
|
if args.nosplit:
|
|
lnsplt=line
|
|
else:
|
|
lnsplt=line.replace("Disallow: ","").split("/")
|
|
for entry in lnsplt:
|
|
entry=entry.split("?")[0].replace("*","")
|
|
entry=entry.split("&")[0]
|
|
if not re.match(entry, "\s") and not tldextract.extract(href).domain.split(".")[0] in entry.lower() and len(entry) < 25 and not entry in found and not "#" in entry:
|
|
r=requests.get(args.url+"/"+entry, allow_redirects=False,headers=headers)
|
|
if str(r.status_code) in args.codes:
|
|
print("found: "+entry+" ["+str(r.status_code)+"]")
|
|
found.append(entry)
|
|
except:
|
|
pass
|
|
|
|
|
|
def split(a,n):
|
|
return(np.array_split(a, n))
|
|
|
|
keywords = "filetype:TXT +inurl:\"robots.txt\""
|
|
results = DDGS().text(keywords, max_results=250)
|
|
results=(href for href in (res["href"] for res in results))
|
|
results=[*results]
|
|
results=split(results,5)
|
|
|
|
for chunk in results:
|
|
threads=[]
|
|
for href in chunk:
|
|
t=threading.Thread(target=bust, args=([href]))
|
|
threads.append(t)
|
|
t.start()
|
|
for t in threads:
|
|
t.join()
|
|
|
|
#banner
|
|
print('''\033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄\033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄▄\033[48;2;224;224;224m \033[38;2;224;224;224;49m▄▄\033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄\033[38;2;224;224;224;48;2;217;218;218m▄\033[48;2;224;224;224m \033[38;2;194;194;194;48;2;224;224;224m▄▄▄\033[38;2;194;194;194;48;2;218;218;218m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;218;218;218m▄\033[38;2;194;194;194;48;2;224;224;224m▄▄▄\033[48;2;224;224;224m \033[38;2;224;224;224;48;2;218;219;219m▄\033[38;2;224;224;224;49m▄\033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄\033[48;2;224;224;224m \033[38;2;223;223;223;48;2;224;224;224m▄\033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;224;224;224m▄\033[38;2;223;223;223;48;2;224;224;224m▄\033[48;2;224;224;224m \033[38;2;224;224;224;49m▄\033[49m \033[m
|
|
\033[49m \033[48;2;224;224;224m \033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;224;224;224m \033[49m \033[m
|
|
\033[49m \033[38;2;204;207;207;49m▄\033[48;2;224;224;224m \033[38;2;196;196;196;48;2;224;224;224m▄\033[48;2;194;194;194m \033[38;2;196;196;196;48;2;224;224;224m▄\033[48;2;224;224;224m \033[38;2;204;207;207;49m▄\033[49m \033[m
|
|
\033[49m \033[48;2;224;224;224m \033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;224;224;224m \033[49m \033[m
|
|
\033[49m \033[48;2;224;224;224m \033[38;2;194;194;194;48;2;223;223;223m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;223;223;223m▄\033[48;2;224;224;224m \033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄▄▄\033[48;2;224;224;224m \033[38;2;224;224;224;48;2;194;194;194m▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄\033[48;2;224;224;224m \033[38;2;224;224;224;49m▄▄▄\033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄\033[48;2;224;224;224m \033[38;2;199;199;199;48;2;224;224;224m▄\033[38;2;194;194;194;48;2;224;224;224m▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄\033[38;2;199;199;199;48;2;224;224;224m▄\033[48;2;224;224;224m \033[38;2;224;224;224;49m▄\033[49m \033[m
|
|
\033[49m \033[38;2;224;224;224;49m▄\033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;194;194;194m \033[38;2;0;0;0;48;2;186;186;186m▄\033[38;2;0;0;0;48;2;194;194;194m▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄\033[38;2;0;0;0;48;2;186;186;186m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;224;224;224m▄\033[38;2;224;224;224;49m▄\033[49m \033[m
|
|
\033[49m \033[38;2;194;194;194;48;2;224;224;224m▄\033[48;2;194;194;194m \033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[48;2;194;194;194m \033[38;2;194;194;194;48;2;224;224;224m▄\033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;187;242;249m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;187;242;249m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;187;242;249m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;187;242;249m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;187;242;249m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;187;242;249m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[48;2;0;0;0m \033[48;2;187;242;249m \033[48;2;0;0;0m \033[48;2;187;242;249m \033[48;2;0;0;0m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;187;242;249m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;187;242;249m \033[38;2;187;242;249;48;2;0;0;0m▄\033[48;2;0;0;0m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;187;242;249m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;187;242;249m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;187;242;249m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;187;242;249m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;242;249m▄\033[48;2;0;0;0m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[49;38;2;198;198;198m▀\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;0;0;0m▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄\033[48;2;194;194;194m \033[49;38;2;197;197;197m▀\033[49m \033[m
|
|
\033[49m \033[49;38;2;194;194;194m▀\033[48;2;194;194;194m \033[49;38;2;194;194;194m▀\033[49m \033[m
|
|
\033[49m \033[48;2;159;164;165m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[48;2;194;194;194m \033[38;2;120;120;120;48;2;194;194;194m▄\033[38;2;0;0;0;48;2;194;194;194m▄▄▄\033[38;2;97;97;97;48;2;194;194;194m▄\033[48;2;194;194;194m \033[49m \033[m
|
|
\033[49m \033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;194;194;194m \033[38;2;193;193;193;48;2;194;194;194m▄\033[38;2;0;0;0;48;2;194;194;194m▄▄▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;194;194;194m▄\033[48;2;194;194;194m \033[38;2;159;164;165;48;2;194;194;194m▄\033[49m \033[m
|
|
\033[49m \033[48;2;159;164;165m \033[38;2;160;165;165;48;2;194;194;194m▄\033[48;2;194;194;194m \033[38;2;192;192;192;48;2;194;194;194m▄\033[38;2;0;0;0;48;2;194;194;194m▄▄\033[48;2;0;0;0m \033[38;2;247;141;207;48;2;0;0;0m▄▄▄\033[48;2;0;0;0m \033[38;2;212;122;178;48;2;0;0;0m▄\033[38;2;247;141;207;48;2;0;0;0m▄▄\033[38;2;20;11;17;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;0;0;0;48;2;187;187;187m▄\033[48;2;194;194;194m \033[38;2;160;165;166;48;2;194;194;194m▄\033[48;2;159;164;165m \033[49m \033[m
|
|
\033[49m \033[48;2;159;164;165m \033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;194;194;194m \033[38;2;164;164;164;48;2;194;194;194m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;133;133;133m▄\033[38;2;194;194;194;48;2;0;0;0m▄▄▄▄▄▄▄\033[38;2;145;145;145;48;2;0;0;0m▄\033[48;2;0;0;0m \033[38;2;221;107;172;48;2;180;103;151m▄\033[38;2;221;107;172;48;2;244;137;203m▄\033[48;2;221;107;172m \033[48;2;247;141;207m \033[38;2;221;107;172;48;2;247;141;207m▄\033[48;2;221;107;172m \033[48;2;0;0;0m \033[38;2;24;24;24;48;2;0;0;0m▄\033[48;2;194;194;194m \033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;159;164;165m \033[49m \033[m
|
|
\033[49m \033[49;38;2;157;162;165m▀\033[48;2;159;164;165m \033[38;2;159;164;165;48;2;193;193;193m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;159;164;165m▄\033[48;2;221;107;172m \033[48;2;247;141;207m \033[38;2;247;141;207;48;2;244;137;203m▄\033[48;2;221;107;172m \033[38;2;194;194;194;48;2;30;30;30m▄\033[48;2;194;194;194m \033[38;2;159;164;165;48;2;193;193;193m▄\033[48;2;159;164;165m \033[49;38;2;159;164;164m▀\033[49m \033[m
|
|
\033[49m \033[48;2;159;164;165m \033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;194;194;194m \033[48;2;221;107;172m \033[48;2;247;141;207m \033[48;2;221;107;172m \033[48;2;194;194;194m \033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;159;164;165m \033[49m \033[m
|
|
\033[49m \033[49;38;2;159;164;165m▀\033[48;2;159;164;165m \033[38;2;159;164;165;48;2;161;165;166m▄\033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;194;194;194m \033[48;2;221;107;172m \033[38;2;235;125;191;48;2;247;141;207m▄\033[38;2;221;107;172;48;2;245;139;205m▄\033[48;2;221;107;172m \033[48;2;194;194;194m \033[38;2;159;164;165;48;2;194;194;194m▄\033[38;2;159;164;165;48;2;161;166;167m▄\033[48;2;159;164;165m \033[49;38;2;159;164;165m▀\033[49m \033[m
|
|
\033[49m \033[49;38;2;159;164;165m▀\033[38;2;159;164;164;48;2;159;164;165m▄\033[48;2;159;164;165m \033[38;2;159;164;165;48;2;194;194;194m▄▄▄\033[38;2;175;178;179;48;2;194;194;194m▄\033[48;2;194;194;194m \033[38;2;194;194;194;48;2;208;149;184m▄\033[38;2;194;63;147;48;2;221;107;172m▄\033[48;2;221;107;172m \033[38;2;193;61;146;48;2;221;107;172m▄\033[38;2;159;164;165;48;2;194;194;194m▄\033[48;2;159;164;165m \033[49;38;2;159;164;165m▀\033[49m \033[m
|
|
\033[49m \033[49;38;2;159;164;165m▀▀\033[48;2;159;164;165m \033[38;2;159;164;165;48;2;193;61;146m▄\033[38;2;193;61;146;48;2;193;62;146m▄\033[38;2;193;61;146;48;2;221;107;172m▄\033[38;2;193;61;146;48;2;220;106;171m▄\033[38;2;159;164;165;48;2;193;61;146m▄▄\033[48;2;159;164;165m \033[49;38;2;159;164;165m▀▀\033[49m \033[m
|
|
\033[49m \033[49;38;2;159;164;165m▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀\033[49m \033[m
|
|
\033[49m \033[m
|
|
''')
|
|
with open("banner.txt","r") as banner:
|
|
print(banner.read())
|
|
|
|
#run
|
|
parser()
|