Biz server javoblarini qo'shimcha ma'lumotlar uchun ham qidirishimiz mumkin. Buni amalga oshirish uchun ishlatishimiz mumkin bo'lgan ikkita turdagi vosita mavjud. Birinchi tur – bu mijoz va veb-server o'rtasidagi so'rovlar va javoblarni tutib oladigan proxy, masalan, Burp Suite, ikkinchi tur – brauzerning o'zining Network (Tarmoq) vositasi.

Bu modulda biz ikkala yondashuvni ham o'rganamiz, lekin avval Network vositasini ko'rsatib boshlaymiz. Biz uni Firefoxning Web Developer menyusidan ishga tushirishimiz mumkin, bu orqali HTTP so'rovlar va javoblarni ko'rishimiz mumkin. Bu vosita faqat ishga tushirilgandan keyin yuzaga kelgan tarmoq faoliyatini ko'rsatadi, shuning uchun trafikni ko'rsatish uchun sahifani yangilashimiz kerak.

Rasm 21: So'rovlarni ko'rish uchun Tarmoq vositasidan foydalanish

So'rovni bosing va uning batafsil ma'lumotlarini ko'ring. Bu holatda biz javob sarlavhalarini tekshirmoqchimiz. Javob sarlavhalari – bu HTTP sarlavhalarining bir turi bo'lib, ular HTTP so'roviga javoban yuboriladi.

Rasm 22: Tarmoq vositasida javob sarlavhalarini ko'rish

Yuqoridagi Server sarlavhasi ko'pincha kamida veb-server dasturining nomini ochib beradi. Ko'plab standart konfiguratsiyalarda, shuningdek, versiya raqami ham ko'rsatiladi.

HTTP sarlavhalari har doim faqat veb-server tomonidan yaratilmaydi. Masalan, veb-proksilar faol ravishda X-Forwarded-For sarlavhasini qo'shadi, bu veb-serverga asl mijoz IP manzilini ko'rsatadi.

Tarixan, "X-" bilan boshlanadigan sarlavhalar no-standart HTTP sarlavhalari deb atalardi. Biroq, RFC6648 hozirda "X-" dan voz kechishni va aniqroq nomlash tizimiga o'tishni tavsiya etadi.

Javob sarlavhasidagi nomlar yoki qiymatlar ko'pincha ilovada ishlatilayotgan texnologik stek haqida qo'shimcha ma'lumotlarni ochib beradi. No-standart sarlavhalar misollari orasida X-Powered-By, x-amz-cf-id va X-Aspnet-Version mavjud. Bu nomlar haqida qo'shimcha izlanishlar qilish, masalan, "x-amz-cf-id" sarlavhasi ilovaning Amazon CloudFrontdan foydalanishini ko'rsatishini aniqlashi mumkin.

Sitemaps (Sayt xaritalari) - veb-ilovalarni aniqlashda hisobga olishimiz kerak bo'lgan yana bir muhim elementdir.

Veb-ilovalar odatda saytlarni qidiruv tizimi robotlariga indekslashda yordam berish uchun sayt xaritalari fayllarini o'z ichiga oladi. Bu fayllar, shuningdek, qaysi URL'larni ko'rib chiqmaslik kerakligini ko'rsatadi – odatda sezgir sahifalar yoki ma'muriy konsollar, aynan biz qiziqadigan sahifalar.

Inkluziv direktivalar sitemaps protokoli yordamida amalga oshiriladi, robots.txt esa URL'larni robotlar tomonidan tahlil qilishdan chiqarib tashlaydi.

Masalan, biz robots.txt faylini www.google.com dan curl yordamida olishimiz mumkin:

kali@kali:~$ **curl <https://www.google.com/robots.txt**>
User-agent: *
Disallow: /search
Allow: /search/about
Allow: /search/static
Allow: /search/howsearchworks
Disallow: /sdch
Disallow: /groups
Disallow: /index.html?
Disallow: /?
Allow: /?hl=
...

Ro'yxat 7 - https://www.google.com/robots.txt

Allow va Disallow direktivalari veb-krosslar uchun sahifalar yoki direktoriyalarga qaysi "hurmatli" krosslar kirishishi mumkinligini yoki mumkin emasligini ko'rsatadi. Ko'pgina hollarda, ro'yxatga kiritilgan sahifalar va direktoriyalar qiziqarli bo'lmasligi mumkin, ba'zilari esa hatto yaroqsiz bo'lishi mumkin. Shunga qaramay, sayt xaritalari fayllarini e'tibordan chetda qoldirmaslik kerak, chunki ular saytning tuzilishi yoki boshqa qiziqarli ma'lumotlar haqida izohlar taqdim etishi mumkin, masalan, hali o'rganilmagan maqsadli qismlar.