BGAFC Vendégkönyv

Σ: 1 post

miklos_akos (statz)

#5, Főfasz (1121)

2871 | #5b9a | ^ | Idézet | Mon, 23 Mar 2026 09:05:39 +01

185.199.*.*

185.199.*.*

Szeretnem az openait felgyujtani a rakos gecibe...
Szoval, van ketto app szerver pool: egy human es kivanatos bot forgalomnak, egy meg a nem kivanatos bot forgalomnak, hoztam egy statisztikat (powered by takolt fos bash script):
normal appok:

miklos_akos@t16g2 | ~
> ./openaiapp.sh 
app1
GPTBot
0
OAI-SearchBot
59487
ChatGPT-User
14553
app2
GPTBot
0
OAI-SearchBot
61587
ChatGPT-User
14779
app3
GPTBot
0
OAI-SearchBot
58457
ChatGPT-User
14407
app4
GPTBot
0
OAI-SearchBot
61855
ChatGPT-User
14940
app5
GPTBot
0
OAI-SearchBot
57324
ChatGPT-User
13927
app6
GPTBot
0
OAI-SearchBot
59531
ChatGPT-User
14405
total hits for OpenAI crawlers yesterday: 445252
req/s: 309

botos appok:

miklos_akos@t16g2 | ~
> ./openaibotapp.sh 
app11
GPTBot
235305
OAI-SearchBot
0
ChatGPT-User
0
app12
GPTBot
225710
OAI-SearchBot
0
ChatGPT-User
0
app21
GPTBot
237782
OAI-SearchBot
0
ChatGPT-User
0
app22
GPTBot
223671
OAI-SearchBot
0
ChatGPT-User
0
app23
GPTBot
236484
OAI-SearchBot
0
ChatGPT-User
0
total hits for openai crawlers yesterday: 1158952
req/s: 804

Szeretnem tudni, hogy a GPTBot miert kalapal minket jobban, mint a vilag osszes tobbi crawlere osszesen a kurva isten faszat baszdmeg...
A logika nagyon basic: grep -ci <user-agent> /var/log/nginx/access_frontend.log.1 kiszedi a tegnapi logokbol az osszes erintett user-agentet, ami megy egy cnt valtozoba, majd egy totalhoz hozzaadasra kerul igy: let "total += cnt", majd a szkript legvegen ez a szep aritmetikai muvelet csinalja az atlag request / sec szamitast: $(($total/24/60)). Amikor attereltuk a botos appokra a forgalmat, akkor valami 1200+ req/sec atlaga volt a teljes openai crawler edesharmasnak a terhelese atlagolva...

Ja es ugyanakkor megneztem, hogy az aznapi, azelotti, ket nappal azelotti access logokban van-e utalas arra, hogy valaha is lekerte volna a robots.txt fajlt, hat nem:

> for i in $(seq 1 6); do echo app$i && ssh app$i "grep robots.txt /var/log/nginx/access_frontend.log | grep GPTBot"; done
app1
app2
app3
app4
app5
app6
miklos_akos@t16g2 | ~
> for i in $(seq 1 6); do echo app$i && ssh app$i "grep robots.txt /var/log/nginx/access_frontend.log.1 | grep GPTBot"; done
app1
app2
app3
app4
app5
app6
miklos_akos@t16g2 | ~
> for i in $(seq 1 6); do echo app$i && ssh app$i "zgrep robots.txt /var/log/nginx/access_frontend.log.2.gz | grep GPTBot"; done
app1
app2
app3
app4
app5
app6
miklos_akos@t16g2 | ~
>

Az OAI-SearchBot UA-val van talalat, de a GPTBot leszarja...

miklos_akos@t16g2 | ~
> for i in $(seq 1 6); do echo app$i && ssh app$i "grep robots.txt /var/log/nginx/access_frontend.log.1 | grep -c OAI-SearchBot"; done
app1
3665
app2
3729
app3
3544
app4
3731
app5
3404
app6
3527
miklos_akos@t16g2 | ~
>