Wygląda na to, że szumnie zapowiadana nowa wyszukiwarka internetowa może stać się koszmarem dla webmasterów. Nowy bot służący do indeksowania stron powoduje wyłączanie serwisów internetowych.

Twiceler, bo tak się nazywa najnowszy bot, powoduje niemałe zamieszanie wśród webmasterów. W Internecie pojawiają się informacje, że program jest napisany w sposób “amatorski”. Na forum Admin Zone pojawiła się informacja, że w przeciągu jednego miesiąca bot odwiedził tę samą stronę blisko 70 tysięcy razy, generując przy tym 2GB ruchu.

James Akers, inżynier operacyjny Cuila:

Twiceler jest eksperymentalnym pająkiem, którego aktualnie rozwijamy dla naszego nowego silnika wyszukiwania. Bardzo ważnym jest dla nas, że jest on posłuszny robots.txt oraz to, że nie indeksuje stron, które sobie tego nie życzą. Jeżeli nie chcesz, żeby twoja strona była indeksowana mogę ją dodać ręcznie do naszej listy wykluczeń.

Okazuje się, że bot generując losowe adresy, próbuje znaleźć jak największą liczbę możliwych stron (nawet pustych) by zwiększyć indeks Cuila. Być może konieczne jest jego naprawienie, by nie zrobił większych szkód.