Also blacklist sites such as deepwiki

ansible/roles/searxng/files/hostnames/blacklist.yml

@@ -1,122 +1,139 @@
-'(.*\.)?pinterest.com$'
+- '(.*\.)?pinterest.com$'
-'(.*\.)?answer-id\.com$'
+- '(.*\.)?answer-id\.com$'
-'(.*\.)?answeright\.com$'
+- '(.*\.)?answeright\.com$'
-'(.*\.)?askdev\.info$'
+- '(.*\.)?askdev\.info$'
-'(.*\.)?askdev\.io$'
+- '(.*\.)?askdev\.io$'
-'(.*\.)?blogmepost\.com$'
+- '(.*\.)?blogmepost\.com$'
-'(.*\.)?code-examples\.net$'
+- '(.*\.)?code-examples\.net$'
-'(.*\.)?codeflow\.site$'
+- '(.*\.)?codeflow\.site$'
-'(.*\.)?codegrepper\.com$'
+- '(.*\.)?codegrepper\.com$'
-'(.*\.)?gitmemory\.cn$'
+- '(.*\.)?gitmemory\.cn$'
-'(.*\.)?gitmemory\.com$'
+- '(.*\.)?gitmemory\.com$'
-'(.*\.)?javaer101\.com$'
+- '(.*\.)?javaer101\.com$'
-'(.*\.)?programmerstart\.com$'
+- '(.*\.)?programmerstart\.com$'
-'(.*\.)?programmersought\.com$'
+- '(.*\.)?programmersought\.com$'
-'(.*\.)?qastack\.com$'
+- '(.*\.)?qastack\.com$'
-'(.*\.)?stackanswers\.net$'
+- '(.*\.)?stackanswers\.net$'
-'(.*\.)?stackoom\.com$'
+- '(.*\.)?stackoom\.com$'
-'(.*\.)?stackovernet\.com$'
+- '(.*\.)?stackovernet\.com$'
-'(.*\.)?stackovernet\.xyz$'
+- '(.*\.)?stackovernet\.xyz$'
-'(.*\.)?stackoverrun\.com$'
+- '(.*\.)?stackoverrun\.com$'
-'(.*\.)?solveyourtech\.com$'
+- '(.*\.)?solveyourtech\.com$'
-'(.*\.)?mefmobile\.org$'
+- '(.*\.)?mefmobile\.org$'
-'(.*\.)?supportyourtech\.com$'
+- '(.*\.)?supportyourtech\.com$'
-'(.*\.)?live2tech\.com$'
+- '(.*\.)?live2tech\.com$'
-'(.*\.)?i5apps\.com$'
+- '(.*\.)?i5apps\.com$'
-'(.*\.)?masteryourtech\.com$'
+- '(.*\.)?masteryourtech\.com$'
-'(.*\.)?umatechnology\.org$'
+- '(.*\.)?umatechnology\.org$'
-'(.*\.)?robots\.net$'
+- '(.*\.)?robots\.net$'
-'(.*\.)?itechhacks\.com$'
+- '(.*\.)?itechhacks\.com$'
-'(.*\.)?toxigon\.com$'
+- '(.*\.)?toxigon\.com$'
-'(.*\.)?thecoderpedia\.com$'
+- '(.*\.)?thecoderpedia\.com$'
-'(.*\.)?howtoapps\.com$'
+- '(.*\.)?howtoapps\.com$'
-'(.*\.)?techlivo\.com$'
+- '(.*\.)?techlivo\.com$'
-'(.*\.)?bizknowledges\.com$'
+- '(.*\.)?bizknowledges\.com$'
-'(.*\.)?appletoo\.us$'
+- '(.*\.)?appletoo\.us$'
-'(.*\.)?chargerblog\.com$'
+- '(.*\.)?chargerblog\.com$'
-'(.*\.)?batteryspotlight\.com$'
+- '(.*\.)?batteryspotlight\.com$'
-'(.*\.)?ofzenandcomputing\.com$'
+- '(.*\.)?ofzenandcomputing\.com$'
-'(.*\.)?techwithtech\.com$'
+- '(.*\.)?techwithtech\.com$'
-'(.*\.)?steambase\.io$'
+- '(.*\.)?steambase\.io$'
-'(.*\.)?androiddata-recovery\.com$'
+- '(.*\.)?androiddata-recovery\.com$'
-'(.*\.)?mediupdates\.com$'
+- '(.*\.)?mediupdates\.com$'
-'(.*\.)?itigic\.com$'
+- '(.*\.)?itigic\.com$'
-'(.*\.)?researchsnipers\.com$'
+- '(.*\.)?researchsnipers\.com$'
-'(.*\.)?madpenguin\.org$'
+- '(.*\.)?madpenguin\.org$'
-'(.*\.)?techecholabs\.com$'
+- '(.*\.)?techecholabs\.com$'
-'(.*\.)?teabrands\.org$'
+- '(.*\.)?teabrands\.org$'
-'(.*\.)?iliputer\.com$'
+- '(.*\.)?iliputer\.com$'
-'(.*\.)?copyprogramming\.com$'
+- '(.*\.)?copyprogramming\.com$'
-'(.*\.)?windowsbulletin\.com$'
+- '(.*\.)?windowsbulletin\.com$'
-'(.*\.)?technogenz\.com$'
+- '(.*\.)?technogenz\.com$'
-'(.*\.)?techpluto\.com$'
+- '(.*\.)?techpluto\.com$'
-'(.*\.)?befitnatic\.com$'
+- '(.*\.)?befitnatic\.com$'
-'(.*\.)?findthisbest\.com$'
+- '(.*\.)?findthisbest\.com$'
-'(.*\.)?eeasy4u\.com$'
+- '(.*\.)?eeasy4u\.com$'
-'(.*\.)?dockuniverse\.com$'
+- '(.*\.)?dockuniverse\.com$'
-'(.*\.)?9meters\.com$'
+- '(.*\.)?9meters\.com$'
-'(.*\.)?driveshero\.com$'
+- '(.*\.)?driveshero\.com$'
-'(.*\.)?linuxcapable\.com$'
+- '(.*\.)?linuxcapable\.com$'
-'(.*\.)?notionrealm\.com$'
+- '(.*\.)?notionrealm\.com$'
-'(.*\.)?guides\.ai$'
+- '(.*\.)?guides\.ai$'
-'(.*\.)?songtell\.com$'
+- '(.*\.)?songtell\.com$'
-'(.*\.)?electropages\.com$'
+- '(.*\.)?electropages\.com$'
-'(.*\.)?nextoai\.com$'
+- '(.*\.)?nextoai\.com$'
-'(.*\.)?clrn\.org$'
+- '(.*\.)?clrn\.org$'
-'(.*\.)?mejoress\.com$'
+- '(.*\.)?mejoress\.com$'
-'(.*\.)?lifeincoding\.com$'
+- '(.*\.)?lifeincoding\.com$'
-'(.*\.)?webdevtutor\.net$'
+- '(.*\.)?webdevtutor\.net$'
-'(.*\.)?commandmasters\.com$'
+- '(.*\.)?commandmasters\.com$'
-'(.*\.)?commandexamples\.com$'
+- '(.*\.)?commandexamples\.com$'
-'(.*\.)?shell-tips\.com$'
+- '(.*\.)?shell-tips\.com$'
-'(.*\.)?thelinuxcode\.com$'
+- '(.*\.)?thelinuxcode\.com$'
-'(.*\.)?hddfaqs\.com$'
+- '(.*\.)?hddfaqs\.com$'
-'(.*\.)?dev2qa\.com$'
+- '(.*\.)?dev2qa\.com$'
-'(.*\.)?shiftychevre\.com$'
+- '(.*\.)?shiftychevre\.com$'
-'(.*\.)?therandomvibez\.com$'
+- '(.*\.)?therandomvibez\.com$'
-'(.*\.)?virtualizare\.net$'
+- '(.*\.)?virtualizare\.net$'
-'(.*\.)?nerdburglars\.net$'
+- '(.*\.)?nerdburglars\.net$'
-'(.*\.)?linoxide\.com$'
+- '(.*\.)?linoxide\.com$'
-'(.*\.)?linuxmadesimple\.info$'
+- '(.*\.)?linuxmadesimple\.info$'
-'(.*\.)?stepofweb\.com$'
+- '(.*\.)?stepofweb\.com$'
-'(.*\.)?physics-network\.org$'
+- '(.*\.)?physics-network\.org$'
-'(.*\.)?mycplus\.com$'
+- '(.*\.)?mycplus\.com$'
-'(.*\.)?worldhistoryedu\.com$'
+- '(.*\.)?worldhistoryedu\.com$'
-'(.*\.)?kitchendemy\.com$'
+- '(.*\.)?kitchendemy\.com$'
-'(.*\.)?top5best\.com$'
+- '(.*\.)?top5best\.com$'
-'(.*\.)?optimalproducts\.com$'
+- '(.*\.)?optimalproducts\.com$'
-'(.*\.)?splicedonline\.com$'
+- '(.*\.)?splicedonline\.com$'
-'(.*\.)?bettertechtips\.com$'
+- '(.*\.)?bettertechtips\.com$'
-'(.*\.)?thetechedvocate\.org$'
+- '(.*\.)?thetechedvocate\.org$'
-'(.*\.)?exchangetuts\.com$'
+- '(.*\.)?exchangetuts\.com$'
-'(.*\.)?techbloat\.com$'
+- '(.*\.)?techbloat\.com$'
-'(.*\.)?betanet\.net$'
+- '(.*\.)?betanet\.net$'
-'(.*\.)?softhandtech\.com$'
+- '(.*\.)?softhandtech\.com$'
-'(.*\.)?soundproofgeek\.com$'
+- '(.*\.)?soundproofgeek\.com$'
-'(.*\.)?gameslearningsociety\.org$'
+- '(.*\.)?gameslearningsociety\.org$'
-'(.*\.)?pupuweb\.com$'
+- '(.*\.)?pupuweb\.com$'
-'(.*\.)?sqldocs\.org$'
+- '(.*\.)?sqldocs\.org$'
-'(.*\.)?releasedate\.info$'
+- '(.*\.)?releasedate\.info$'
-'(.*\.)?eatmorebutter\.com$'
+- '(.*\.)?eatmorebutter\.com$'
-'(.*\.)?gametierlist\.com$'
+- '(.*\.)?gametierlist\.com$'
-'(.*\.)?chefsresource\.com$'
+- '(.*\.)?chefsresource\.com$'
-'(.*\.)?meemawsrecipes\.com$'
+- '(.*\.)?meemawsrecipes\.com$'
-'(.*\.)?smallusefultips\.com$'
+- '(.*\.)?smallusefultips\.com$'
-'(.*\.)?cyberinfoblog\.com$'
+- '(.*\.)?cyberinfoblog\.com$'
-'(.*\.)?linuxvox\.com$'
+- '(.*\.)?linuxvox\.com$'
-'(.*\.)?cyberpost\.co$'
+- '(.*\.)?cyberpost\.co$'
-'(.*\.)?allthedifferences\.com$'
+- '(.*\.)?allthedifferences\.com$'
-'(.*\.)?lightgungamer\.com$'
+- '(.*\.)?lightgungamer\.com$'
-'(.*\.)?botmonster\.com$'
+- '(.*\.)?botmonster\.com$'
-'(.*\.)?kommandotech\.com$'
+- '(.*\.)?kommandotech\.com$'
-'(.*\.)?byteiota\.com$'
+- '(.*\.)?byteiota\.com$'
-'(.*\.)?symboltools\.com$'
+- '(.*\.)?symboltools\.com$'
-'(.*\.)?eathealthy365\.com$'
+- '(.*\.)?eathealthy365\.com$'
-'(.*\.)?darazhost\.com$'
+- '(.*\.)?darazhost\.com$'
-'(.*\.)?besthub\.dev$'
+- '(.*\.)?besthub\.dev$'
-'(.*\.)?uacred\.com$'
+- '(.*\.)?uacred\.com$'
-'(.*\.)?vibewire\.com\.au$'
+- '(.*\.)?vibewire\.com\.au$'
-'(.*\.)?kernel-internals\.org$'
+- '(.*\.)?kernel-internals\.org$'
-'(.*\.)?geeky-gadgets\.com$'
+- '(.*\.)?geeky-gadgets\.com$'
-'(.*\.)?shunauto\.com$'
+- '(.*\.)?shunauto\.com$'
-
+- '(.*\.)?deepwiki\.com$'
+- '(.*\.)?deepwiki\.directory$'
+- '(.*\.)?grok-wiki\.com$'
+- '(.*\.)?okaynwa\.com$'
+- '(.*\.)?celebritydeaths\.com$'
+- '(.*\.)?world-today-news\.com$'
+- '(.*\.)?alaskacommons\.com$'
+- '(.*\.)?medicaloutline\.com$'
+- '(.*\.)?noticiasdeemprego\.com\.br$'
+- '(.*\.)?time\.news$'
+- '(.*\.)?espn24\.co\.uk$'
+- '(.*\.)?nbcsportz\.com$'
+- '(.*\.)?nbcsport\.co\.uk$'
+- '(.*\.)?cbsnewz\.com$'
+- '(.*\.)?cbsnews2\.com$'
+- '(.*\.)?bbcsportss\.co\.uk$'
+- '(.*\.)?247bbcnews\.com$'
+- '(.*\.)?foxnigeria\.com\.ng$'

ansible/roles/searxng/tasks/main.yml

@@ -1,5 +1,5 @@
 - name: Create install directory
-  file:
+  ansible.builtin.file:
     path: "{{ install_directory }}/{{ role_name }}"
     state: directory
     owner: "{{ docker_user }}"

ansible/roles/searxng/templates/settings.yml

@@ -19,13 +19,13 @@ server:
   base_url: "https://search.{{ personal_domain }}"
   secret_key: "{{ searxng_secret_key }}"
   image_proxy: true
+  limiter: true
 
 valkey:
   url: redis://redis:6379
 
 hostnames:
-  remove:
+  remove: 'blacklist.yml'
-    - '(.*\.)?pinterest.com$'
 
 engines:
   - name: annas archive