La version française suit

Beginning in early 2024, McGill Libraries and IT Services faced an unexpected challenge: an overwhelming surge of automated web traffic directed at two of the Libraries’ major public platforms – eScholarship institutional digital repository for theses and open access materials, and AtoM, our archival collections site. What started as occasional slowdowns quickly escalated into multiple daily outages that disrupted access for students, researchers, and the public.

The cause was something many institutions face: AI‑driven web crawling. As artificial intelligence systems search for large amounts of online text to train their models, universities, libraries, and museums around the world have been hit with substantial increases in automated traffic. While McGill Libraries strongly supports open access, this rise has unintended consequences including bringing down systems making it difficult for legitimate users to reach scholarly content.

Traditional fixes such as blocking specific crawlers or adjusting firewall rules don’t solve the issue. At times, they even block helpful services like Google Scholar. It became clear the Libraries and IT Services needed to try something new to fix this issue.

In May 2025, IT Services proposed testing Azure Front Door, a content delivery network (CDN) designed to distribute cached copies of webpages across servers worldwide. By doing so, the system could absorb heavy traffic, reduce strain on McGill’s servers, and deliver content more quickly to users regardless of location.

The teams worked closely together to implement the solution, and the results were immediate. As Mutugi Gathuri, Software Developer at McGill Libraries, shared, “Our eScholarship site used to crash every hour (sometimes every 30 minutes!) under bot attacks, but now it hasn’t skipped a beat! Now our editors can focus on content, not firefighting. and users enjoy uninterrupted access. It’s been a fantastic collaboration and a real win for everyone.”

For Awais Mehmood Khalid, Libraries’ Programmer Analyst, the project showcased the strength of cross‑unit teamwork, “IT [Services] showed a keen understanding of our requirements and an unwavering willingness to help. Their solution absorbed the surge of AI‑driven bot traffic and restored performance across our platforms dramatically improving load times and overall resilience.”

Deepak Chauhan, Programmer Analyst at the Libraries, echoed the impact, “This helped us manage the traffic more efficiently and kept things running smoothly for real users. It made a noticeable difference in our site’s performance and stability.”

From the IT perspective, Graham Thorpe, Solutions Architect, noted the technical benefits, “[Azure Front Door] takes the load off our back-end servers, solving load-related issues, and brings the content closer to users making the sites more responsive. While some application tweaking was needed, the solution has been great from our perspective.”

This project stands as a success story of collaboration, problem‑solving, and dedication to keeping McGill’s digital scholarship accessible and secure.

Kudos to the teams who made this possible:

• IT Services: Matt Corks, Thomas Fline, Zachary McGibbon, Spiro Mitsialis, Graham Thorpe, Chung Yu
• McGill Libraries: Deepak Chauhan, Gagandeep Dhillon, Mutugi Gathuri, Awais Mehmood Khalid including the tireless testers Robin Desmeules, Anna Dysert, and Jennifer Innes.

---

Protéger l’accès aux collections numériques de McGill : une collaboration entre les Bibliothèques et les Services des TI

Depuis le début de 2024, les Bibliothèques et les services informatiques de McGill ont dû faire face à un défi inattendu : une augmentation considérable du trafic Web automatisé dirigé vers deux des principales plateformes publiques des Bibliothèques : eScholarship, le dépôt numérique institutionnel pour les thèses et les documents en libre accès, et AtoM, notre site de collections d’archives. Ce qui avait commencé par des ralentissements occasionnels s’est rapidement transformé en de multiples pannes quotidiennes qui ont perturbé l’accès pour les étudiants, les chercheurs et le public.

La cause était un problème auquel de nombreuses institutions sont confrontées : l’exploration du Web par IA. Les systèmes d’intelligence artificielle ont besoin de quantités massives de texte en ligne pour entraîner leurs modèles, ce qui a entraîné une hausse importante du trafic automatisé dans les universités, les bibliothèques et les musées du monde entier. Alors que les Bibliothèques de McGill continuent de soutenir fermement le libre accès, cette nouvelle réalité apporte un lot de conséquences imprévues, dont des interruptions de service qui compliquent l’accès au contenu scientifique pour les utilisateurs légitimes.

Les solutions traditionnelles, comme le blocage de certains robots d’exploration ou la modification des règles de pare-feu, ne remédient pas au problème. Parfois, elles bloquent même des services utiles comme Google Scholar. Il est rapidement devenu évident que les Bibliothèques et les services informatiques devaient trouver une nouvelle approche.

En mai 2025, les services informatiques ont proposé de tester Azure Front Door, un réseau de diffusion de contenu (RDC) conçu pour distribuer des copies de pages Web en antémémoire sur des serveurs à travers le monde. De cette façon, le système pourrait absorber un trafic important, réduire la charge sur les serveurs de McGill et diffuser le contenu plus rapidement aux utilisateurs, quel que soit leur emplacement.

Les équipes ont travaillé en étroite collaboration pour mettre en œuvre la solution, et les résultats ont été immédiats. Comme l’a dit Mutugi Gathuri, développeur de logiciels aux Bibliothèques de McGill : « Notre site eScholarship connaissait des pannes fréquentes (parfois toutes les 30 minutes!) en raison d’attaques de robots. Maintenant, il fonctionne sans interruption. Nos rédacteurs peuvent désormais se concentrer sur le contenu, et non plus sur la gestion des urgences, et les utilisateurs bénéficient d’un accès ininterrompu. Ce fut une collaboration fantastique et une véritable victoire pour tous. »

Pour Awais Mehmood Khalid, analyste programmeur des Bibliothèques, le projet a mis en évidence la force du travail d’équipe interdépartemental. « Les services informatiques ont fait preuve d’une compréhension profonde de nos besoins et d’une détermination sans faille à nous aider. Leur solution a absorbé l’afflux de trafic généré par les robots pilotés par l’IA, permettant ainsi de restaurer les performances de l’ensemble de nos plateformes et d’accélérer significativement les temps de chargement, tout en renforçant notre capacité de réponse face aux imprévus. »

Deepak Chauhan, analyste programmeur aux Bibliothèques, a confirmé ce succès : « La solution nous a permis de gérer le trafic plus efficacement et d’assurer un fonctionnement fluide pour les vrais utilisateurs. Cela a fait une différence notable dans les performances et la stabilité de notre site. »

Du point de vue informatique, Graham Thorpe, architecte de solutions, a souligné les avantages techniques : « [Azure Front Door] allège la pression sur nos serveurs dorsaux, ce qui résout les problèmes de surcharge et rapproche le contenu des utilisateurs, rendant nos sites plus réactifs. Nous avons dû apporter quelques modifications à l’application, mais, dans l’ensemble, la solution s’est révélée remarquable. »

Ce projet est un exemple de réussite en matière de collaboration, de résolution de problèmes et de dévouement à maintenir l’accessibilité et la sécurité des ressources numériques de McGill.

Bravo aux équipes qui ont rendu cela possible :

• Services des TI : Matt Corks, Thomas Fline, Zachary McGibbon, Spiro Mitsialis, Graham Thorpe, Chung Yu
• Bibliothèques de McGill : Deepak Chauhan, Gagandeep Dhillon, Mutugi Gathuri, Awais Mehmood Khalid et nos testeurs infatigables Robin Desmeules, Anna Dysert et Jennifer Innes.