Josep Torrellas

Çok işlemcili bellek sistemleri

Doktora ve ilk Illinois yıllarındaki çalışmaları çok işlemcili sistemlerde önbelleğin nasıl kullanıldığını ölçmeye yönelikti. Anoop Gupta ve Hennessy ile 1992'de ASPLOS'ta sunduğu çalışmada, dört işlemcili bir makinede çalışan ticari bir System V UNIX işletim sisteminin önbellek başarımını ve eşzamanlama etkinliğini inceledi. Ölçümler, makinenin çalışmasını bozmadan önbellek bulamamalarını kaydeden bir donanım izleyicisiyle yapıldı; iş yükleri arasında koşut bir derleme, çok programlı bir yük ve ticari bir veritabanı vardı.

Monica S. Lam ve Hennessy ile 1994'te yayımladığı makalede, çok işlemcililerde önbellek bloğu büyüdükçe bulamama oranının tek işlemcili sistemlerdeki gibi keskin biçimde düşmemesinin nedenlerini altı uygulama üzerinde çözümledi. Ayrı işlemcilerin aynı bloğun farklı sözcüklerini sırayla güncellemesinden doğan yanlış paylaşımın (İngilizce: false sharing) bulamama oranını belirgin biçimde artırdığını, ortak verilere erişimdeki zayıf uzamsal yerelliğin ise bundan da büyük bir etki yaptığını gösterdi. Ortak verilerin bloklara yerleşimini programcıya görünmeden düzenleyerek bu verilerdeki bulamamaları ortalama yüzde 10 dolayında azalttı. Torrellas'ın kendi değerlendirmesine göre yanlış paylaşım çalışmasından mimari ve derleyici alanında çalışanlar yararlandı, işletim sistemi ve ticari iş yüklerinin önbellek davranışı üzerine çözümlemeleri de sonraki araştırmalara zemin oluşturdu.

Sonraki yıllarda tekdüze olmayan bellek erişimli (NUMA) düzenlemeler, önbellek tutarlılığı protokolleri ve önceden getirme yöntemleri üzerinde çalıştı. Bu dönemin başlıca projesi I-ACOMA (Illinois Aggressive Cache Only Memory Architecture) adlı çok işlemcili tasarımıydı. Proje, 1996'da DARPA, NSF, NSA ve NASA'nın petaflop düzeyinde bir makinenin gelişini hızlandırmak için desteklediği sekiz ulusal tasarım çalışmasından biri seçildi.

İş parçacığı düzeyinde öngörüye dayalı yürütme

İş parçacığı düzeyinde öngörüye dayalı yürütmede (İngilizce: thread-level speculation, TLS) aynı anda yürüyen iş parçacıkları arasındaki bağımlılıkları donanım izler; programcının ya da derleyicinin iş parçacıklarının birbirinden bağımsız olduğunu kanıtlaması gerekmez. Torrellas yaklaşık yirmi yıl bu konuda çalıştı; iş parçacıklarının sonuçlarını kesinleştirme, iş parçacıklarını sıra dışı başlatma ve bağımlılık çiğnemelerini ortadan kaldırma üzerine yeni mimariler geliştirdi, bir TLS derleyicisi kurdu ve öngörü durumunun istekli (eager) ya da tembel (lazy) biçimde ara belleğe alınmasına göre bir sınıflandırma önerdi. Marcelo Cintra ve José Martínez ile 2000'de ISCA'da sunduğu tasarım, öngörüye dayalı koşutlaştırmayı önbellek tutarlılığı sağlanan ölçeklenebilir NUMA sistemlerine taşıdı; derleyicinin koşutlaştıramadığı bilimsel döngülerde 16 işlemciyle ortalama 4,2 kat hızlanma elde etti.

Torrellas TLS'nin kullanımını açıkça koşut yazılmış programlara genişletti. Martínez ile 2002'de önerdiği öngörüye dayalı eşzamanlamada (speculative synchronization) iş parçacıkları etkin bir engelde, dolu bir kilitte ya da kurulmamış bir bayrakta beklemek yerine öngörüyle yürümeyi sürdürür; çakışan bir erişim saptanırsa iş parçacığı eşzamanlama noktasına geri alınıp yeniden başlatılır. Beş uygulamada eşzamanlamada yitirilen süre ortalama yüzde 34, toplam yürütme süresi yüzde 7,4 azaldı. Milos Prvulovic ile geliştirdiği ReEnact (2003), TLS'nin iletişim izleme ve geri alma düzeneklerini çok iş parçacıklı programlardaki veri yarışlarını yürütme sırasında saptamak, hatalı bölümü birebir yeniden yürüterek nitelendirmek ve çoğu zaman onarmak için kullandı; yarış içermeyen programları ortalama yüzde 5,8 yavaşlatıyordu. ReVive (2002) ise paylaşımlı bellekli çok işlemcililer için sistemin durumunu belirli aralıklarla bellekte saklayan, değişiklikleri günlüğe yazan ve verileri dağıtık eşlik bilgisiyle koruyan bir geri dönüş ve kurtarma düzeneğiydi. 16 işlemcili benzetimlerde hatasız yürütmedeki ek yükü yüzde 6,3'tü ve günde bir hata olsa bile erişilebilirlik yüzde 99,999'un üstünde kalıyordu.

Torrellas'a göre TLS üzerine geliştirdiği fikirlerin bir kısmı IBM'in Blue Gene süper bilgisayarında ve başka sanayi tasarımlarında benimsendi, donanımsal işlemsel bellek (transactional memory) çalışmalarını da etkiledi.

Bulk mimarisi

Torrellas'ın öğrencileri Luis Ceze ve James Tuck ile IBM'den Călin Caşcaval'la 2006'da ISCA'da sunduğu Bulk, öngörüyle yürüyen iş parçacıkları arasındaki adres çakışmalarının çözülmesini basitleştirir. Bir iş parçacığının eriştiği adresler karma işleviyle kısa bir imzaya kodlanır ve donanım bu imzalar üzerinde adres kümelerini bir seferde işleyen işlemler yapar. İşlemler kesin değildir ama doğru sonuç verir; yöntem hem TLS hem işlemsel bellek bağlamında sınandı. Fikir, Ceze'nin 2005 yazında IBM Research'teki stajında TLS'yi gerçek bir işlemciye eklemenin güçlüklerini incelerken doğdu. Makale 2023'te ISCA'nın ikinci 25 yılından seçilen makalelerin geriye bakış derlemesine alındı.

Adres imzaları, Intel'le iş birliği içinde geliştirilen Bulk Multicore mimarisinin temeli oldu. Bu mimaride donanım bütün yazılımı, yazılıma görünmeyen ve binlerce devingen buyruktan oluşan atomik bloklar (chunk) dizisi olarak yürütür; blokların atomik ve yalıtılmış yürütülmesini donanım adres imzaları güvenceye alır. Böylece yazılıma yüksek başarımlı ardışık erişim sıralaması sağlanır, düşük maliyetli veri yarışı saptama ve koşut programların birebir yeniden oynatılması gibi hata ayıklama olanakları sunulur. Ceze, Tuck ve Pablo Montesinos ile 2007'de önerdiği BulkSC, ardışık erişim sıralamasını bu bloklar düzeyinde zorlayarak, uygulaması basit kalan ve gevşek erişim sıralaması kullanan sistemlere yakın başarım veren bir yol gösterdi.

Kayıt ve yeniden oynatma

Koşut programlardaki eşzamanlılık hataları çoğu zaman yalnız belirli zamanlama koşullarında ortaya çıktığı için yeniden üretilmeleri güçtür. Kayıt ve yeniden oynatma (İngilizce: record and replay, RnR) yöntemi bir yürütme sırasında önceden kestirilemeyen bütün olayları bir günlüğe kaydeder; aynı iş yükü yeniden yürütülürken bu girdiler doğru anlarda verilerek ilk yürütme birebir yeniden üretilir. Montesinos ve Ceze ile 2008'de önerdiği DeLorean'da işlemciler buyruk bloklarını atomik olarak yürütür ve sistemin yalnız bu blokların kesinleşme sırasını kaydetmesi yeter. DeLorean gevşek erişim sıralamalı bir yürütmeye yakın hızda kayıt alıyor, onun yaklaşık yüzde 82'si hızında yeniden oynatıyor ve dönemin önde gelen yöntemine göre yüzde 7,5 boyutunda günlük gerektiriyordu.

Intel araştırmacılarıyla 2013'te tanıttıkları QuickRec, çok iş parçacıklı programlar için Intel mimarisinde kayıt ve yeniden oynatmanın ilk çok çekirdekli donanım prototipiydi. Sistem, bir Xeon sunucu platformunda FPGA üzerinde gerçeklenen Pentium çekirdeklerinden ve kayıt donanımını değiştirilmiş bir Linux çekirdeği içinden yöneten Capo3 yazılım yığınından oluşuyordu. Kayıt donanımının başarıma etkisi ihmal edilebilir düzeydeydi, yazılım yığını ise ortalama yüzde 13'e yakın ek yük getiriyordu. Torrellas'a göre bu çalışma, yöntemin davranışı yürütmeden yürütmeye değişen yazılımda hata ayıklamada ve güvenlik saldırılarını saptamada kullanılabileceğini gösterdi.

Bellekte işleme

Torrellas'ın grubu 1996'da, büyük DRAM belleklerine hesaplama yeteneği katan bellekte işleme (İngilizce: processing-in-memory, PIM) ya da akıllı bellek mimarileri üzerine çalışmaya başladı. 1998'de Torrellas'ın IBM Thomas J. Watson Araştırma Merkezi'ndeki izin döneminde IBM'den Pratap Pattnaik de projeye katıldı. 1999'da ICCD'de sunulan FlexRAM tasarımı, sıradan bir makinenin bellek sistemine çok sayıda küçük ve genel amaçlı çekirdek yerleştiriyor, ana işlemciyi eski uygulamalar için değiştirmeden bırakıyordu. Proje birkaç yıl boyunca yaklaşık on lisansüstü öğrencinin çalıştığı, 15 kadar makalenin çıktığı bir çaba oldu; kaynak kodunu OpenMP benzeri yönergelerle işaretleyen CFlex adlı bir programlama ortamı da geliştirildi. FlexRAM makalesi 2012'de ICCD'nin ilk 30 yılında en çok atıf alan beş makaleden biri olarak High-Impact Paper ödülünü aldı.

2000'lerin başında Torrellas, DARPA'nın Yüksek Üretkenlikli Hesaplama Sistemleri programı kapsamında desteklenen deneysel IBM PERCS çok işlemcilisinin tasarım ekibinde yer aldı. Makinede yeni çoklu iş parçacığı desteği ve bellekte işleme birimleri gibi mimari yenilikler vardı; PERCS'in UIUC'nin Blue Waters süper bilgisayarının düğümlerini oluşturması planlanmıştı. Tasarım ekibi Torrellas'ın bazı TLS düzeneklerini ve FlexRAM'den esinlenen bellekte işleme özelliklerini de değerlendirdi.

Enerji verimliliği

Torrellas'ın öğrencileriyle geliştirdiği VARIUS modeli, yonga içindeki süreç değişkenliğini rastgele ve sistematik bileşenleriyle birlikte, mikromimari araştırmalarına uygun biçimde az sayıda sezgisel parametreyle modeller. Bu modele dayanan bir zamanlama hatası modeli, mikromimari blokların hata oranını saat sıklığına ve değişkenlik miktarına göre verir. Model 2007'de araç olarak kamuya açıldı; daha sonra eşiğe yakın gerilimde çalışan çok çekirdekli sistemler için VARIUS-NTV sürümü geliştirildi.

Torrellas, Intel'in önderlik ettiği Runnemede çok çekirdekli mimarisinin eş önderlerindendir. DARPA'nın Her Yerde Yüksek Başarımlı Hesaplama (UHPC) programı, 2018 dönemi üretim teknolojileriyle watt başına saniyede 50 milyar işlem verimliliğine ulaşan sistemler istiyordu. Runnemede bunun için eşiğe yakın gerilimde çalışma, ince taneli güç ve saat yönetimi, uygulamanın yönettiği yonga üstü bellek ve hiyerarşik bir yonga içi bağlantı ağı kullandı. Yüzlerce yalın çekirdek taşıyan tasarım, ABD Enerji Bakanlığı'nın X-Stack programınca da eksaölçekli bir çok işlemcilinin yapı taşı olarak desteklendi.

Donanım güvenliği ve bulut sistemleri

Torrellas'ın grubu 2018'den sonra, öngörüye dayalı yürütmeyi kötüye kullanan saldırılara karşı işlemci boru hattı ve önbellek mikromimarileri geliştirdi. Mengjia Yan ve arkadaşlarıyla 2018'de MICRO'da sunduğu InvisiSpec'te güvenli olmayan öngörüye dayalı yüklemeler veriyi önbellek hiyerarşisini değiştirmeden ayrı bir öngörü ara belleğine okur; yükleme güvenli hâle gelince sonuç sistemin geri kalanına görünür kılınır. Spectre benzeri saldırılara karşı bellek engelleriyle korunan bir işlemci korumasız bir işlemciye göre yüzde 74 yavaşlarken, InvisiSpec bu yavaşlamayı yüzde 21'e indiriyordu. Grubun öngörüye dayalı veriden bağımsız yürütme (speculative data-oblivious execution) üzerine makalesi 2021'de Intel'in donanım güvenliği akademik ödülünde birincilik kazandı.

Dimitrios Skarlatos ve arkadaşlarıyla geliştirdiği Draco (2020), işletim sistemi çekirdeğini kullanıcı saldırılarından korumak için yapılan sistem çağrısı denetimini hızlandırır. Denetlenip onaylanmış sistem çağrısı kimliklerini ve bağımsız değişken değerlerini bir önbellekte saklar, önbellekte bulduğu çağrılarda denetimleri atlar. Draco'nun yazılım gerçeklemesi Linux 5.11 çekirdeğine alındı.

Grubun son çalışmaları bulut bilişim altyapısına yöneldi. Jovan Stojkovic ve arkadaşlarıyla geliştirilen DynamoLLM, büyük dil modeli çıkarım kümelerinde iş yükündeki dalgalanmalardan yararlanarak enerji verimliliğini artırır ve HPCA 2025'te en iyi makale ödülünü aldı. Aynı yıl ASPLOS'ta en iyi makale ödülü alan CXLfork ise Compute Express Link (CXL) ile paylaşılan bellek üzerinden düğümler arasında süreç kopyalayan bir uzaktan fork arayüzüdür.