Η Google ανακοίνωσε μια νέα δυνατότητα στο Gemini API που υπόσχεται σημαντική μείωση στο κόστος χρήσης των προηγμένων μοντέλων Τεχνητής Νοημοσύνης από εξωτερικούς προγραμματιστές.
Όπως αναφέρει το TechCrunch, η λειτουργία αυτή ονομάζεται «implicit caching» (έμμεση προσωρινή αποθήκευση) και μπορεί να μειώσει το κόστος έως και 75% σε περιπτώσεις επαναλαμβανόμενου περιεχομένου που αποστέλλεται στα μοντέλα μέσω του API.
Η νέα δυνατότητα είναι συμβατή με τα μοντέλα Gemini 2.5 Pro και 2.5 Flash και ενεργοποιείται αυτόματα, χωρίς να απαιτείται κάποια ρύθμιση από τον χρήστη.
Τι είναι το Implicit Caching
Το caching αποτελεί ευρέως χρησιμοποιούμενη τεχνική στην Τεχνητή Νοημοσύνη και στοχεύει στη μείωση του υπολογιστικού κόστους μέσω της επαναχρησιμοποίησης δεδομένων που έχουν ήδη υπολογιστεί. Έτσι, τα μοντέλα αποφεύγουν την επανάληψη των ίδιων εργασιών για κοινά ερωτήματα.
Μέχρι πρότινος, η Google προσέφερε μόνο ρητή προσωρινή αποθήκευση (explicit prompt caching), όπου οι χρήστες όριζαν χειροκίνητα τα prompts προς αποθήκευση. Ωστόσο, η μέθοδος αυτή απαιτούσε επιπλέον εργασία και είχε προκαλέσει αντιδράσεις λόγω χρεώσεων, κυρίως με το μοντέλο Gemini 2.5 Pro.
Σε αντίθεση, η νέα λειτουργία λειτουργεί αυτόματα. Εφόσον ένα νέο αίτημα περιλαμβάνει κοινό προθεματικό περιεχόμενο με προηγούμενο αίτημα, ενεργοποιείται η προσωρινή αποθήκευση και παρέχεται έκπτωση στο κόστος χρήσης.
Πρακτική Εφαρμογή
Σύμφωνα με την τεκμηρίωση της Google, η ελάχιστη ποσότητα tokens για την ενεργοποίηση του συστήματος είναι:
1.024 tokens για το Gemini 2.5 Flash
2.048 tokens για το Gemini 2.5 Pro
Αυτό μεταφράζεται σε περίπου 1.500 λέξεις, καθιστώντας το σύστημα εύκολα εφαρμόσιμο. Η Google συνιστά η κοινή πληροφορία να τοποθετείται στην αρχή κάθε αιτήματος, ώστε να αυξάνονται οι πιθανότητες ενεργοποίησης της έκπτωσης.
Παρά τις υποσχέσεις για εξοικονόμηση, η κοινότητα των προγραμματιστών διατηρεί επιφυλάξεις. Η Google δεν έχει προσφέρει ανεξάρτητες αποδείξεις για την αποτελεσματικότητα του συστήματος, ενώ παραμένει ασαφές το πότε και πώς εφαρμόζονται οι εκπτώσεις.
Η εταιρεία, μετά από προβλήματα χρεώσεων με το προηγούμενο σύστημα caching, δεσμεύτηκε να λάβει υπόψη τις παρατηρήσεις της κοινότητας και να προχωρήσει σε βελτιώσεις.
Η αποδοχή της λειτουργίας από τους χρήστες θα καθορίσει αν πρόκειται για ουσιαστική καινοτομία ή μια ακόμη ατεκμηρίωτη υπόσχεση.
