Context management για AI agents: τι κρατάμε και τι συμπυκνώνουμε

Ένας AI agent που λειτουργεί για λίγα λεπτά μπορεί να στείλει στο μοντέλο ολόκληρη τη συνομιλία. Ένας agent που εκτελεί πολυήμερη εργασία, χρησιμοποιεί δεκάδες εργαλεία ή εξυπηρετεί μακροχρόνιο customer support δεν μπορεί να προσθέτει για πάντα κάθε μήνυμα και αποτέλεσμα.

Το context window είναι η ενεργή πληροφορία που μπορεί να χρησιμοποιήσει το μοντέλο σε μία κλήση. Δεν είναι μόνιμη μνήμη ούτε εγγύηση ότι κάθε λεπτομέρεια μέσα σε μεγάλο prompt θα αξιοποιηθεί σωστά. Το context management επιλέγει τι πρέπει να παραμείνει άμεσα ορατό, τι συμπυκνώνεται και τι αποθηκεύεται έξω από το prompt για ανάκτηση όταν χρειαστεί.

01Τι καταναλώνει context

Δεν μετρά μόνο το κείμενο του χρήστη. Συνήθως περιλαμβάνονται:

• system instructions και policies,
• ιστορικό user και assistant messages,
• tool definitions,
• tool calls και αποτελέσματα,
• retrieved documents,
• εικόνες ή άλλα inputs,
• το output που πρόκειται να παραχθεί.

Η επίσημη τεκμηρίωση της Anthropic εξηγεί ότι όλα αυτά συμμετέχουν στο context window και ότι περισσότερο context δεν σημαίνει αυτόματα καλύτερο αποτέλεσμα. Όσο αυξάνεται ο όγκος, η επιλογή και οργάνωση της πληροφορίας γίνεται κρίσιμη.

02Μην αντιμετωπίζετε όλο το ιστορικό ως μνήμη

Το transcript καταγράφει τι ειπώθηκε. Η operational state περιγράφει τι ισχύει τώρα: ποιος είναι ο στόχος, ποια βήματα ολοκληρώθηκαν, ποια IDs δημιουργήθηκαν, τι εκκρεμεί και ποιοι περιορισμοί ισχύουν.

Αν ο agent πρέπει να ξαναδιαβάζει εκατοντάδες μηνύματα για να συμπεράνει την τρέχουσα κατάσταση, η αξιοπιστία μειώνεται. Κρατάμε δομημένο state έξω από τη συνομιλία, με schema και versioning. Το μοντέλο λαμβάνει τη σχετική snapshot, όχι όλη την ιστορία των αλλαγών.

03Τέσσερα επίπεδα πληροφορίας

1. Σταθερές οδηγίες

Ρόλος, permissions, απαγορεύσεις, format και κανόνες ασφάλειας. Παραμένουν σαφείς και σύντομοι. Δεν αναμειγνύονται με μη έμπιστο περιεχόμενο εγγράφων ή tool outputs.

2. Ενεργό working set

Η τρέχουσα ερώτηση, τα πρόσφατα turns και τα δεδομένα που χρειάζονται για την επόμενη απόφαση. Αυτό πρέπει να είναι μικρό και υψηλής συνάφειας.

3. Συμπυκνωμένη πρόοδος

Summary παλαιότερων βημάτων με αποφάσεις, αποδεικτικά IDs, αποτυχίες και ανοιχτά θέματα. Δεν είναι λογοτεχνική περίληψη· είναι handoff document προς την επόμενη εκτέλεση.

4. Εξωτερική μνήμη και πηγές

Πλήρη έγγραφα, logs, records και παλιά tool results μένουν σε database ή object storage. Ανακτώνται επιλεκτικά με permissions και citations όταν χρειάζονται.

04Compaction χωρίς απώλεια κρίσιμων λεπτομερειών

Η compaction αντικαθιστά παλιό context με μικρότερη αναπαράσταση. Ένα καλό summary διατηρεί:

• τελικό στόχο και κριτήρια ολοκλήρωσης,
• αποφάσεις και αιτιολόγηση που δεν πρέπει να επαναληφθεί,
• identifiers, URLs, versions και timestamps,
• τρέχουσα κατάσταση κάθε βήματος,
• περιορισμούς και permissions,
• αποτυχίες που έχουν ήδη δοκιμαστεί,
• επόμενη ασφαλή ενέργεια.

Δεν συμπυκνώνουμε secrets μέσα στο summary. Δεν αφήνουμε ασαφείς φράσεις όπως «έγινε σχεδόν». Χρησιμοποιούμε ρητές καταστάσεις completed, pending, failed και requires approval.

05Tool results: κρατήστε συμπέρασμα και pointer

Ένα API response χιλιάδων γραμμών μπορεί να καταναλώσει μεγάλο μέρος του context ενώ μόνο τρία πεδία είναι χρήσιμα. Μετά την επεξεργασία, κρατάμε structured result, checksum ή resource ID και pointer προς το πλήρες artifact.

Το ακατέργαστο output παραμένει διαθέσιμο για audit, αλλά δεν επιστρέφει σε κάθε model call. Για επόμενο βήμα ανακτούμε μόνο τις συγκεκριμένες εγγραφές που χρειάζονται.

06Retrieval αντί για μόνιμη εισαγωγή

Τα εταιρικά εγχειρίδια, συμβόλαια και tickets δεν πρέπει να φορτώνονται όλα. Ένα retrieval layer επιλέγει σχετικά chunks με metadata, version και access control.

Ο agent πρέπει να ξέρει πότε η ανάκτηση δεν είναι επαρκής. Αν οι πηγές συγκρούονται ή λείπει η απαιτούμενη έκδοση, ζητά διευκρίνιση ή επιστρέφει ότι δεν υπάρχει τεκμηριωμένη απάντηση. Δεν γεμίζει το κενό από παλιό summary.

07Τι δεν πρέπει να συνοψίζεται ελεύθερα

Ορισμένα δεδομένα απαιτούν ακριβή διατήρηση:

• οικονομικά ποσά και λογιστικές εγγραφές,
• permissions και approvals,
• νομικά ή συμβατικά αποσπάσματα,
• API IDs και idempotency keys,
• deadlines και ημερομηνίες,
• αποτελέσματα validation.

Αυτά αποθηκεύονται ως typed fields ή παραπομπές στην πηγή. Το φυσικό-language summary εξηγεί το context, αλλά δεν γίνεται μοναδική πηγή αλήθειας.

08Conversation memory και προτιμήσεις

Η μόνιμη μνήμη χρήστη πρέπει να έχει σαφή σκοπό. Μια προτίμηση γλώσσας ή μορφής μπορεί να είναι χρήσιμη. Ευαίσθητα στοιχεία, στιγμιαίες διαθέσεις και συμπεράσματα που δεν ζήτησε ο χρήστης δεν πρέπει να αποθηκεύονται αυτόματα.

Χρειάζονται retention, δυνατότητα προβολής ή διαγραφής και tenant isolation. Η μνήμη επαναξιολογείται όταν έρχεται νεότερη ρητή πληροφορία και δεν υπερισχύει των τρεχουσών οδηγιών.

09Context budget ανά στάδιο

Δεν δίνουμε όλο το διαθέσιμο window σε κάθε κλήση. Κρατάμε budget για output και πιθανό tool result. Διαφορετικά stages χρειάζονται διαφορετικό context: ο planner βλέπει στόχο και περιορισμούς, ο executor βλέπει το συγκεκριμένο task και ο verifier βλέπει αποτέλεσμα και acceptance criteria.

Η διάσπαση μειώνει θόρυβο και περιορίζει την έκθεση δεδομένων. Κάθε agent ή subtask λαμβάνει το ελάχιστο context που χρειάζεται για τον ρόλο του.

10Πώς ελέγχεται η ποιότητα

Τα tests πρέπει να προσομοιώνουν μεγάλες συνομιλίες, όχι μόνο δύο turns. Ελέγχουμε αν μετά από compaction ο agent:

• θυμάται τον σωστό στόχο,
• διατηρεί approvals και απαγορεύσεις,
• δεν επαναλαμβάνει ολοκληρωμένη ενέργεια,
• χρησιμοποιεί τα σωστά IDs,
• ανακτά την τρέχουσα έκδοση πηγής,
• διακρίνει fact από summary,
• χειρίζεται αντιφατική νέα πληροφορία,
• συνεχίζει σωστά μετά από restart.

Μετράμε task completion, factual consistency, token cost, latency και αριθμό περιττών tool calls. Ένα φθηνότερο context δεν είναι επιτυχία αν ο agent ξανακάνει εργασία ή παίρνει λάθος απόφαση.

11Πώς το υλοποιεί η Ai Foundry

12Checklist

Το context management δεν είναι απλώς τρόπος να χωρέσουν περισσότερα tokens. Είναι ο σχεδιασμός της προσοχής και της κατάστασης ενός συστήματος που πρέπει να συνεχίζει σωστά όταν η ιστορία του μεγαλώνει.

13Πηγές

Γράφτηκε από την ομάδα της Ai Foundry (aifoundry.gr), εταιρείας ανάπτυξης λογισμικού και εφαρμογών τεχνητής νοημοσύνης στην Ελλάδα.