ByteDance: Ετοιμάζει γιγαντιαίο AI μοντέλο έως 10 τρισ. παραμέτρων – Στόχος να πλησιάσει την Anthropic

• Η ByteDance εκπαιδεύει νέο AI μοντέλο που μπορεί να φτάσει έως και τα 10 τρισ. parameters, αν και το τελικό μέγεθος δεν έχει ακόμη καθοριστεί.
• Το μοντέλο θα μπορούσε να είναι περίπου τρεις φορές μεγαλύτερο από το Kimi K3 της Moonshot και να πλησιάσει σε κλίμακα τα πιο προηγμένα μοντέλα της Anthropic.
• Η εταιρεία επενδύει επιθετικά σε data centers, AI researchers, cloud και custom chips, με στόχο να αποκτήσει παγκόσμια ηγετική θέση στο AI.

Η ByteDance, μητρική εταιρεία του TikTok, ανεβάζει σημαντικά τον πήχη στην παγκόσμια κούρσα της τεχνητής νοημοσύνης, καθώς εκπαιδεύει ένα νέο μοντέλο που θα μπορούσε να φτάσει έως και τα 10 τρισεκατομμύρια παραμέτρους.

Το project βρίσκεται ακόμη σε πρώιμο στάδιο και η τελική κλίμακα του μοντέλου δεν έχει καθοριστεί. Ωστόσο, εφόσον φτάσει στο ανώτερο επίπεδο που εξετάζεται, θα είναι περίπου τρεις φορές μεγαλύτερο από το Kimi K3 της Moonshot, το μεγαλύτερο κινεζικό μοντέλο που έχει κυκλοφορήσει μέχρι σήμερα.

Η κίνηση αποτελεί μία από τις πιο φιλόδοξες προσπάθειες κινεζικής τεχνολογικής εταιρείας να πλησιάσει την κορυφή της παγκόσμιας αγοράς AI.

Στόχος τα πιο προηγμένα μοντέλα της Anthropic

Η ByteDance βρίσκεται στη διαδικασία pre-training του νέου μοντέλου, ένα στάδιο που συνήθως διαρκεί από τρεις έως έξι μήνες.

Εφόσον η διαδικασία ολοκληρωθεί επιτυχώς, θα ακολουθήσουν το fine-tuning και η προετοιμασία για πιθανή κυκλοφορία.

Η αμερικανική Anthropic δεν δημοσιοποιεί επίσημα τον αριθμό των παραμέτρων των μοντέλων της, ωστόσο εκτιμήσεις της αγοράς τοποθετούν το προηγμένο Mythos 5 περίπου στα 8 τρισ. parameters και το Fable 5 περίπου στα 5 τρισ.

Ένα μοντέλο της ByteDance στην περιοχή των 10 τρισ. παραμέτρων θα μπορούσε επομένως να τοποθετήσει την κινεζική εταιρεία στην ίδια κλίμακα με ορισμένα από τα μεγαλύτερα συστήματα που έχουν αναπτυχθεί διεθνώς.

Ωστόσο, ο αριθμός των παραμέτρων από μόνος του δεν καθορίζει τις πραγματικές επιδόσεις ενός μοντέλου.

Η ποιότητα των δεδομένων, η αρχιτεκτονική, οι τεχνικές εκπαίδευσης και το post-training μπορούν να αποδειχθούν εξίσου ή ακόμη περισσότερο σημαντικά.

Η Κίνα κλείνει την απόσταση από τα αμερικανικά AI labs

Η προσπάθεια της ByteDance εντάσσεται σε μια ευρύτερη επιτάχυνση της κινεζικής βιομηχανίας AI.

Μοντέλα από εταιρείες όπως η Moonshot και η Alibaba παρουσιάζουν ήδη ιδιαίτερα ανταγωνιστικές επιδόσεις σε διεθνή benchmarks.

Σε ορισμένες δοκιμές, κινεζικά μοντέλα βρίσκονται πλέον πίσω μόνο από τα πιο προηγμένα συστήματα της Anthropic.

Παράλληλα, πολλαπλά κινεζικά labs φέρονται να εκπαιδεύουν μοντέλα αντίστοιχης κλίμακας με το Fable 5.

Η ByteDance, ωστόσο, εμφανίζεται αυτή τη στιγμή ως μία από τις εταιρείες με τη μεγαλύτερη φιλοδοξία ως προς το μέγεθος των μοντέλων.

Η ByteDance κρατά χαμηλό προφίλ στο AI

Παρότι αποτελεί μία από τις μεγαλύτερες τεχνολογικές εταιρείες της Κίνας, η ByteDance έχει μέχρι σήμερα διατηρήσει σχετικά χαμηλό προφίλ όσον αφορά τα foundation models της.

Σε αντίθεση με αρκετούς ανταγωνιστές της στην Κίνα, πολλά από τα συστήματά της παραμένουν closed models.

Η εταιρεία, ωστόσο, έχει ήδη σημαντική παρουσία σε επιμέρους κατηγορίες AI.

Το SeeDance συγκαταλέγεται μεταξύ των πιο προηγμένων μοντέλων δημιουργίας βίντεο, ενώ το Doubao, το βασικό consumer-facing AI προϊόν της ByteDance, έχει εξελιχθεί σε ένα από τα δημοφιλέστερα AI εργαλεία στην Κίνα με περίπου 324 εκατομμύρια μηνιαίους ενεργούς χρήστες.

Τεράστιες επενδύσεις σε AI υποδομές

Τα τελευταία τρία χρόνια, η ByteDance έχει αυξήσει σημαντικά τις επενδύσεις της στην τεχνητή νοημοσύνη.

Η εταιρεία έχει επεκτείνει το δίκτυο των data centers της και έχει ενισχύσει σημαντικά τις προσλήψεις ερευνητών και μηχανικών.

Παράλληλα, επενδύει στο Volcano Engine, το cloud business της, μέσω του οποίου διαθέτει λύσεις AI σε επιχειρηματικούς πελάτες.

Η ByteDance εξετάζει επίσης την ανάπτυξη δικών της AI chips, σε μια προσπάθεια να αποκτήσει μεγαλύτερο έλεγχο πάνω στην υπολογιστική υποδομή που απαιτείται για την εκπαίδευση και λειτουργία μεγάλων μοντέλων.

Η ομάδα Seed των 2.000 εργαζομένων

Στην καρδιά της προσπάθειας βρίσκεται η Seed, η ομάδα ανάπτυξης μοντέλων της ByteDance.

Επικεφαλής της είναι ο Γου Γιονγκχούι, πρώην επιστήμονας της Google DeepMind.

Η ομάδα αριθμεί περίπου 2.000 εργαζομένους στην Κίνα και στο εξωτερικό.

Περιλαμβάνει:

core AI researchers,

μηχανικούς υποδομών,

ομάδες data labelling,

καθώς και μεταφραστές και άλλους εξειδικευμένους εργαζομένους.

Η κλίμακα της ομάδας δείχνει πόσο στρατηγικό θεωρεί πλέον το AI η ByteDance.

Γιατί η ByteDance αποφεύγει το model distillation

Ένα ακόμη ενδιαφέρον στοιχείο αφορά τη στρατηγική ανάπτυξης των μοντέλων της.

Η ByteDance έχει επιλέξει εδώ και περισσότερο από έναν χρόνο μια περισσότερο ανεξάρτητη προσέγγιση, η οποία δεν βασίζεται στο distillation μοντέλων άλλων εταιρειών.

Το model distillation είναι μια τεχνική κατά την οποία ένα μικρότερο μοντέλο εκπαιδεύεται χρησιμοποιώντας τις απαντήσεις και τη γνώση ενός μεγαλύτερου μοντέλου ως «δάσκαλο».

Η πρακτική επιτρέπει συχνά σε εταιρείες να αναπτύσσουν γρήγορα μοντέλα υψηλής απόδοσης.

Η διοίκηση της ByteDance θεωρεί όμως ότι η πραγματική τεχνολογική υπεροχή μπορεί να επιτευχθεί μόνο μέσω ανεξάρτητης ανάπτυξης.

Αυτή η στρατηγική ενδέχεται να έχει επιβραδύνει την πρόοδο της εταιρείας σε σχέση με ορισμένους ανταγωνιστές, αλλά ταυτόχρονα μπορεί να της προσφέρει μεγαλύτερη τεχνολογική αυτονομία μακροπρόθεσμα.

Ο Ζανγκ Γιμίνγκ θέλει «world-leading» AI

Ο ιδρυτής της ByteDance, Ζανγκ Γιμίνγκ, εξακολουθεί να διαδραματίζει σημαντικό ρόλο στη στρατηγική AI της εταιρείας.

Σε πρόσφατη εσωτερική συνάντηση φέρεται να ζήτησε από την ομάδα Seed να στοχεύει μακροπρόθεσμα σε «world-leading model capabilities», χωρίς να ανησυχεί υπερβολικά για το αν η εταιρεία βρίσκεται προσωρινά πίσω από ανταγωνιστές.

Η προσέγγιση αυτή δείχνει ότι η ByteDance δεν επιδιώκει απλώς να ακολουθήσει την OpenAI, την Anthropic ή τα υπόλοιπα κινεζικά labs.

Θέλει να δημιουργήσει τεχνολογία που θα μπορεί να ξεπεράσει τους σημερινούς ηγέτες της αγοράς.

Η νέα φάση της παγκόσμιας κούρσας AI

Η ανάπτυξη ενός μοντέλου έως 10 τρισ. παραμέτρων δείχνει ότι η τεχνολογική απόσταση ανάμεσα στα κορυφαία αμερικανικά και κινεζικά labs μειώνεται.

Η επόμενη φάση της κούρσας δεν αφορά πλέον μόνο το ποιος μπορεί να δημιουργήσει ένα ανταγωνιστικό chatbot.

Αφορά το ποιος διαθέτει τα chips, τα data centers, τα δεδομένα, το ανθρώπινο δυναμικό και το κεφάλαιο για να εκπαιδεύσει μοντέλα στην κορυφή της παγκόσμιας αγοράς.

Και σε αυτό το επίπεδο, η ByteDance φαίνεται αποφασισμένη να μετατραπεί από τον όμιλο πίσω από το TikTok σε έναν από τους μεγαλύτερους παγκόσμιους παίκτες της τεχνητής νοημοσύνης.

ΔΙΑΒΑΣΤΕ ΠΕΡΙΣΣΟΤΕΡΕΣ ΕΙΔΗΣΕΙΣ:

• Alibaba: Το «δωρεάν» open-source AI τελείωσε – Σχέδια για χρέωση των μεγάλων εταιρικών χρηστών
• Deepseek: Αυξάνει τις τιμές των υπηρεσιών AI, για να χρηματοδοτήσει νέο data center
• Samsung-SK Hynix: Οι μέτοχοι πιέζουν για διανομή των υπερκερδών της Τεχνητής Νοημοσύνης