שאול, יש אגדה יהודית שבה חסיד שמרוצה מהכל, אך עני מאוד, אוכל לחם ואומר: "תחשוב שאתה אוכל דג, וכבר אתה אוכל דג; תחשוב שאתה אוכל בשר, וכבר אתה אוכל בשר". זה באמת דומה למוטו שלך, לא?
כיוון שאין לי את הטלפון של יוסי, אחרי התקנת השרת ביקשתי מקלוד שיעשה אנליזה של סקיוריטי ויתקן את כל מה שצריך. נדרשו ארבע ריצות במצב נקי (קליר) כדי שקלוד לא ימצא בעיות חדשות. מעניין להשוות את זה לתוצר של בן אנוש.
אח״כ בקשתי מלוג ווטש (באנגלית למטה כדי שהטקסט לא יתחרבש) שישלח לי דו״ח פעם ביום למייל ואז ביקשתי מהבוט שיעשה אנליזה יומית של המייל ויבדוק אם יש איזושהי בעיית סקיוריטי שצצה.
logwatch
כתבת ״הדבר השני שעשיתי היה לבטל את זה ולבחור בדרך יותר חכמה לעשות את זה.״ יכול לספר קצת מה הדרך החכמה יותר?
העתיד הוא מודלים שחיים על ה-DEVICE עצמו. ככה שעלויות הטוקנים לא יהיו קיימות, והמודל/ים יגולמו במחיר המכשיר או הרישיון שתקנה למודל שתוכל להתקין על כמה מכשירים
"אנחנו בשלב שבו הטכנולוגיה הזו היא הכי זולה שהיא אי פעם תהיה... המשקיעים שלהן מסבסדים את הטכנולוגיה הזו בפראות" - חברות AI שורפות הרבה כסף משקיעים על אימון המודל הבא, וימשיכו לעשות את זה כל עוד הן בתחרות רצחנית אחת כנגד השנייה. אבל אני חושב שהמחיר לכל טוקן כבר עכשיו רווחי לחברות, עם שולי רווח של 30-70% (תלוי איך בדיוק אומדים את זה). לפי הערכות פנימיות של OpenAI הם היו עם שולי רווח פר טוקן של 72% באוקטובר האחרון (דיווח פה: https://fortune.com/2025/12/21/openai-compute-margins-revenue-chatgpt-earnings-sam-altman/). דרך אחרת להעריך את זה היא כמה הכנסות יש ממודל לאורך תקופת החיים שלו לעומת כמה עלה להריץ את ה-inference, שיווק, משכורות וכו' בזמן החיים של המודל. בדו"ח של Epoch AI (https://epoch.ai/gradient-updates/can-ai-companies-become-profitable) הם מעריכים שהרווחים הכוללים של OpenAI מ-GPT5 היו 6 מיליארד דולר, ועלות ה-inference הייתה 4 מיליארד - שולי רווח של 30%. אם מוסיפים משכורות (1 מיליארד) ועוד שיווק ואדמיניסטרציה, הם מגיעים לקצת פחות משישה מיליארד דולר.
כל זה לא לוקח בחשבון שהטכנולוגיה עצמה משתפרת ונעשית יעילה יותר - גם הערכות שמרניות מראות ירידה בעלות ה-inference פר טוקן של פי 9 בכל שנה (https://epoch.ai/data-insights/llm-inference-price-trends). שילוב של שיפורים אלגוריתמיים ושיפורי חומרה. וכמובן, היעילות הזאת עובדת גם למודלים חלשים יותר - אז גם עלות ההרצה של מודל frontier בעוד כמה שנים צפויה לרדת ביחס להיום, ועלות ההרצה של מודל שהוא frontier *היום* בעוד כמה שנים צפויה לרדת עוד יותר. לדוגמה, GPT3 עלה 60$ למיליון טוקנים, והמודל הכי זול עם ביצועים טובים באותה המידה שלוש שנים לאחר מכן עלה 0.06$ למיליון טוקנים (https://a16z.com/llmflation-llm-inference-cost/) - הוזלה של פי 1000.
יש שימושים שעבורם מספיק להשתמש במודלים חלשים יותר. כשאני עובד עם קלוד קוד, לפעמים הוא מתכנן את התוכנית בתור אופוס ואז יוצר תת-סוכנים של הייקו בשביל לממש דברים ספציפיים לפי התוכנית. לא כל המשימות דורשות את אותה רמת אינטליגנציה, אחרי הכל.
ובכל מקרה, עלות ההרצה של המודלים הכי חזקים גם היא יורדת + כבר עכשיו שולי הרווח להרצה חיוביים, אז אני לא רואה מצב שבו חברות *מוכרחות* להעלות מחירים כדי להיות רווחיות. כל עוד יש תחרות ביניהן, ואין עלות ממש להחלפה (החברה שלי עובדת עם מודל מסויים אבל יכולה בקלות לעבור למודל אחר, וקל וחומר הדבר נכון לצרכנים פרטיים), אני גם חושב ש*בפועל* הן לא יעלו מחירים. אתה לא מסכים?
אני מסכים שהם ימציאו עוד ועוד שירותים נוספים בתשלום - לדוגמה, לפני חודש אנתרופיק הוציאו שירות מהיר של קלוד אופוס, שעולה פי 6 פר טוקן. אבל להשוות את זה לאובר מייצר רושם מוטעה, לדעתי. אם אני מזמין אובר (במקומות בהם זה אפשרי :( ) אני אשלם יותר על השירות "נסיעה במונית" מכפי שהייתי משלם לפני כמה שנים. אבל היום אני משלם על השירות "שימוש במודל בינה מלאכותית הכי טוב בעולם" את אותו המחיר (או פחות, למי שמשתמש באיי-פי-איי) ממה שהייתי משלם לפני כמה שנים. זה שיש מוצר נוסף שאנתרופיק מציעה לא משנה את החוויה שלי בתור צרכן פרטי. אובר יכולים לעשות את זה מכיוון שהם מונופול טבעי בערים שבהן הם פועלים - לחברה חדשה קשה לפרוץ בגלל אפקט הרשת. כמו שכתבתי בתגובה קודם, לדעתי המצב שונה במודלי בינה מלאכותית - לרוב האנשים לא אכפת על איזה מודל האייג'נט שלהם רץ מאחורי הקלעים, ולכן התחרות חריפה יותר בין החברות.
הנסיון שלי עם ג׳מיני פלאש עם הבוט שלי היה גרוע. אז חיברתי אותו לקודקס של אופן-איי.איי שיש לי עם המנוי הבסיסי של ה 20 דולר לצ׳אט ג׳יפיטי והוא השתפר משמעותית.
קווין קלי כתב מעניין על עתיד הסוכנים
https://kk.org/thetechnium/the-handoff-to-bots/
וואו זה היה מעניין ממש. תודה רבה!
שאול, יש אגדה יהודית שבה חסיד שמרוצה מהכל, אך עני מאוד, אוכל לחם ואומר: "תחשוב שאתה אוכל דג, וכבר אתה אוכל דג; תחשוב שאתה אוכל בשר, וכבר אתה אוכל בשר". זה באמת דומה למוטו שלך, לא?
כיוון שאין לי את הטלפון של יוסי, אחרי התקנת השרת ביקשתי מקלוד שיעשה אנליזה של סקיוריטי ויתקן את כל מה שצריך. נדרשו ארבע ריצות במצב נקי (קליר) כדי שקלוד לא ימצא בעיות חדשות. מעניין להשוות את זה לתוצר של בן אנוש.
אח״כ בקשתי מלוג ווטש (באנגלית למטה כדי שהטקסט לא יתחרבש) שישלח לי דו״ח פעם ביום למייל ואז ביקשתי מהבוט שיעשה אנליזה יומית של המייל ויבדוק אם יש איזושהי בעיית סקיוריטי שצצה.
logwatch
כתבת ״הדבר השני שעשיתי היה לבטל את זה ולבחור בדרך יותר חכמה לעשות את זה.״ יכול לספר קצת מה הדרך החכמה יותר?
אני דרך אגב התקנתי את nanoclaw - https://nanoclaw.dev/
בעקבות הכתבה בדה מרקר https://www.themarker.com/technation/2026-03-18/ty-article/.highlight/0000019c-fcdb-d0c1-abfe-fcdbd7f90000
העתיד הוא מודלים שחיים על ה-DEVICE עצמו. ככה שעלויות הטוקנים לא יהיו קיימות, והמודל/ים יגולמו במחיר המכשיר או הרישיון שתקנה למודל שתוכל להתקין על כמה מכשירים
"אנחנו בשלב שבו הטכנולוגיה הזו היא הכי זולה שהיא אי פעם תהיה... המשקיעים שלהן מסבסדים את הטכנולוגיה הזו בפראות" - חברות AI שורפות הרבה כסף משקיעים על אימון המודל הבא, וימשיכו לעשות את זה כל עוד הן בתחרות רצחנית אחת כנגד השנייה. אבל אני חושב שהמחיר לכל טוקן כבר עכשיו רווחי לחברות, עם שולי רווח של 30-70% (תלוי איך בדיוק אומדים את זה). לפי הערכות פנימיות של OpenAI הם היו עם שולי רווח פר טוקן של 72% באוקטובר האחרון (דיווח פה: https://fortune.com/2025/12/21/openai-compute-margins-revenue-chatgpt-earnings-sam-altman/). דרך אחרת להעריך את זה היא כמה הכנסות יש ממודל לאורך תקופת החיים שלו לעומת כמה עלה להריץ את ה-inference, שיווק, משכורות וכו' בזמן החיים של המודל. בדו"ח של Epoch AI (https://epoch.ai/gradient-updates/can-ai-companies-become-profitable) הם מעריכים שהרווחים הכוללים של OpenAI מ-GPT5 היו 6 מיליארד דולר, ועלות ה-inference הייתה 4 מיליארד - שולי רווח של 30%. אם מוסיפים משכורות (1 מיליארד) ועוד שיווק ואדמיניסטרציה, הם מגיעים לקצת פחות משישה מיליארד דולר.
כל זה לא לוקח בחשבון שהטכנולוגיה עצמה משתפרת ונעשית יעילה יותר - גם הערכות שמרניות מראות ירידה בעלות ה-inference פר טוקן של פי 9 בכל שנה (https://epoch.ai/data-insights/llm-inference-price-trends). שילוב של שיפורים אלגוריתמיים ושיפורי חומרה. וכמובן, היעילות הזאת עובדת גם למודלים חלשים יותר - אז גם עלות ההרצה של מודל frontier בעוד כמה שנים צפויה לרדת ביחס להיום, ועלות ההרצה של מודל שהוא frontier *היום* בעוד כמה שנים צפויה לרדת עוד יותר. לדוגמה, GPT3 עלה 60$ למיליון טוקנים, והמודל הכי זול עם ביצועים טובים באותה המידה שלוש שנים לאחר מכן עלה 0.06$ למיליון טוקנים (https://a16z.com/llmflation-llm-inference-cost/) - הוזלה של פי 1000.
אבל המודלים יתקדמו. זה לא שבעוד שנה מישהו ישתמש במודל 3
יש שימושים שעבורם מספיק להשתמש במודלים חלשים יותר. כשאני עובד עם קלוד קוד, לפעמים הוא מתכנן את התוכנית בתור אופוס ואז יוצר תת-סוכנים של הייקו בשביל לממש דברים ספציפיים לפי התוכנית. לא כל המשימות דורשות את אותה רמת אינטליגנציה, אחרי הכל.
ובכל מקרה, עלות ההרצה של המודלים הכי חזקים גם היא יורדת + כבר עכשיו שולי הרווח להרצה חיוביים, אז אני לא רואה מצב שבו חברות *מוכרחות* להעלות מחירים כדי להיות רווחיות. כל עוד יש תחרות ביניהן, ואין עלות ממש להחלפה (החברה שלי עובדת עם מודל מסויים אבל יכולה בקלות לעבור למודל אחר, וקל וחומר הדבר נכון לצרכנים פרטיים), אני גם חושב ש*בפועל* הן לא יעלו מחירים. אתה לא מסכים?
(למדתי את הלקח ולעולם לא אערבב שוב עברית ואנגלית)
אני משוכנע שהן יעלו מחירים. אגב, להעלאת מחירים יש כל מיני צורות ואופנים. בין היתר, להמציא עוד ועוד שירותים נוספים בתשלום
אני מסכים שהם ימציאו עוד ועוד שירותים נוספים בתשלום - לדוגמה, לפני חודש אנתרופיק הוציאו שירות מהיר של קלוד אופוס, שעולה פי 6 פר טוקן. אבל להשוות את זה לאובר מייצר רושם מוטעה, לדעתי. אם אני מזמין אובר (במקומות בהם זה אפשרי :( ) אני אשלם יותר על השירות "נסיעה במונית" מכפי שהייתי משלם לפני כמה שנים. אבל היום אני משלם על השירות "שימוש במודל בינה מלאכותית הכי טוב בעולם" את אותו המחיר (או פחות, למי שמשתמש באיי-פי-איי) ממה שהייתי משלם לפני כמה שנים. זה שיש מוצר נוסף שאנתרופיק מציעה לא משנה את החוויה שלי בתור צרכן פרטי. אובר יכולים לעשות את זה מכיוון שהם מונופול טבעי בערים שבהן הם פועלים - לחברה חדשה קשה לפרוץ בגלל אפקט הרשת. כמו שכתבתי בתגובה קודם, לדעתי המצב שונה במודלי בינה מלאכותית - לרוב האנשים לא אכפת על איזה מודל האייג'נט שלהם רץ מאחורי הקלעים, ולכן התחרות חריפה יותר בין החברות.
הנסיון שלי עם ג׳מיני פלאש עם הבוט שלי היה גרוע. אז חיברתי אותו לקודקס של אופן-איי.איי שיש לי עם המנוי הבסיסי של ה 20 דולר לצ׳אט ג׳יפיטי והוא השתפר משמעותית.