Indrek Saul – Kasvustrateegia konsultant
Selle artikli lugemiseks kulub sul umbes 10 minutit.

TL;DR

Eelmises artiklis kirjutasin, kuidas ma „clean room” protokolli lõin ja avastasin, et mälu ja konteksti seadistused on paras peavalu. „Memory OFF” ei tähenda sama asja kõigil platvormidel.

Aga nüüd asja juurde – kuus tundi promptimist, 4 LLM-i, 36 faili.

Ma endamisi panustasin Claude’le, see on mu peamine tööriist. ChatGPT on praktiline, aga udutab palju. Gemini… ausalt öeldes, ei teadnud, mida oodata. Siiani suhteliselt kesise mulje jätnud.

Kolmkümmend kuus vestlust hiljem: „Hmm, tulemus on hoopis teistsugune, kui ma arvasin.”

Joonis 1. Nelja tehisintellekti testimine

1. Kuidas ma hindasin

Enne kui jagan tulemusi, selgitan hindamise protseduuri, muidu oleks tegu ainult minu subjektiivse arvamusega. Põhimõtteliselt võtsin ette teadusuuringu ja -artikli nõuded ning tuletasin nendest eksperimendi protokolli.

Tulemuste hindamiseks kasutasin viit kriteeriumit skaalal 1-5:

  1. konkreetsus (kas soovitused on spetsiifilised või üldsõnalised),
  2. diferentseeritus (kas strateegia eristab brändi konkurentidest),
  3. faktitundlikkus (kas väited põhinevad andmetel või oletustel),
  4. loogika (kas strateegia on loogiline ja sidus)
  5. ning realism (kas seda saaks tegelikult ellu viia).

Kokku 25 punkti maksimum.
Ma hindasin iga brändi iga LLM-i vastust eraldi ja seejärel keskmistasin.

2. Tulemused

Koondskoor

Claude võitis. Aga napilt, kõigest 0.5 punktiga.

3. Mida Claude tegi hästi?

Struktuur ja sügavus

Claude’i vastused olid pikad, väga pikad. Keskmine pikkus: ~290 rida ilma sisendita (F1a), ~900 rida täissisendiga (F1b). See pole ainult pikkus, see on struktuur.

Näide bränd Alfa strateegiast (F1b): SWOT analüüs (detailne), konkurentsianalüüs (tabel), tegevuskava (kvartaalid), KPI-d (konkreetsed numbrid), riskimaatriks (tõenäosused).

See tundus alguses nagu ülepinge. Aga siis nägin, et Claude oli teinud midagi, mida teised ei teinud – ta oli kvartaalselt jaotanud tegevused: Q1 teeninduse audit + kliendiprogrammi disain, Q2 digitaalse platvormi käivitus, Q3 TCO kalkulaatori lanseerimine, Q4 tulemuste mõõtmine.

Kas see on praktikas kasulik? Jah.

Kus Claude jäi nõrgaks?

Allikad puuduvad. Claude ei viita mitte ühelegi allikale, ta lihtsalt kirjutab: „Bränd Alfa turuosa on ligikaudu 8%.” Kust ta seda teab? Ei tea. See on probleem, sest strateegias pead teadma, milline info on usaldusväärne ja milline on oletus.

4. Mida ChatGPT tegi hästi?

Allikad ja numbrid

ChatGPT oli ainus, kes viitas allikatele. Näiteks: „Bränd Beeta’l on Eestis 3 esindust. Bränd Gamma edasimüüjal on 4 teeninduskeskust.” Ta lihtsalt ei väida, ta näitab, kust see tuleb.

Ja siis oli veel üks asi, mida ma ei osanud oodata – ChatGPT kasutas veebiotsingut F1a faasis. Mäletad? F1a oli faas, kus LLM ei saanud mitte mingit sisendit, puhas leht. Aga ChatGPT läks ise otsima ja leidis: esinduste arvu, turuosa hinnangud, teeninduskeskuste asukohad.

Oli see aus? Jah. Ma ei keelanud veebiotsingut, ma ainult ei andnud sisendit. ChatGPT on lihtsalt nutikam – ta teab, et strateegia tegemiseks vajad fakte, ja läheb neid ise otsima.

Kus ChatGPT jäi nõrgaks?

Strateegiline sügavus. ChatGPT vastused olid veidi lühemad kui Claude’il: ~260 rida vs Claude’i 290. Ja see pole ainult pikkus – ChatGPT andis konkreetseid soovitusi, aga vähem strateegilist konteksti.

Näide: Claude soovitas „Bränd Alfa peaks looma premium-nišši põhjamaisele identiteedile, tuginedes kohandusprogrammile kui eristumistegurile ning fokusseerides metsandus- ja kommunaalsektorile, kus ta on traditsiooniliselt tugev.” ChatGPT soovitas „Bränd Alfa peaks rõhutama kohandusprogrammi paindlikkust ja teeninduse kiirust.”

Mõlemad on õiged. Aga Claude annab raamistiku, ChatGPT annab tegevused.

5. Mida Gemini tegi hästi?

Kompaktsus

Gemini vastused olid lühikesed: ~100 rida. Esimene mõte? „See on liiga lühike.” Aga siis nägin, et Gemini oli teinud midagi tarka – ta oli jätnud välja kõik hügieeni soovitused.

Claude ja ChatGPT mõlemad soovitasid „paranda teenindust”, „digitaliseeri”, „loo lojaalsusprogramm”.
Gemini ütles lihtsalt: „Hügieen (mida kõik konkurendid peavad tegema): teenindus, digi, lojaalsus. Eristumine: bränd Alfa kohandusprogramm peaks olema igas pakkumises. See on ainus asi, mida konkurendid Beeta ja Gamma ei paku.”

Bang! Teravam kui Claude’i 900-realine analüüs.

Kus Gemini jäi nõrgaks?

Liiga lühike. Kui sa vajad põhjalikku strateegilist plaani, siis Gemini ei anna seda. Ta annab sulle fookuse, aga kui sa tahad täit plaani, pead selle ise tegema.

6. Suurim „üllatus”

SWOT-id olid kasutud

Kõik kolm LLM-i tegid SWOT analüüsi, formaalselt õigesti.

Claude: tugevused 15 punkti, nõrkused 2 punkti, võimalused 3 punkti, ohud 2 punkti. „S” on põhjalik, aga W/O/T peaaegu tühjad.

ChatGPT: tugevused 12 punkti (viitega), nõrkused 8 punkti, võimalused 10 punkti, ohud 7 punkti. See oli rohkem tasakaalus.

Gemini: tugevused 6 punkti, nõrkused 4 punkti, võimalused 3 punkti, ohud 2 punkti. Gemini oli lühim, aga ta tegi midagi, mida teised ei teinud – ta kasutas SWOT-i, tõsi, väga vähe. Teised ei kasutanud üldse.

Näiteks: „Bränd Alfa kohandusprogramm (S) + omavalitsuste vajadus kohandatud masinate järele (O) = kohandusprogramm peaks olema standard pakkumises omavalitsustele.”

SWOT-i mõte on anda strateegiale sisuline sisend. Paraku, nagu tihti ka „inimtekkelise” SWOT puhul, piirdus see lihtsalt nelja kasti täitmisega.

7. Kas rohkem infot = parem strateegia?

Mäleta, mul oli kolm faasi: F1a (LLM ei tea midagi), F1b (LLM saab brändi turuanalüüsi), F1c (LLM saab kogu turu ülevaate). Kas rohkem sisendinfot parandas väljundit?

Claude: jah, dramaatiliselt. F1a ~290 rida (üldine), F1b ~900 rida (konkreetsed KPI-d, kvartaalne plaan), F1c ~410 rida (fookustatud). Muutus F1a → F1c: +65% konkreetsus, +80% rohkem numbreid.

ChatGPT: ei, mitte eriti. F1a ~260 rida (juba allikatega!), F1b ~270 rida, F1c ~280 rida. Muutus: +15%. Miks? Sest ChatGPT kasutas veebiotsingut juba F1a-s.

Gemini: veidi. F1a ~100 rida, F1b ~95 rida, F1c ~110 rida. Muutus: +20%.

8. Mis see kõik tähendab?

Praktiline järeldus

Põhjalikku strateegiat vajades on parim Claude (struktuur, KPI-d, kvartaalne plaan). Faktide kogumiseks sobib ChatGPT (allikad, numbrid, veebiotsing). Kiire fookuse jaoks vali Gemini (lühike, konkreetne eristumine). SWOT analüüsiks on kõige parem ChatGPT (tasakaalus ja konkreetne).

Aga suurim õppetund? Ükski LLM ei tee strateegiat sinu eest. Claude annab sulle raamistiku, ChatGPT annab sulle fakte, Gemini annab sulle fookuse. Aga otsused pead ikkagi ise tegema.

Kokkuvõte

Arvasin, et Claude võidab selgelt. Võitis, aga 0.5 punktiga. Arvasin, et ChatGPT on liiga „kiire” strateegiaks, aga ta kasutas veebiotsingut targemini kui keegi teine. Arvasin, et Gemini on lihtsalt „nõrgem versioon”, aga ta oli vahel teravama fookusega kui Claude.

Ja kõige üllatavam? SWOT-id olid kasutud.

Mis edasi?

Järgmises artiklis (29.01) jagan kõige olulisemat leidu: kas LLM-i strateegiad on omavahel liiga sarnased? Kui kõik neli brändi said sama nõu, siis pole eristumist, on ainult hinnasõda. Ja tulemus? Oli üllatavam, kui ma arvasin.

Eelmist, sarja teist artiklit (2/5) saad lugeda siit 👇
Kuidas ma testisin 4 AI-d: metoodika ja seadistuste lõksud

Sarja esimest artiklit (1/5) saad lugeda siit 👇
Kuidas piinlik esitlus viis mind AI strateegiavõimekuse uurimiseni

🔗 Jaga sõpradega:
Kui keegi sinu tuttavatest kasutab AI-d tööks, saada see artikkel edasi.

💬Küsimused?
Kommenteeri LinkedIni või Facebooki postituses või kirjuta mulle otse LinkedInis.

📥 Tahad SWOT-i näiteid?
Telli uudiskiri ja saad täpsed võrdlused ja tsitaadid LLM-idelt.

Uudiskirjas jagan eksklusiivset sisu, mida blogis ei ole. Ilmub 1× nädalas.

👉 Uudiskiri: Tellin StrateegiaAI uudiskirja