See osa, kus PPT üritab tehisintellekti lihtsana näidata
Tehisintellekti otsustusprotsesside puhul teeskleb igaüks, et saab sellest aru – kuni see teeb kas geniaalse otsuse või komistab ilmselge vea otsa. Siis on see järsku "liiga keeruline" või "must kast", nagu oleks matemaatika banaanikoorel libisenud. Kui oled kunagi istunud läbi ettekannet teemal "Otsustusprotsessid tehisintellektis" (Decision Making in Artificial Intelligence PPT), siis tead rutiini: suured nooled, vooskeemid ja lõikepildid, mis viitavad vältimatusele. See ei ole vältimatu. See on valikute jada lõpmatuseni.
See on süvauuring algoritmidesse – päris algoritmid, mida kasutatakse tehisintellekti otsustusprotsessides. Mitte slaidikomplekt kastikujuliste nooltega. Eesmärk on murda läbi "AI otsustab meie eest" teatrist ja rääkida sellest, kuidas need süsteemid tegelikult valivad. Spoiler: nad ei ole niivõrd kõiketeadvad oraaklid, kuivõrd väga kiired, väga sõnasõnalised mõtlejad, kes pole kunagi pidanud ummikus istuma ega väikelapse magamamineku üle läbirääkimisi pidama.
Mida me mõtleme "Tehisintellekti otsustusprotsesside" all (ja mida PPT-d harva tunnistavad)
"Otsustusprotsessid tehisintellektis" kõlab ülevana, kuid praktikas on see tehnoloogiate kogum: reeglipõhine arutluskäik, otsing, optimeerimine, tõenäosuslik järeldamine, tugevdatud õppimine, planeerimine ja hübriidsüsteemid, mis õmblevad kogu segaduse kokku. Algoritmid ei "taha" midagi. Nad optimeerivad konkreetseid funktsioone konkreetsete piirangute alusel. Vaheta funktsioon või piirangud ja saad teistsuguse "intelligentsi". Kui see kõlab ilmselgelt, siis palju õnne – sa oled eespool pooli SlideShare'i esitlustest.
Põhiprobleem enamiku tehisintellekti otsustusprotsesside PPT-de puhul ei ole see, et nad lihtsustavad. See on see, et nad lihtsustavad vales suunas. Nad vihjavad, et mudelid otsustavad, sest nad "õppisid". Õppimine ei ole otsustamine. Õppimine annab sulle poliitika või mudeli; otsustusprotsess on selle poliitika käivitamine kontekstis, mis ei ole kunagi täpselt nagu treeningandmed. Erinevus malekäigu meeldejätmise ja keskfaasi kaoses ellujäämise vahel – esimene näeb hea välja täpploendis; viimane on see, mis võidab.
Tegelikud tööriistad: reeglitest preemiateni
Liigume mööda virna, alates asjadest, mis kõlavad vanamoodsalt (kuid on endiselt olulised), kuni tehnikateni, mis toetavad kaasaegseid süsteeme. Lihtne keel, ilma romantikata.
Reeglipõhised süsteemid: ikka veel elus, lihtsalt ausad
Reeglid on mõnele AI-inimesele piinlikud, nagu sokkide kandmine sandaalidega. Kuid reeglipõhisel otsustusprotsessil on üks suur eelis: läbipaistvus. Kui tehisintellekti otsustusprotsesside PPT jätab reeglid kui "pärandi" vahele, siis varjab see poolt lugu. Ekspertsüsteemid kodeerivad domeeniteadmised kui kui-siis väited. Nad on haprad, jah, aga nad on auditeeritavad. Kui vajad determinismi ja jälgitavust – vastavuskontrollid, meditsiinilised triaažiprotokollid – siis reeglid mitte ainult ei tööta endiselt; nad töötavad paremini.
- Plussid: deterministlik, seletatav, lihtne siluda
- Miinused: habras, raske skaleerida üle segaste domeenide
Sa tead, millal reeglisüsteem ebaõnnestub, sest see ütleb sulle. Enamik kaasaegseid süsteeme ebaõnnestub vaikselt.
Otsing ja optimeerimine: otsused kui navigeerimine
Enne kui me kõike ookeanitäite andmetega treenisime, me otsisime. Laiutiotsing, sügavutiotsing, A*, kiireotsing. See ei ole glamuurne, aga iga kord, kui sa lahendad teekonna leidmise probleemi – sõna otseses mõttes või metafooriliselt – on otsing selgroog. A* hea heuristikaga peksab "nutika" mudeli rumala eesmärgiga.
Optimeerimine üldistab seda: sa sead eesmärgifunktsiooni ja piirangud, siis surud parima lahenduse poole, mida sa saad endale lubada olemasoleva arvutusvõimsusega. Lineaarne programmeerimine, segaintegreeritud programmeerimine, evolutsioonilised algoritmid – tähestikusupp, et saada "peaaegu hea" olekust "piisavalt hea" olekusse tähtaja jooksul.
- Plussid: tõestatavad garantiid, kontrollitavad kompromissid
- Miinused: modelleerimine on raske; eesmärgid võivad olla valesti määratletud peentel, katastroofilistel viisidel
Kui mudel teeb midagi veidrat, siis sageli on see sellepärast, et sa said täpselt selle, mida sa küsisid – lihtsalt mitte seda, mida sa mõtlesid.
Tõenäosuslik arutluskäik: ebakindlus on funktsioon
Bayesi võrgud, varjatud Markovi mudelid, Kalmani filtrid: klassika. Selle asemel, et teeselda, et maailm on kindel, peavad need meetodid arvestust ebakindluse kohta ja valivad tegevusi, mis selle vastu maandavad. Teisisõnu, realism.
- Plussid: põhimõtteline ebakindluse korral; tõlgendatav struktuur
- Miinused: skaleerimine kõrgedimensionaalse segaduse korral on valulik; eeldused löövad tagasi
Tõenäosuslikud meetodid on see, millele enamik tehisintellekti otsustusprotsesside PPT esitlusi viitavad "usaldusskooridega". Usaldus ei ole tõenäosus. Tõenäosus on matemaatika koos kviitungitega.
Tugevdatud õppimine: preemiad teevad reeglid
Tugevdatud õppimine – Q-õppimine, poliitika gradiendid, näitleja-kriitiku variandid – raamivad otsustusprotsessi kui katse ja eksitus preemiatahvliga. Sa valid tegevusi, keskkond annab sulle preemiaid ja sa lükkad oma poliitikat tegevuste poole, mis aja jooksul ära tasuvad. See on koht, kus AI tõeliselt "otsustab" selles mõttes, et ta mängib mängu – mängu, mille sa kujundasid, kas sa said sellest aru või mitte.
- Plussid: tugev järjestikuste otsustusülesannete jaoks; õpib strateegiaid, mida sa ei kodeerinud selgesõnaliselt
- Miinused: preemia häkkimine; valimi ebaefektiivsus; habras üldistus, kui maailm muutub isegi natuke
Inimestele meeldib väita, et tugevdatud õppimine on "nagu see, kuidas inimesed õpivad". Tegelikult mitte. Inimestel on eelnevad teadmised, kehad, igavus ja terve mõistus. RL agentidel on preemia funktsioon ja lõpmatu kannatus proovida mõttetusi, kuni see töötab.
Planeerimine ja POMDP-d: maailm on poolenisti nähtav
Reaalse maailma otsustusprotsessid ei tule harva täiusliku informatsiooniga. Osaliselt Vaadeldavad Markovi Otsustusprotsessid (Partially Observable Markov Decision Processes (POMDPs)) modelleerivad seda ebakindlust selgesõnaliselt: sa ei tea olekut, ainult vaatlusi, mis sellele viitavad. Planeerimine osalise vaadeldavuse korral sunnib sind säilitama uskumuse olekut – väljamõeldud termin "mida me arvame, et toimub, arvestades seda, mida me oleme näinud".
- Plussid: aus ebakindluse suhtes; formaalsed alused mõistlikuks tegevuseks
- Miinused: arvutuslikult jõhker; lähendused on vajalik kurjus
Kui sinu tehisintellekti otsustusprotsesside PPT ei sosista vähemalt "POMDP-d", siis see kohtleb reaalsust kui valikulist seadet.
Hübriidsüsteemid ja neuro-sümboolsed segud
Neuraalsed võrgud näevad ja sildistavad; sümboolsed süsteemid selgitavad ja piiravad. Liimi need kokku ja sa saad midagi kasulikku. Nägemismudel taju jaoks, reeglid ohutuse jaoks. Keelemudel kandidaatide tegevuste jaoks, planeerija teostatavuse jaoks. Need hübriidid ei ole lihtsalt trendikad; nad peegeldavad inseneri alandlikkust: kasuta õpitud mudelit, kus taju on raske, kasuta selgesõnalist loogikat, kus panused on kõrged.
- Plussid: praktiline, kontrollitav, mõlema parim
- Miinused: integreerimise peavalud, haprad liidesed, dubleeritud keerukus
Otsustussilmus: OODA masinatele, vähemate akronüümidega
Enamik AI otsustussüsteeme jookseb silmusena: jälgi, järelda, planeeri, tegutse, korda. Slaidikomplektid armastavad ringe ja nooli; oluline osa on pinge. Iga samm teeb kompromisse. Jälgi (aga mitte kõike). Järelda (aga säilita oma ebakindlus). Planeeri (aga aja jooksul). Tegutse (aga ära põleta maailma maha).
- Taju sümboliteks: toorandmetest tunnusteni. Kaota informatsiooni, loodetavasti õige informatsiooni.
- Ennustus uskumuseks: tunnustest jaotuseni selle kohta, mis tegelikult toimub.
- Poliitika plaaniks: praegusest uskumusest tegevuste jadani, piiratud arvutusvõimsuse ja riskitaluvusega.
- Tegevus tagasisideks: tegutse, mõõda tulemusi, uuenda uskumusi ja parameetreid. Kui sinu silmus ei muutu kogemustega paremaks, siis on see automatiseerimine, mitte AI.
Suurim viga tehisintellekti otsustusprotsesside PPT-s on teeselda, et silmus on puhas. Tootmises triivivad sensorid, inimesed sekkuvad ja mõõdikud võitlevad üksteisega. Suurepärased süsteemid on need, mis lagunevad graatsiliselt, kui maailm õlgu kehitab.
Süvauuring algoritmidessse (ilma moesõnade kastmeta)
Vaatame tegelikult algoritme, mida inimesed kasutavad – mida nad lahendavad, kuidas nad ebaõnnestuvad ja kus nad säravad.
Mitme käega bandiidid: avastamine ilma draamata
Kui sa pead tasakaalustama uute asjade proovimist sellega, mis töötab – reklaamide valik, soovituste kohandused, kasutajaliidese eksperimendid – siis mitme käega bandiidid peksavad A/B testimist kiiruse osas. Thompsoni valimine on pragmaatiline lemmik: Bayesi, lihtne, efektiivne. See ei teeskle, et on täielik RL agent. See on parem selle jaoks.
- Kasuta seda: kiire veebipõhine otsustusprotsess koos tagasisidega
- Ära kasuta seda: pika horisondi strateegia, keerulised sõltuvused, ohutuskriitiline miski
Monte Carlo puuotsing: ettenägelikkuse mängimine eelarvega
MCTS proovib tulevikke, mitte kõiki neid, vaid piisavalt usutavaid. See on algoritmiline ekvivalent "mõtleme selle läbi, aga mitte terve pärastlõuna". Mängudes ja struktureeritud planeerimises see võidab. Avatud segadustes hallutsineerib see struktuuri, mida seal ei ole.
- Suurepärane: piiratud, hästi modelleeritud otsustusruumid (mängud, piiratud planeerimine)
- Nõrk: modelleerimata kaos (inimesed, turud, Twitter)
Dünaamiline programmeerimine: optimaalne koos konksuga
Bellmani võrrandid, väärtuse iteratsioon, poliitika iteratsioon. Kontrolliteooria kroonijuveelid, krooniga, mis on valmistatud eksponentsiaalsest kasvust. Kui olekute ruum plahvatab, siis plahvatab ka sinu optimism.
- Suurepärane: väikesed kuni keskmised Markov maailmad teadaoleva dünaamikaga
- Nõrk: kõik muu, kui sa ei lähenda (mis tähendab, alati)
Heuristikad ja metaheuristikad: tagasihoidlikud tööhobused
Simuleeritud lõõmutamine, tabuotsing, geneetilised algoritmid. Need on ülistatud "proovi palju asju, säilita parim, jätka". See ei ole solvang. Enamik reaalseid otsuseid näevad välja sellised skaalal, sest reaalsus ei lase sul istuda ja lahendada täpset võrrandit, kui kell tiksub.
- Suurepärane: rasked kombinatoorilised probleemid, kus optimaalne on fantaasia
- Nõrk: domeenid, kus garantiid on olulisemad kui kiirus
Põhjuslikud mudelid: sest korrelatsioon on petis
Põhjuslik otsustusprotsess – jah, Pearl, graafikud, sekkumised – annab sulle võimaluse küsida "mis siis, kui me tegelikult midagi muudame?" selle asemel, et "mis juhtus eelmine kord?". Kui sinu tehisintellekti otsustusprotsesside PPT ei nimeta põhjuslikku järeldust, aga sinu toode teeb valikuid, mis mõjutavad inimesi, siis sa ehitad kahetsuse soovitussüsteemi.
- Suurepärane: poliitika, meditsiin, toote muudatused teisejärguliste mõjudega
- Nõrk: puhtalt ennustavad ülesanded, kus kontrafaktuaalid ei loe
Kaks rasket probleemi: eesmärgid ja piirangud
Esimene vale AI otsustusprotsessis on see, et me optimeerime "jõudlust". Mida täpselt optimeerime? Klikke? Tööaega? Tulu? Ohutust? Õiglust? Latentsust? Kui sa ei kirjuta seda välja, siis sul ei ole süsteemi – sul on soov. Eesmärgifunktsioon on toode. Kohtle seda nagu juriidilist standardsätet ja see hammustab nagu juriidiline standardsäte.
- Mitme eesmärgi kompromissid ei ole vead. Need on töö. Kaalu neid selgesõnaliselt, mõõda valu ausalt ja ära teeskle, et Pareto frondid on moraalsed kompassid.
- Piirangud ei ole järelmõtted. Need on, kuidas sa piirad kahju. Rasked piirangud (ei, tõesti, ära kunagi ületa X) erinevad pehmetest karistustest (palun ära ületa X, kui see pole kasumlik). Kirjuta need alla nii, nagu sa mõtled seda tõsiselt.
Tööstuse lemmik enesepete on arvata, et rohkem andmeid parandab halva eesmärgi. See ei tee seda. See muudab vale asja väga tõhusaks.
Seletatavus ei ole valikuline; see on kontekst
Survet seletatavale AI-le raamitakse sageli kui vastavusnõuet. See on tagurpidi. "Seletatavus" on see, kuidas sa ehitad usaldust inimestega, kes sõltuvad otsusest – isegi kui nad on insenerid. Sa pead teadma, miks mudel ütles "pööra vasakule", mitte selleks, et lepitada reguleerijat, vaid selleks, et siluda krahh enne, kui see uuesti juhtub.
- Post-hoc selgitused (salientsuskaardid, SHAP) on paremad kui mitte midagi, aga need on huulepulk – kasulik huulepulk – seal, kus võib-olla on võidusõiduhobune.
- Sisse ehitatud tõlgendatavus (monotoonsed mudelid, üldistatud liitmudelid, reeglid õpitud lävenditega) vahetab natuke toorest täpsust prognoositava käitumise vastu. Paljudes domeenides on see soodne tehing.
Kui sinu tehisintellekti otsustusprotsesside PPT näitab värvilist soojuskaarti ja nimetab seda päevaks, siis sa oled õppinud täpselt, kuidas mitte käivitada süsteemi tootmises.
Suured keelemudelid ja otsustuspeegeldus
Jah, LLM-id saavad otsustada – või vähemalt saavad nad pakkuda otsuseid välja hämmastava soravusega. Nad on suurepärased valikuruumi visandamisel, kompromisside loetlemisel, isegi planeerimissilmuse ümber tellingute kirjutamisel. Aga võrgutav osa on halvim osa: nad kõlavad enesekindlalt isegi siis, kui nad selle välja mõtlevad.
Ohutu muster ei ole "lase mudelil otsustada". See on: lase mudelil soovitada, piira reeglitega, valideeri planeerija või optimeerijaga ja logi iga samm. Pane LLM-id silmusesse, mitte rooli. Sa ei laseks autokorrektuuril oma autot juhtida.
Slaididelt süsteemidele: mis tegelikult tootmises töötab
Funktsionaalne otsustussüsteem AI-s ei näe välja nagu slaid. See näeb välja nagu:
- Selge eesmärk, mis peegeldab reaalsust, mitte lootust.
- Piirangud, mis on rasked seal, kus nad peavad olema, pehmed seal, kus nad saavad olla.
- Andmete torujuhe, mis tunnistab oma puuduvaid osi.
- Otsustusmootor, mis segab meetodeid: õpitud taju, tõenäosuslik järeldamine ja poliitika, mis suudab öelda "ma ei ole kindel".
- Vaadeldavus: jälgimine, selgitused ja tagasipööramine.
- Inimeste järelevalve koos õigusega tühistada.
Viimast osa peetakse mõnes ringkonnas kohmakaks. "AI peaks olema autonoomne." Võib-olla. Või võib-olla professionaalne alandlikkus peksab pressiteate machismot.
Vältimatu "Tööriistade" küsimus
Sa saad kokku panna selle otsustusvirna koos teekide ja teenuste konstellatsiooniga. Paljud on head. Vähem on järjepidevad. Parimad seadistused vähendavad hõõrdumist – viipade koostamine, väljundite kontrollimine, arutluskäikude aheldamine, äärmuslike juhtumite testimine – ja muudavad lihtsaks kaitsepiirete paigaldamise sinna, kus need on olulised.
Kaalu Sider.AI praktilise näitena. See ei ürita sulle müüa tundlikku olendit. See on tööriist, mis tegelikult aitab maadleda segase keskpaigaga: arutluskäikude ahelate koostamine, algoritmiliste valikute võrdlemine ja LLM-i abi lisamine sinna, kus see on produktiivne, mitte performatiivne. See on hea mitteseksikates osades – iteratsioon, kontrollimine ja "mis muutus versiooni 12 ja 13 vahel?" Hüpe maailmas on "tegelikult töötab" superjõud. Levinud müüdid tehisintellekti otsustusprotsesside PPT ringkondadest
- Müüt: "Rohkem andmeid peksab paremaid mudeleid." Mõnikord. Sageli peksab see halba mõtlemist. Selge eesmärk tagasihoidlike andmetega võib ületada tulekahjuvooliku, mis on suunatud valele mõõdikule.
- Müüt: "Must kast on vältimatu." Ei. See on mõnikord mugav. Sa saad ehitada tõlgendatavaid kihte läbipaistmatute tuumade ümber. Sa pead lihtsalt hoolima.
- Müüt: "Avastamine on riskantne." Kindlasti – ja nii on ka stagnatsioon. Bandiidid on olemas põhjusega.
- Müüt: "Autonoomia on eesmärk." Autonoomia on vahend. Usaldusväärsus on eesmärk.
Juhtumikirjeldused: kus kumm kohtub teega
- Logistika marsruutimine: A* teostatavuse jaoks, MILP kulude jaoks, heuristikad viimase miili kaose jaoks. Puista sisse nõudluse prognoos ebakindlusega ja sa saad tugeva süsteemi. Ei, üksainus otsast lõpuni sügav võrk ei tee teisel nädalal paremini, kui linn sulgeb silla.
- Meditsiiniline triaaž: reeglid raske ohutuse jaoks, tõenäosuslikud mudelid riski hindamiseks, inimene silmuses erandite jaoks. Süsteemi voorus ei ole kiirus; see teab, millal aeglustada.
- Sisu modereerimine: klassifikaator triaaži jaoks, poliitikareeglid juriidiliste piirangute jaoks, apellatsioonid inimestele. Sa ei "lahenda" seda, sa haldad seda – nagu niidaksid muru, mis kasvab külili.
Kuidas hinnata otsustussüsteemi (mitte slaidikomplekti)
Küsi kolm küsimust:
- Mida sa täpselt optimeerid? Kui vastus võtab rohkem kui ühe lause või vähem kui ühe lause, siis muretse.
- Mis juhtub, kui maailm muutub? Kui vastus on "treeni uuesti", siis nad ei ole mõelnud triivile.
- Kuidas sa tead, millal sa eksid? Kui vastus on vaikus, siis mine ära.
Oma süvauuringu ehitamine: praktiline ülevaade
Kui sa paned kokku oma tehisintellekti otsustusprotsesside PPT – sest me kõik oleme süüdi, lõpuks – siis ehita see üles aususe ümber:
- Alusta otsustussilmusest ja oma eesmärgifunktsioonist. Üks slaid, lihttekst.
- Eralda "õppimine" "otsustamisest". Kaks slaidi, ainult näited.
- Näita oma piiranguid ja miks need on rasked. Üks slaid, ei mingeid eufemisme.
- Vali algoritmid taju, järeldamise, planeerimise jaoks. Igaühe jaoks loetle ebaõnnestumisrežiimid.
- Selgita seiret: triiv, tühistamised, intsidentide käsiraamatud.
- Lõpeta lahendamata riskidega. Kui sul ei ole ühtegi, siis sa ei ole veel valmis.
Vaikne jõud öelda "Ma ei tea"
AI-süsteemid peaksid suutma hääletamisest hoiduma. Nimetage seda ebakindlusega arvestavaks otsuste langetamiseks, selektiivseks ennustamiseks vms. Oskus öelda "pass" on vahe tööriista ja kohustuse vahel. Inimesed teevad seda instinktiivselt. Oleme ehitanud liiga palju süsteeme, mis seda ei suuda.
Kuhu see meid jätab
Tehisintellekti otsuste langetamine ei ole maagia ja sügav sukeldumine algoritmidessse ei tohiks kõlada nagu uue religiooni tutvustus. See on inseneritöö – hoolikad eesmärgid, selged piirangud, aus ebakindlus ja valmisolek vahetada elegants töökindluse vastu. Järgmine kord, kui PPT ütleb teile, et süsteem "õppis otsustama", küsige, mis juhtub, kui sild on maas, mõõdik on vale või kasutaja teeb midagi, mida keegi ei ennustanud.
Kui vastuseks on suurem nool, siis olete oma otsuse langetanud.
Märksõnateadlik lisa (ilma märksõnadega täitmata)
- Otsuste langetamine tehisintellektis: praktika valida tegevusi ebakindluse tingimustes, kasutades selgeid eesmärke ja piiranguid.
- Sügav sukeldumine algoritmidessse: mitte metafoor – otsing, optimeerimine, tõenäosuslik järeldamine, tugevdamisõpe, planeerimine, põhjuslik modelleerimine, hübriidid.
- Praktiline järeldus: segage meetodeid, tugevdage piiranguid, võtke omaks ebakindlus, mõõtke kõike ja pange vastu kiusatusele teeselda, et slaid on süsteem.
KKK
K1: Mis on tegelikult otsuste langetamine tehisintellektis?
See on tegevuste valimine ebakindluse tingimustes koos selge eesmärgi ja piirangutega – mitte tunnetuse alusel. Huvitav osa ei ole mudel; see on see, kuidas mudel, andmed ja kaitsepiirded töötavad koos, kui maailm keeldub vastamast treeningkomplektile.
K2: Millised algoritmid on olulised AI otsuste langetamise süvauurimisel?
Otsing, optimeerimine, tõenäosuslik arutlemine, tugevdamisõpe, planeerimine ja põhjuslikud mudelid on selgroog. Hübriidsüsteemid, mis ühendavad õpitud taju sümboolsete reeglitega, on need, mis tegelikult tootmises ellu jäävad.
K3: Kas suured keelemudelid sobivad otsuste langetamiseks?
Need sobivad suurepäraselt valikute pakkumiseks ja plaanide loomiseks, kohutavad kui kontrollimatud otsustajad. Kasutage LLM-e ahelas: soovitada, piirata, valideerida – seejärel logige iga samm nagu peaksite seda advokaadile selgitama.
K4: Kuidas ma saan vältida suurimaid vigu otsuste langetamise tehisintellekti PPT-s?
Eraldage õppimine otsustamisest, määratlege eesmärk ja kirjutage välja piirangud. Näidake ebaõnnestumisrežiime ja seiret – kui teie slaidid on kõik nooled ja mitte ühtegi kompromissi, siis on see teater, mitte inseneritöö.
K5: Kuidas sobitub Sider.AI AI otsuste langetamise töövoogudesse?
Sider.AI aitab räpase keskmise osaga – põhjendusvoogude koostamise, võrdlemise ja kontrollimisega –, et saaksite LLM-i abi panna sinna, kus see töötab, mitte sinna, kus turundus soovib, et see töötaks. Mõelge praktilisele iteratsioonile, mitte võlukepile. 
