KI-Modelle ganz einfach lokal auf Mac und Windows laufen lassen? Das ist möglich. Mit #ollama könnt ihr ein lokales "ChatGPT" (z.B. #llama3, #phi3) sicher und privat betreiben. Direkt von eurem Rechner aus! So habt ihr die Kontrolle über eure Daten und könnt die Leistungsfähigkeit moderner KI-Modelle nutzen, ohne auf externe Dienste angewiesen zu sein. In diesem kurzen Video gehe ich mit euch alle relevanten Schritte dafür durch. Ihr erfahrt, wie ihr die Software installiert, konfiguriert und optimal nutzt. Zudem zeige ich, wie ihr die Modelle für verschiedene Anwendungen anpassen könnt, um das Beste aus eurer lokalen KI herauszuholen. #llm #howto #slm #chatgpt #gpt4
Beitrag von Simon Frey
Relevantere Beiträge
-
KI-Sprachsysteme sinnvoll im Serverbereich einsetzen 😎 In diesem Beispiel lass ich mir die letzten 100 Systemmeldungen ausgeben und übergebe diese an eine lokal laufende KI zur Analyse und Fehlerbeschreibung. Wurden die Fehler erst einmal gefunden, kann die KI auch genutzt werden um die Probleme zu lösen oder Lösungsansätze zu finden. Das Video läuft in Echtzeit ab und wie man sieht erhält man in kurzer Zeit sein Ergebnis. Online mit ChatGPT-4o oder Groq-Llama3-70b wäre der Bericht in sekundenschnelle fertig gewesen aber dafür läuft die lokale KI auch ohne Internet. Auf meinem Linux-Server ist Ollama installiert, dass bei AMD Hardware neben der CPU sogar die APU mitnutzen kann. Ollama kann sowohl auf Linux als auch Windows Servern betrieben werden. Als KI (LLM) habe ich PHI3-3,8B genommen, da es klein, schnell und dafür sehr leistungsfähig ist. Dieses KI-Modell gibt es mit einem Context Windows von 4K, was in etwa 16 DinA4 Seiten Input/Output entspricht. Daneben gäbe es auch eine Variante mit 128K, wenn größere Logs zu untersuchen sind. #it #ki #ai #llm #ollama #chatgpt #chatbot
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
#Anthropic hat mit #ClaudeComputerUse einen ersten Vorgeschmack auf die Zukunft gegeben. Die KI ist in der Lage mithilfe von Screenshots Aufgaben am PC autonom auszuführen. Die Anwendungsmöglichkeiten sind vielschichtig und ohne zu viel zu verraten - Wir sind beeindruckt! Aktuell befindet sich das Tool noch in der Beta und ist nur via API zugänglich. In unserem neuen Video berichten alles, was man darüber wissen muss und haben es selbstverständlich auch direkt selbst ausprobiert. #DigitaleProfis #KünstlicheIntelligenz #Claude
Die nächste KI-Stufe ist erreicht! Claude Computer Use kann PCs steuern & autonom Aufgaben erledigen
https://www.youtube.com/
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
🖌️ Windows 11 24H2: Paint AI nicht für alle verfügbar Microsoft setzt weiterhin auf KI-Technologien für seine Anwendungen, darunter auch für das beliebte Bildbearbeitungsprogramm Paint. Allerdings werden nicht alle Windows-11-Nutzer gleichermaßen von den neuen Funktionen profitieren können. Mit dem bevorstehenden Update auf Windows 11 24H2, das ab dem 18. Juni eingeführt wird, bringt Microsoft neue KI-Features, die jedoch bereits jetzt für Diskussionen sorgen. Besonders die Beschränkungen bei der Verfügbarkeit führen zu kontroversen Reaktionen und Datenschutzbedenken. Enttäuschend ist auch die Nachricht, dass der Cocreator für Paint nicht auf allen Systemen laufen wird. Das neue Feature ermöglicht es, KI-unterstützte Bilder lokal auf dem Rechner zu generieren, ohne auf Cloud-Ressourcen zurückzugreifen. Microsoft hat jedoch klargestellt, dass Paint AI Cocreator nur auf Systemen mit einer NPU von mindestens 40 TOPs laufen wird, die ausschließlich in Snapdragon-Prozessoren der neuen Copilot+-PCs zu finden sind. Zudem ist ein Microsoft-Konto erforderlich, um die Funktion nutzen zu können, was durch Sicherheitsmechanismen begründet wird, die für die sichere Generierung von KI-Bildern implementiert wurden. Auf älteren PCs kann das Feature zwar aktiviert werden, wird jedoch nicht funktionieren. Ein Microsoft-Forscher konnte durch Reverse Engineering die Funktion auf einem nicht kompatiblen System aktivieren, stieß jedoch auf technische Einschränkungen bei der tatsächlichen Nutzung. Wie bewerten Sie diese kommende KI-Funktion? Nutzen Sie die Kommentarfunktion, um Ihre Meinung zu teilen. #Windows11 #PaintAI #KI #Microsoft #Technologie
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
Wo liegt der Unterschied bei den verschiedenen Windows Lizenzen, was ist ein Thin Client, warum sind Mini-PCs so stromsparend & energieeffizient und wie funktioniert eigentlich Machine Learning❓ Ob Hardware, Software, Anwendungsbereiche oder #MiniPC Grundwissen - auf dem #spocomm Blog ist alles zu finden, was das Herz begehrt! 🤓💡 Zum spo-comm know how 📚: https://lnkd.in/eggTKJ6H
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
KI-Hardware scheint aktuell die Nachfrage weit zu übersteigen, wie ein Google-Entwickler betont. Osvaldo Doederlein, ein Softwareentwickler bei Google, hat auf der Plattform X eine kritische Sicht auf die Entwicklung und den Einsatz von KI-Hardware wie NPUs und spezialisierten Kernen in Grafikkarten geteilt. Diese Technologien, die die Effizienz von KI-Anwendungen verbessern sollen, finden laut Doederlein kaum praktische Verwendung. Laut dem Entwickler nutzen nur eine Minderheit von Hardwareenthusiasten diese neuen Beschleuniger tatsächlich für Experimente. Die Mehrheit der Nutzer setzt weiterhin auf leistungsstarke, etablierte GPUs, die bereits seit Jahren für KI-Aufgaben im Einsatz sind und überlegene Leistung bieten. In einer detaillierten Diskussion erläuterte Doederlein, dass viele der angepriesenen Anwendungen für NPUs nicht den realen Anforderungen der meisten Nutzer entsprechen. Er plädiert für eine Konzentration auf tatsächlich nützliche Funktionen wie verbesserte Rechtschreibprüfung, effizientere Diagnosetools und zuverlässigere Spracherkennung, anstatt auf wenig nachgefragte Innovationen zu setzen. Die Herausforderung besteht weiterhin darin, dass sowohl auf Software- als auch auf Hardwareseite die Entwicklung spezifischer KI-Funktionen ohne genügend kompatible Produkte erschwert wird. Dies führt dazu, dass viele potenziell nützliche lokale KI-Features auf große Software-Suiten angewiesen sind, die bereits über die notwendige Hardware verfügen. Trotzdem sieht Doederlein Vorteile darin, einige KI-Funktionen in der Cloud zu belassen, wo ausreichend Rechenkapazität vorhanden ist, um bessere Ergebnisse zu erzielen. Er räumt ein, dass Datenschutzbedenken zwar einige Nutzer beschäftigen, aber die Mehrheit der Anwender weniger interessiert sind. #KI #KünstlicheIntelligenz #AI #ArtificialIntelligence
#Google-KI-#Entwickler: „99 Prozent der Anwender brauchen die spezielle #KI-#Hardware vorerst nicht“: https://lnkd.in/dpGkZTXy
Google-KI-Entwickler: "99 Prozent der Anwender brauchen die spezielle KI-Hardware vorerst nicht" - IT BOLTWISE® x Artificial Intelligence
https://www.it-boltwise.de
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
🤝 𝗦𝗩𝗔 𝗵𝗶𝗹𝗳𝘁 𝗦𝗧𝗥𝗔𝗧𝗘𝗖 𝗯𝗲𝗶 𝗱𝗲𝗿 𝗘𝗿𝘄𝗲𝗶𝘁𝗲𝗿𝘂𝗻𝗴 𝘀𝗲𝗶𝗻𝗲𝗿 𝗪𝗶𝗻𝗱𝗼𝘄𝘀 𝗕𝘂𝗶𝗹𝗱𝘀 𝗱𝗮𝗻𝗸 #𝗖𝗼𝗻𝘁𝗮𝗶𝗻𝗲𝗿𝗻. 📍 Die VMs, die #STRATECs Build-Umgebung zugrunde liegen, beschränkten parallele Windows-basierende Software-Builds auf eine einzige. Das Softwareunternehmen für medizinische Geräte erkannte, dass Container parallele Builds ermöglichen würden, und da konnte SVA als technischer Partner nur zustimmen. Gemeinsam erarbeiteten sie, wie man mehrere Legacy Windows Umgebungen in Red Hat #OpenShift parallel ausführen kann. STRATEC kann nun auch Build-Umgebungen schneller in einer Umgebung einrichten, die sicherer, einfacher zu aktualisieren und leichter zu reproduzieren ist. 👉 Die komplette Success Story steht hier auf den Red Hat Websites zum Download zur Verfügung: https://lnkd.in/eQeenQq5 Sebastian Zoll Timo Stolze Sarah Mueck #HealthcareIT #RedHat
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
KI und Schule? ...ganz oft ist das ein Datenschutzproblem, aber auch ein Kostenfaktor - hier eine kleine Alternative: Eine KI auf einem USB Stick. Die #SchulKI von Julian Dorn verspricht (und hält es auch) DSGVO Konformität, das ist also ein guter Weg KI in der Schule einzusetzen. Natürlicherweise ist dieser Dienst nicht kostenfrei und viele Kolleg:innen hadern mit dem (meiner Meinung nach in Zukunft üblichen) Abrechnungsaufwand. Bis Schulen hier eine gangbare Lösung gefunden haben sind evtl auch andere und gut umsetzbare Varianten vorhanden. Gerade habe ich Llamafile auf einem USB Stick zum Laufen bekommen und kann mir gut vorstellen, dass dies in vielen Situationen sehr hilfreich sein kann. https://lnkd.in/e9JpSvSE
Eine KI auf einem USB Stick? – Llamafile macht KI so einfach wie das Schälen einer Banane.
https://kreidezeit.kiwi
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
V20 Update 2 BETA verbessert Enterprise-Funktionen und KI Aufbauend auf der Alpha-Version treibt Update 2 BETA die KI- und Teams-Integration weiter voran. V20 Update 2 Alpha war vollgepackt mit neuen Funktionen, die es Benutzern ermöglichen, das Beste aus ihrer 3CX herauszuholen. Diese BETA konzentriert sich auf die Verbesserung dieser Funktionen, um sie bald für Produktionsumgebungen bereit zu machen. Mehr erfahren Sie hier: https://lnkd.in/ej2MwNmy #3cx #3cxpbx #3cxAI #openAI #AIintegration #teamsintegration #3cxTeams #3cxphonesystem #unifiedcommunications
V20 Update 2 BETA verbessert Enterprise-Funktionen und KI
3cx.de
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
#secIT digital - bald ist es soweit! Die Einladung ist gerade im Postfach gelandet. Ich freue mich darüber, am 12.09.2024 von 12 bis 13 Uhr zum Thema "Absicherung von Microsoft365-SaaS-Diensten" sprechen zu dürfen. Die Slides sind fertig und neben den klassischen Themen rund um Conditional Access müssen wir auch in diesem Zuge auch über Enterprise Apps und App Registrations reden! Wirklich :-) ... Bringt spannende Frage mit! #heise #secIT
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
-
Microsoft hat eine neue Generation von AI-PCs vorgestellt: Die Copilot+ PCs. In Windows eingebettete Small Language Models ermöglichen erstmalig die lokale Nutzung von Microsoft KI Anwendungen! 👉 Um welche KI-Anwendungen handelt es sich? 👉 Welche Copilot+ PCs wurden außerdem für Juni angekündigt? 👉 Und wie hilft CANCOM Unternehmen bei einem Proof of Concept für Copilot+ PCs? Die Antworten gibt Ihnen unser Autor Christian Schinko in seinem Beitrag auf CANCOM.info: https://fcld.ly/x4bat9j #CANCOM #AIPC #KIPC #CopilotPC #NPU #POC #Microsoft
Copilot+ PCs: Was sich dahinter verbirgt – und wie die Geräte die Nutzung von Künstlicher Intelligenz revolutionieren sollen
https://www.cancom.info
Zum Anzeigen oder Hinzufügen von Kommentaren einloggen
Mehr von diesem:dieser Autor:in
-
How to handle a service overload? Just turn features off...at least that is what Facebook does
Simon Frey 4 Monate -
AI, but with real privacy. Homomorphic Encryption for Machine Learning
Simon Frey 6 Monate -
Yahoo Reveals: This is how you earn more with an Ad platform, by using “soft frequency capping”
Simon Frey 8 Monate
Künstliche Intelligenz verständlich machen, daran arbeiten wir mit beansandbytes | Site Reliability Engineer & Fractional CTO | Ex-Head of Infrastructure | Bücherwurm & Podcaster
5 MonateHat es bei euch geklappt?