Merge pull request #81 from hand-e-fr/dev

Dev

Author: MerlinDEVILLARD

.gitignore

@@ -1,4 +1,5 @@
 __pycache__/
+__hostacache__/
 *.pyc
 *.pyo
 .env/
@@ -8,3 +9,7 @@ __pycache__/
 *.mmd
 .openhosta
 dist/*
+__hostacache__/
+.coverage
+*.html
+.pytest_cache

CHAGELOG.md

@@ -4,6 +4,39 @@ All significant changes to this project will be documented in this file.
 
 ---
 
+## **v1.1**
+
+- **Fixes**
+  - the `emulate` function is now decorator-resistant.
+  - The function `config.set_default_model` works now w/ `config.set_default_apiKey`
+  - `thought` function now accept multiple arguments
+  - `suggest` and `analytics` call now th LLM with `Model` class (`ai_call`)
+  - `emulate` works now in a nested function.
+  
+- **Enhancement**
+  - the `thought` function guess automatically his return type with LLM
+  - `suggest` return now his data returned by LLM in a dict
+  - `emulate` works now for class methods
+  - `emulate` now integrate locals variable of emulated function to the LLM prompt.
+  - `_hostacache_` are now available for function infos storage
+  - Added support for the **typing** module: You can now use specific return types from the typing module, including [List, Dict, Tuple, Set, FrozenSet, Deque, Iterable, Sequence, Mapping, Union, Optional, Literal].
+  - `emulate` now includes a verification output that checks and converts the output to the specified type if necessary. Supported types include **Pydantic** models, all types from the **typing** module mentioned above, as well as built-in types such as `dict`, `int`, `float`, `str`, `list`, `set`, `frozenset`, `tuple`, and `bool`.
+    - The `complex` type is not supported. If you need to use complex numbers, please pass them as a `tuple` and manually convert them after processing.
+  -  The return type predicted by `thought` is now attached as an attribute to the object created: `_return_type`.
+
+- **Features**
+  - `example` function that can add some example for a specified hosta-injected function (inside or outside it) and add it to the cache
+  - `save_examples` function that can save in a JSONL file all he example of an hosta-injected function
+  - `load_examples` function that can load an example file an a cache for an hosta-injected function
+  - `set_prompt` in `PromptManager` enables to change automatically a prompt un "prompt.json"
+
+- **Optimization**
+  - `emulate` prompt changed: confidence level removed: (~20% speed gained) (`emulate`: v1.1)
+  - All prompt enhanced: added code block, separator and reference to the name of the processed function (`emulate`: v1.2, `enhance` v1.2, `thought`: v1.1, `estimate`: v1.1)
+
+- **Internal**
+  - Functional tests have been added for each of the library's features
+
 ## **v1.0** 29/08/2024:
 
 - **Features**

Makefile

@@ -1,43 +1,41 @@
 PACKAGE_NAME = OpenHosta
 SRC_DIR = src/OpenHosta
 TEST_DIR = tests
-DOC_DIR = Documentation
+DOC_DIR = doc
 
 all: help
 
 help:
 	@echo Usage:
 	@echo 	make help             Show this help message
 	@echo  	make package          Package the project for pip installation
-	@echo  	make test             Run the tests
+	@echo  	make tests            Run the tests
 	@echo  	make format           Format the code using black
 	@echo  	make lint             Check code quality using flake8
+	@echo  	make clean            Clean not necessary files
 
-package:
-	python setup.py sdist bdist_wheel
+build:
+	python -m build
+	python -m twine check dist/*
 
-test_light:
-	python -m unittest discover $(TEST_DIR)
-
-test_medium:
-	python -m unittest discover $(TEST_DIR)
-
-test_complete:
-	python -m unittest discover $(TEST_DIR)
+upload:
+	python -m twine upload dist/*
 
+tests:
+	pytest tests/test_mandatory.py -v
 
 format:
-	black $(SRC_DIR) $(TEST_DIR)
+	black $(SRC_DIR)
 
 lint:
 	flake8 $(SRC_DIR) $(TEST_DIR)
 
 clean:
 	rm -rf build dist *.egg-info
 	find . -name "__pycache__" -exec rm -rf {} +
-	find . -name ".openhosta" -exec rm -rf {} +
+	find . -name "__hostacache__" -exec rm -rf {} +
 
 fclean: clean
 	rm -rf .pytest_cache .mypy_cache
 
-.PHONY: all help package test format lint clean fclean
+.PHONY: all help build test format lint clean fclean

doc/Docs.md

@@ -0,0 +1,32 @@
+
+# Compilateur assisté par modèle pré-entraîné (PMAC)
+
+**Un [Compilateur](https://fr.wikipedia.org/wiki/Compilateur) Assisté par Modèle Pré-Entraîné** (Acronyme anglais : PMAC) est un concept qui utilise les [modèles de langage multimodaux](https://fr.wikipedia.org/wiki/Mod%C3%A8les_de_langage_multimodaux) de grande taille (MLLM) pour améliorer le processus de compilation. Ce concept vise à rapprocher le [langage informatique](https://fr.wikipedia.org/wiki/Langage_informatique) compilable du [langage naturel](https://fr.wikipedia.org/wiki/Langage_naturel) tout en respectant la syntaxe et la structure établies des langages de programmation.
+
+## Histoire
+
+L'apparition des [transformeurs](https://fr.wikipedia.org/wiki/Transformeur), introduits par [Google](https://fr.wikipedia.org/wiki/Google) en 2017, a radicalement changé le paysage technologique, en particulier dans le domaine du [traitement du langage naturel](https://fr.wikipedia.org/wiki/Traitement_du_langage_naturel). Ces modèles ont ouvert la voie à des avancées significatives, perturbant les méthodes traditionnelles d'interaction linguistique. En 2022, [OpenAI](https://fr.wikipedia.org/wiki/OpenAI) a lancé [ChatGPT](https://fr.wikipedia.org/wiki/ChatGPT), qui a marqué un tournant majeur en établissant de nouvelles références en matière de dialogue automatisé et d'interaction avec des machines.
+
+Parmi les innovations qui ont suivi, [LangChain](https://www.langchain.com/), introduit en 2023, a permis aux développeurs d'intégrer des modèles de langage avancés dans les applications logicielles. Cette évolution a simplifié le développement d'applications conversationnelles et ouvert la voie à l'utilisation généralisée de l'IA dans des contextes de programmation traditionnels.
+
+En parallèle, 2023 a vu [GitHub](https://fr.wikipedia.org/wiki/GitHub) introduire [Copilot](https://fr.wikipedia.org/wiki/GitHub_Copilot), une assistance IA permettant de suggérer du code contextuel, révolutionnant la productivité et le processus de codage.
+
+Dans ce contexte d'innovation rapide, l'intégration de l'intelligence artificielle dans une multitude de domaines, y compris le processus de compilation, devient évidente. En 2024, le concept de PMAC voit le jour à Lyon, conçu par un équipe de passionées : [Emmanuel Batt](https://fr.wikipedia.org/wiki/Emmanuel_Batt), [Léandre Ramos](https://fr.wikipedia.org/wiki/L%C3%A9andre_Ramos), [William Jolivet](https://fr.wikipedia.org/wiki/William_Jolivet) et [Merlin Devillard](https://fr.wikipedia.org/wiki/Merlin_Devillard). En parallèle, [Meta](https://fr.wikipedia.org/wiki/Meta_(entreprise)) explore une approche similaire avec le développement de son [LLM Compiler](https://arxiv.org/abs/2407.02524).
+
+## Principe de Base
+
+Avec l'émergence de l'intelligence artificielle et l'évolution continue des modèles de langage, en particulier les modèles multimodaux, les capacités de traitement du NLP ([Natural Language Processing](https://fr.wikipedia.org/wiki/Traitement_automatique_des_langues)) se sont considérablement améliorées. Cette avancée permet de réévaluer les étapes traditionnelles de la compilation en intégrant une compréhension plus profonde et contextuelle des langages de programmation.
+
+En programmation, un compilateur est un outil qui traduit un [langage de programmation](https://fr.wikipedia.org/wiki/Langage_de_programmation) en un [langage machine](https://fr.wikipedia.org/wiki/Langage_machine) , permettant aux ordinateurs d'exécuter les instructions. Les langages de programmation varient par leur niveau d'abstraction, allant des [langages de bas niveau](https://fr.wikipedia.org/wiki/Langage_de_programmation_de_bas_niveau), proches de l'architecture matérielle (langage machine), aux [langages de haut niveau](https://fr.wikipedia.org/wiki/Langage_de_programmation_de_haut_niveau), conçus pour être plus abstraits et lisibles pour les humains.
+
+Le concept de PMAC utilise les MLLM pour traduire du code contenant des expressions plus claires et concrètes. Cette approche confie le traitement des ambiguïtés au PMAC, ce qui permet de gérer des aspects que les compilateurs traditionnels ne pouvaient pas traiter auparavant. Cela offre une interprétation plus précise des opérations programmatiques, permettant ainsi l'apparition de fonctions plus nuancées et complexes.
+
+## Avantages et Inconvénients
+
+|**Avantages**|**Inconvénients**|
+|---|---|
+|**Flexibilité des entrées :** Les fonctions peuvent être spécifiées en langage naturel, permettant ainsi l'exécution d'actions complexes qui seraient autrement difficiles, voire impossibles, à réaliser avec des instructions machine traditionnelles.|**Temps de compilation plus lent :** L'utilisation de MLLM peut entraîner des temps de compilation plus longs par rapport aux méthodes traditionnelles.|
+|**Variété des stratégies d'implémentation :** Le compilateur PMAC peut générer divers types de stratégies d'implémentation, facilitant ainsi l'intégration de différents modes d'exécution adaptés aux besoins spécifiques de l'utilisateur.|**Coût plus élevé :** Les appels [API](https://fr.wikipedia.org/wiki/Interface_de_programmation) aux modèles ou leur stockage peut entraîner des coûts supplémentaires significatifs.|
+|**Optimisation du code :** Grâce à la vaste connaissance des [LLM](https://fr.wikipedia.org/wiki/Grand_mod%C3%A8le_de_langage) en matière de code, PMAC intègre efficacement des techniques d'optimisation, améliorant ainsi les performances du code compilé par une compréhension approfondie des structures et logiques sous-jacentes.|**Imperfections des modèles :** Les modèles peuvent présenter des erreurs ou des divergences, posant des risques potentiels pour la fiabilité du code.|
+
+ 

doc/PMAC.md

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "OpenHosta"
-version = "1.0.2"
+version = "1.1.0-rc1"
 description = "Open-Source programming project IA integretion in developement environnement"
 keywords = ["AI", "GPT", "Natural language", "Autommatic", "Easy"]
 authors = [
@@ -28,7 +28,9 @@ classifiers = [
 dependencies = [
   "requests>=2.32.3",
   "pydantic>=2.8.2",
-  "tiktoken>=0.7.0"
+  "tiktoken>=0.7.0",
+  "jsonschema>=4.23.0",
+  "typing-extensions>=4.12.2"
 ]
 
 [project.urls]
@@ -42,4 +44,11 @@ package-dir = { "" = "src" }
 where = ["src"]
 
 [tool.setuptools.package-data]
-"OpenHosta" = ["*.json"]
+"OpenHosta" = ["*.json"]
+
+[tool.pytest.ini_options]
+testpaths = [
+    'tests/functionnalTests',
+    'tests/unitTests',
+    'tests/performanceTests'
+]

pyproject.toml

@@ -0,0 +1 @@
+pytest==8.3.2

requirements-dev.txt

@@ -1,3 +1,5 @@
 requests==2.32.3
 pydantic==2.8.2
-tiktoken==0.7.0
+tiktoken==0.7.0
+jsonschema==4.23.0
+typing-extensions==4.12.2

requirements.txt

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: OpenHosta
-Version: 1.0.2
+Version: 1.1.0rc1
 Summary: Open-Source programming project IA integretion in developement environnement
 Author: Léandre Ramos, Merlin Devillard, William Jolivet, Emmanuel Batt
 License: MIT License
@@ -41,6 +41,8 @@ License-File: LICENSE
 Requires-Dist: requests>=2.32.3
 Requires-Dist: pydantic>=2.8.2
 Requires-Dist: tiktoken>=0.7.0
+Requires-Dist: jsonschema>=4.23.0
+Requires-Dist: typing-extensions>=4.12.2
 
 # OpenHosta 
 v1.0 - Open-Source Project
@@ -139,20 +141,18 @@ This way you have all the documentation and source code to understand our projec
 ### Example
 
 ```python
-from openhosta import *
+from OpenHosta import emulate, config
 
-config.set_default_apiKey("example-apikey")
+config.set_default_apiKey("put-your-api-key-here")
 
-def my_func(a:int, b:str)->dict:
-   """
-   This Function does something.
-   """
-   return emulate()
+def translate(text:str, language:str)->str:
+    """
+    This function translates the text in the “text” parameter into the language specified in the “language” parameter.
+    """
+    return emulate()
 
-my_func(5, "Hello World!")
-
-my_lambda = thought("Do something")
-my_lambda(5)
+result = translate("Hello World!", "French")
+print(result)
 ```
 You check OpenHosta's [documentation](doc/Docs.md) for more detailled informations or exemple
 

src/OpenHosta.egg-info/PKG-INFO

@@ -1,16 +1,19 @@
 LICENSE
 README.md
 pyproject.toml
+src/OpenHosta/OpenHosta.py
 src/OpenHosta/__init__.py
 src/OpenHosta/analytics.py
+src/OpenHosta/cache.py
 src/OpenHosta/config.py
 src/OpenHosta/emulate.py
 src/OpenHosta/enhancer.py
 src/OpenHosta/errors.py
+src/OpenHosta/example.py
 src/OpenHosta/exec.py
-src/OpenHosta/openhosta.py
 src/OpenHosta/prompt.json
 src/OpenHosta/prompt.py
+src/OpenHosta/thought.py
 src/OpenHosta.egg-info/PKG-INFO
 src/OpenHosta.egg-info/SOURCES.txt
 src/OpenHosta.egg-info/dependency_links.txt