Fragen wegen eines Tests

[Pazuzu]

Guten Nachmittag!

Ich habe ein Projekt vor Augen, und zwar würde ich gerne in die Runde fragen, welche Probleme, die bei der Anwendung von Contenido im Besonderen und CMS im Allgemeinen – Eurer Erfahrung nach – auftreten können und besondere Problemlösekompetenz des Nutzers erfordern, als Fragen in einem Multiple-Choice-Test gestellt werden können, damit durch diesen dann festgestellt werden kann, ob z. B. ein Freiberufler, welcher seine CMS-Dienste anbietet, auch tatsächlich tauglich ist und mit einem Auftrag betraut werden kann. Bei der Angelegenheit profitiert, so denke ich, Eure Community auch, da ja während Ihr Situationen sammelt, welche dann als Fragen („Situation xy tritt ein – ich mache daraufhin folgendes: a) b) c) usw.“) zu einem Test zusammengefasst werden können, auch in und für Eure Community eine Art FAQ-Sektion entsteht, ihr durch mein Vorgehen also nicht instrumentalisiert werdet. Ich selbst mache das ganze nämlich im Rahmen eines Praktikums, wobei der Wortlaut der Aufgabe, die mir ursprünglich gestellt wurde wie folgt lautet:

„Die Studie soll aufzeigen, ob und wie Wissen in einer Web 2.0-Umgebung durch eine Vielzahl von Benutzern (Schwarm) gesammelt und validiert werden kann. Im weiteren Verlauf soll geprüft werden, ob das erfasste und evaluierte Wissen des Schwarmes für Elearningzwecke nutzbar gemacht werden kann.“

Der Transparenz wegen muss ich auch darauf verweisen, dass ich diese Frage auch in anderen CMS-Foren (Mambo / http://forum.mambo-foundation.org/forumdisplay.php?f=88, Contao / http://www.contao-community.de/, Contrexx (http://www.contrexx.com/forum/forumdisp ... 68-Deutsch) gestellt habe.

[Oldperl]

Hallo Pazuzu,

erst einmal willkommen im Contenido Forum.

Die gestellte Aufgabe hat aber eigentlich nix mit einem Multiple-Choice-Test zu tun. Ich denke du solltest da deinen Lösungsansatz nochmals überdenken.
Auch sehe ich nicht wirklich einen Profit für die Community, zumindest nicht so, wie du das darstellst.

Gruß aus Franken

Ortwin

[Pazuzu]

Guten Morgen Ortwin,

Die Sache ist die, dass der Test am Ende maschinell auswertbar sein muss, deshalb ziele ich auf einen Multiple-Choice-Test ab.
Vielleicht können viele User dennoch von einem Informationsaustausch, rund um knifflige Probleme, die bei der Anwendung auftreten, profitieren:)

Aus wichtigen Gründen habe ich die Liste der anderen befragten Communities modifiziert.
Joomla (http://www.joomlaportal.de/off-topic/22 ... etest.html)
Drupal (http://forum.mambo-foundation.org/forumdisplay.php?f=88)
Contao (http://www.contao-community.de/showthre ... ines-Tests)
Contrexx (http://www.contrexx.com/forum/showthrea ... #post28303)

Viele Grüße aus Baden

Pazuzu

[Oldperl]

Hallo Pazuzu,

also grundsätzlich sehe ich das ähnlich wie der Kollege hier http://www.contao-community.de/showthre ... #post80338

Ich persönlich halte solch einen Multiple-Choice-Test schlichtweg für unsinnig bzw. nicht aussagekräftig. Entweder würden die Fragen viel zu allgemein werden, so nach dem Motto...
Wie ist die Form eines Rades?

1. Rund
2. Eckig
3. Eiförmig

oder zu spezifisch

Was müssen Sie tun um Contenido unter PHP 5.3 ohne Fehlermeldungen zu betreiben?

1. Fehlermeldungen abschalten
2. Eine andere PHP-Version wählen
3. Die config-Dateien anpassen
4. Änderungen an den Coredateien machen

Auch gibt es wie im obigen Beispiel mehrer Lösungen, gute und weniger gute, machbare und weniger machbare, und es fällt dann schwer eine allgemeingültige und dementsprechend "korrekte" Antwort zu finden und natürlich auch in eine Bewertung zu "pressen".

Ich denke der Lösungsansatz Multiple-Choice ist falsch, hier funktioniert nur eine konkrete Aufgabenstellung ("Suche den Fehler in der Contenido Installation") und eine individuelle Auswertung und Bewertung.

Gruß aus Franken

Ortwin

[Pazuzu]

...oder zu spezifisch

Was müssen Sie tun um Contenido unter PHP 5.3 ohne Fehlermeldungen zu betreiben?

1. Fehlermeldungen abschalten
2. Eine andere PHP-Version wählen
3. Die config-Dateien anpassen
4. Änderungen an den Coredateien machen

Mit einer ausreichenden Anzahl spezifischer Fragen müsste man aber in der Lage sein, den Experten vom Noob zu trennen.

Ich selbst mache die ganze Sache im Rahmen eines Praktikums. Mir ist gesagt worden, dass das große Vorbild der Linux-Zertifizierungstest ist, der ebenfalls ein Multiple-Choice-Test ist:

http://gnosis.cx/publish/programming/exam101.html

Die Frage ist glaube ich die, ob es Problemsituationen gibt, in denen es eindeutig richtige und eindeutig falsche Antworten gibt, à la "Ich fahre auf der Autobahn und sehe, dass der Reservetank zur Neige geht. Was tue ich?
a. Ich steuere die nächstgelegene Tankstelle an.
b. Ich fahre langsamer, ansonsten ist das nicht weiter schlimm, da der Reservetank groß ist.
c. Das ist nicht so schlimm, da der Reservetank groß ist. Ich hoffe auf genügend Rückenwind.
d. Ich mache das Autoradio aus, um Energie zu sparen.

Außerdem ist ja auch der Fragebogen in der theoretischen Führerscheinprüfung ein MS-Test.

Grüße aus Baden

[Oldperl]

Außerdem ist ja auch der Fragebogen in der theoretischen Führerscheinprüfung ein MS-Test.

Na das wird dann auch der Grund sein warum so viel "Spezialisten" auf der Straße unterwegs sind.

Ein MS-Test sagt für mich nichts über ein Expertenwissen aus, sondern ist IMO nur sinnvoll zur Abfrage von klar definierten Lerninhalten, beispielweise PHP lernen, und zur Abgrenzung von Lernschritten und -zielen (Klassen und Konstruktoren in OOP bei PHP5.3; PHP SOAP-Funktionen).
Er benötigte klar vorgegebene Ergebnisse um darauf bezogene klare Fragen zu stellen und ist ohne weiteres, zum Beispiel durch auswendig lernen, zu umgehen.
Siehe hierzu auch den Betrag auf Wikipedia http://de.wikipedia.org/wiki/Multiple_C ... t.E2.80.9C

Da ich diese Meinung habe, und sie auch durch die bisherige Argumentation nicht verändert wurde, im Gegenteil, immer mehr dafür spricht, stelle ich meine Beteiligung an dieser Diskussion vorerst ein. Ich habe interessantere und für mich wichtigere Dinge mit meiner eh zu kargen Freizeit zu tun.

Gruß aus Franken

Ortwin

[kummer]

Was müssen Sie tun um Contenido unter PHP 5.3 ohne Fehlermeldungen zu betreiben?

1. Fehlermeldungen abschalten
2. Eine andere PHP-Version wählen
3. Die config-Dateien anpassen
4. Änderungen an den Coredateien machen

Mit einer ausreichenden Anzahl spezifischer Fragen müsste man aber in der Lage sein, den Experten vom Noob zu trennen.

Ich stimme Ortwin selten und dann auch noch ungerne zu... Allerdings teile ich die Einschätzung voll und ganz. Bei der Lösung von auftretenden Problemen sind zwei Dinge erforderlich: analytischer Verstand und Phantasie. Und beides lässt sich in Multiple-Choice-Tests kaum feststellen. Zunächst musst du keine Phantasie haben, um die dir die möglichen Lösung vorzustellen, wenn du sie ja bereits lesen kannst. Und analytischen Verstand würdest du bei der konkreten Problemstellung wohl benötigen; da diese nicht vorliegt, sondern eine Konstruktion, die für den Test erstellt worden ist, fällt wohl auch das weg. Aber das ist im Prinzip ja dann dein Problem.

Augenscheilich wird das ganze in deinem Beispiel. Fehlermeldungen ausschalten führt dazu, dass keine zu sehen sind. Müsste also zutreffend sein; ebenso sicher ist allerdings, dass du damit noch nichts weiter gewonnen hast. Eine andere PHP-Version wäre wohl auch möglich, führt allerdings zu einem Konflikt mit der Fragestellung. Hier hätten wir dann eine Aussage über die Kompetenz. Allerdings weniger in technischen, als in sprachlichen Fragen. Dann sind immer config-Dateien anzupassen. Bei welchem System ist das nicht so. Falsch ist das nicht. Aber genügt es? In einem Multiple-Choice-Test ist das nicht zu ermitteln. Weil Informatik in der Praxis (im Unterschied zur theoretischen Informatik) eben immer auch empirisch ist. Und dann last not least Änderungen am Core vornehmen. Mag notwendig sein. Aber auch, wenn es nicht um PHP 5.3 geht. Alles in allem also eine Null-Aussage.

Ich arbeite lange genug in diesem Geschäft und mir jeweils einzubilden, ich hätte jedes Problem schon mal angetroffen. Aber auch lange genug, um inzwischen zu wissen, dass dieser Eindruck täuscht.

Ich wünsche dir auf jeden Fall viel Erfolg und lasse mich gerne von der Qualität überraschen. Wundern würde mich allerdings, wenn sich tatsächlich Leute finden, welche die Probleme aufzeigen, wie du dir das vorstelltst. Dazu ist ein Forum wohl da. Aber eben das ganze. Das nochmal aufzuführen, würde bedeuteten, einfach alle Threads zu verdoppeln.

[Oldperl]

Nun denn dann doch noch Einen.

Ich stimme Andreas gerne zu.
Und in diesem Fall gibt es offensichtlich nur diese Art einer logischen Begründung bzw. Auswertung des Problems.

Ich komme aus der Elektronik und auch dort versucht man schon seit Urzeiten MS-Tests oder ähnliche Konstrukte zur Abfrage von Leistungen des Elektronikers in einer Werkstatt zu nutzen. Aber auch hier gibt es Einflüsse, die ich nicht in einem solchen "gepressten" Abfragekonzept greifen kann.
Dort hat der Unterschied zwischen einem guten und einem "schlechten" Elektroniker auch etwas mit Intuität, der Ausarbeitung eines guten Lösungsansatzes oder einer guten Fehlerdiagnose und Fehlerbeschreibung oder auch einfacher Fingerfertigkeit zu tun. Grundvoraussetzung um einen effektiven und dann auch kostensparenden Lösungsweg zu beschreiten.
Und das geht nur individuell zu ergründen und ist nicht wirklich mit einem Ankreuztest nachzuweisen.

Aber nun bin ich dann wirklich raus hier.

Gruß aus Franken

Ortwin

[Dodger77]

Es muss ja jetzt nicht ausarten, aber ich schließe mich den Ausführungen der beiden einfach mal an. In meinen Augen ist das auch nicht sinnvoll.