Kinetic morphogenesis: generative system of structural expansion based on interactive motion capture

2017

4(52)

DOI: 10.5277/arc170404

Maciej Nisztuk*

Kinetyczna morfogeneza: generatywny system rozwoju strukturalnego

w oparciu o interaktywne przechwytywanie ruchu

Kinetic morphogenesis: generative system of structural expansion

based on interactive motion capture

Kinetyczna morfogeneza to aplikacja przygotowywa na

podczas studiów doktoranckich na Wydziale Architektu-

ry Politechniki Wrocławskiej. Łączy w sobie elementy

projektowania generatywnego oraz przechwytywania

ruchów ludzkiego ciała. Celem niniejszej aplikacji jest

próba zapisu ruchu ludzkiego ciała w czasie i przestrzeni.

Poprzez translację postaci gracza w wykreowane środo-

wisko wirtualne oraz dodanie algorytmów interpretują-

cych ruch ludzki, w przestrzeni cyfrowej powstają bio-

morczne bryły, które są zapisem rytmów, napięć i zmian

kierunków wynikających z decyzji gracza.

Omawiana aplikacja skupia się na eksploracji styku

między materialnością a wirtualnością. Autor upatruje

w tej granicy główne pole rozwoju przyszłych narzędzi

wspomagających architektoniczny proces projektowy.

Autor uważa również, że styk ten ma niesamowity po-

tencjał konceptualny i technologiczny niebywale uży-

teczny w obecnym architektonicznym warsztacie twór-

czym, opierającym się w coraz większym stopniu na

wykorzystaniu narzędzi cyfrowych do odwzorowywania

materialnej rzeczywistości. W szczególności badania to-

warzyszące powstawaniu niniejszej aplikacji pomagają

w znalezieniu odpowiedzi na pytania:

1. Jak zmiana kontekstów wirtualnych wpływa na for-

my generowane komputerowo?

2. Do którego momentu gracz ma wpływ na estetykę

powstających brył?

Kinetic morphogenesis is an application being devel-

oped during PhD studies on the Faculty of Architecture

at the Wrocław University of Science and Technology. It

combines elements of generative design and motion cap-

ture based on the human body. Its aim is to record move-

ments of the human body in time and space. Through the

translation of the player’s character to the virtual environ-

ment and addition of algorithms interpreting human move-

ment, in the digital space biomorphic forms are developed.

The arisen forms are the recording of rhythms, tensions

and direction changes resulting from the player’s decisions.

The application focuses on the exploration of the in-

terface between materiality and virtuality. The author

sees in this boundary the main eld of development of

future tools supporting the architectural design process.

Furthermore the author believes that this contiguity has an

incredible conceptual and technological potential being

extremely useful in the contemporary architectural design

workshop, which increasingly relies on the use of digital

tools for mapping the material reality. The studies accom-

panying the development of this application help to nd

answers to the following questions:

1. How does the change of virtual spatial contexts af-

fect the aesthetics of computer-generated forms?

2. To which point the player inuences the aesthetics

of arisen forms?

3. Can forms created in this way be materialized by

3D printing technology?

Already during the rst works, tests and analyzes,

it was possible to deepen the knowledge about spatial

relationships between the human body, time and variety

* Wydział Architektury Politechniki Wrocławskiej/Faculty of Ar-

chi tecture, Wrocław University of Science and Technology.

50 Maciej Nisztuk

Czy możliwa jest materializacja wirtualnych form

przestrzennych za pomocą technologii druku przestrzen-

nego?

Już w trakcie pierwszych prac, testów i analiz udało się

pogłębić wiedzę dotyczącą relacji przestrzennych między

ludzkim ciałem, czasem i różnorodnymi kontekstami wir-

tualnymi. Pojawiły się również pytania pokazujące nowe

kierunki dla przyszłych badań związanych z tematyką

omawianego projektu.

Obecna wstępna faza projektu przedstawiona w niniej-

szej publikacji jest podzielona na cztery etapy: przygoto-

wanie bazowych tez gry, testowanie tez w oparciu o sy-

mulacje konceptualne, ocenę powstałych prototypów oraz

wnioski końcowe. W artykule w skrótowy sposób opi sano

każdy z etapów, przytoczono rezultaty testów pro totypu

funkcjonalnego gry, sformułowano krytyczne wnioski wy-

nikające z fazy testowej i nakreślono kierunki przyszłych

prac badawczych.

Prace o podobnej tematyce

Rozpoznawanie ludzkiego ruchu w przestrzeni wirtualnej

jest dość popularnym tematem badawczym [1]–[3]. Istnieje

wiele metod translacji człowieka do cyfrowej formy. Ni-

niejsze opracowanie wykorzystuje rozpoznawanie ruchów

przez zapis objętości w czasie i przestrzeni (action recogni-

tion with space-time volumes) [1] i rozpoznawanie ruchów

na bazie trajektorii czasoprzestrzennych (action recognition

with space-time trajectories) [1], [4]. Są to sposoby zapisu

ruchów ludzkiego ciała za pomocą punktów (również cha-

rakterystycznych, takich jak najważniejsze ludzkie stawy)

i ich koordynatów przestrzennych (X, Y, Z). Sensor Mi-

crosoft Kinect dzięki zdolności odczytu głębi obrazu oraz

obrazu RGB oferuje pełnię możliwości interpretacji ludz-

kiego ciała przy wykorzystaniu tych metod. Zastosowane

oprogramowanie (Grasshopper

z rozszerzeniem Firey

)

pozwala na bazie tych danych tworzyć odwzorowanie

ludzkiego ciała w postaci uproszczonego modelu szkieleto-

wego. W ciągu ostatnich lat powstało wiele interesujących

przykładów zastosowania tych technik w dziedzinie sztuk

wizualnych oraz w projektowaniu cyfrowym.

Zapis ruchu człowieka został wykorzystany przez

Jinil Park w Drawings [5] do tworzenia rysunków prze-

strzennych. Podobnie znana pracownia Front, w projek-

cie Sketch furniture, za pomocą techniki motion tracking

wykonała serię mebli poprzez cyfrowy zapis szkicowania

tych obiektów. Następnie obiekty te zostały zmateriali-

zowane przez druk 3D [6]. Studio Mhox w opracowaniu

Collagen użyło odwzorowanej ludzkiej twarzy do wy ge-

nerowania wzrastających cyfrowych struktur przestrzen-

nych, które zostały następnie zrekonstruowane w rzeczy-

wistości za pomocą technologii druku 3D [7]. Kolejnym

ciekawym zastosowaniem techniki motion tracking jest

oprogramowanie VRClay, które pozwala na cyfrowe

Rozszerzenie do oprogramowania CAD o nazwie Rhinoceros 3D.

Rozszerzenie to pozwala na tworzenie własnych skryptów poprzez wi -

zualny system programowania oparty na grafach.

Biblioteka do języka programistycznego Grasshopper, umożli-

wia jąca pracę z wieloma rodzajami czujników cyfrowych.

of virtual contexts. New questions showing new possibili-

ties for future research related to the topic of the research

project have also appeared.

The current initial stage of the research project, de-

scribed in the paper, is divided into four sequential steps:

initial game concept formulation, tests of those concepts,

prototype evaluation and nal conclusions. The present

report describes briey each stage, shows tests’ results

conducted on the functional prototype of the game, for-

mulates critical conclusions of the testing phase and out-

lines the direction of further research.

Related work

Recognition of human movement in the virtual space

is a popular research topic [1]–[3]. There are many meth-

ods of human body translation to the digital form. The

present report uses two main approaches: action recogni-

tion with space-time volumes [1] and action recognition

with space-time trajectories [1], [4]. These two methods

record the movements of the human body based mainly

on spatial points (especially the most distinguished ones

such as the human joints) and their spatial coordinates

(X, Y, Z). Microsoft Kinect sensor, due to the ability to

read the image depth and RGB channels, offers possibili-

ties of full interpretation of the human body using both

of the presented approaches. The software used (Grass-

hopper

with Firey

plugin) allows, based on the sensor

data, to create the mapping of the human body in the form

of a simplied skeletal model. In recent years, several in-

teresting examples of the use of these techniques in the

eld of visual arts and digital design appeared.

Interpretation of human movement was used by Jinil

Park in the project Drawings [5] to create spatial draw-

ings. Likewise, the well-known design studio Front, in the

Sketch Furniture, using motion tracking technology has

created a series of furniture through digital recording of

the sketching process. Subsequently, the objects were ma-

terialized by 3D printing [6]. Studio Mhox in the project

Collagen used the mapping of a human face to generate

a growing digital spatial structure, which was then recre-

ated with the help of 3D printing technology [7]. Another

interesting application of the motion tracking technology

is an application VR Clay, which allows digital sculpting

in clay using VR (virtual reality, representation of the real

world in the digital space) equipment (Ocullus Rift) [8].

By using Microsoft Kinect sensors works based on the

dancer’s movements were created. The video Asphyxia

[9] is an experimental project of Maria Takeuchi and

Frederico Phillips. Data collected by sensors were pro-

cessed to form an ethereal animation being an interpreta-

tion of the contemporary dance. A similar work Unnamed

Soundsculpture [10] by Daniel Franke and Cedric Kiefer,

is a dancers movement recording enriched with elements

of physical simulations.

Extension to Rhinoceros 3D CAD software. The extension allows

to create scripts through a visual programming system based on graphs.

Grasshopper programming language library enabling work with

many types of digital sensors.

Kinetyczna morfogeneza/Kinetic morphogenesis 51

rzeźbienie w glinie przy wykorzystaniu sprzętu VR (virtu-

al reality – wirtualna rzeczywistość; okulary Ocullus) [8].

Przy użyciu sensorów Microsoft Kinect powstały pra-

ce odwzorowujące ruch tancerzy. Film Asphyxia [9] jest

eksperymentalnym projektem Marii Takeuchi i Frederica

Phillipsa. Dane zebrane sensorami zostały przetworzo-

ne do postaci eterycznej animacji będącej interpretacją

tańca współczesnego. Podobna praca Unnamed Sound-

sculp ture [10] autorstwa Daniela Franke’a i Cedrica Kie-

fera jest zapisem ruchu tancerki wzbogaconego o elemen-

ty symulacji zycznych.

Cele i koncepcja projektu badawczego

Koncepcja projektu badawczego jest częścią szerszych

rozważań dotyczących tematu mechanizmów ewolucji

biologicznej i technik inżynierii genetycznej w procesie

projektowym. Wykorzystując wizualizacje VR obiektów

generatywnych

tworzonych w czasie rzeczywistym, a tak-

że zestaw różnorodnych narzędzi peryferyjnych, autor po-

tawił sobie za cel umożliwienie lepszego zrozumienia

ab strakcyjnych, wirtualnych kształtów przestrzennych

w kontekście rzeczywistym. Dodatkowym celem jest po-

znanie różnorodnych możliwości wizualizacji procesów

generatywnych w czasie rzeczywistym w oparciu o szero-

kie

spektrum narzędzi interaktywnych (sensory cyfrowe,

projektowanie parametryczne i skanowanie 3D).

Początkowo oczekiwane rezultaty wiązały się głównie

z lepszym zrozumieniem relacji przestrzennych między

ludzkim ciałem i jego trójwymiarowym tłem, poszuki-

waniem nowych możliwości interakcji pomiędzy śro-

dowiskiem wirtualnym i kontekstem rzeczywistym oraz

badaniem form powstających poprzez łączenie systemów

generatywnych

z interaktywnym przechwytywaniem ru-

chu ludzkiego ciała.

Wybrane aspekty badawcze dotyczyły głównie bieżą-

cej cyberkultury i technologii. Ponieważ wstępne cele

pro jektu powiązane były z zacierającą się granicą pomię-

dzy rzeczywistością wirtualną a światem materialnym, do

celów badawczych zostały wybrane współczesne na rzę-

dzia cyfrowe: technologie skanowania 3D (fotogra me tria),

sen sory cyfrowe (Microsoft Kinect), cyfrowa fabrykacja

– druk 3D

(do celów materializacji ewentualnej formy

wy nikowej), projektowanie generatywne i parametryczne.

Do opracowania najważniejszych założeń wybrano

podejście heurystyczne – teorię gier. Problem badawczy

przedstawiono jako grę naukową [11]. Został zdeniowany

gracz, informacje dostarczone do gracza, a także scenariu-

sze akcji, które może podjąć, oraz ich rezultaty. Określony

w ten sposób model gry przetestowano przez symulacje

Obiekt generatywny – obiekt powstały za pomocą mocy obli cze-

niowej komputera, w wyniku działania określonych przez projektanta

zasad, skryptów lub algorytmów.

System generatywny – połączenie środowiska generatywnego

i ewaluacyjnej roli projektanta.

Cyfrowa fabrykacja to zespół technologii wytwórczych pozwa-

lających na tworzenie przedmiotów materialnych bezpośrednio z cyf ro-

wych projektów. Wiodącą w tej grupie technologią jest druk 3D – tech nika

wytwarzania trójwymiarowych obiektów fizycznych poprzez na kła danie

na siebie warstw tworzywa.

Aims and the concept of the research project

The concept of the research project is a part of wider

investigation concerning the topic of the mechanisms of

biological evolution and genetic engineering techniques

in the design process. Using VR real-time visualizations

of the generative objects

and various tools (cameras,

phones etc.) the topic aims to allow a better understand-

ing of abstract virtual spatial geometries in a real context.

An additional aim is to study various possibilities of visu-

alization of generative processes in real time based on the

diverse spectrum of interactive tools (including sensors,

parametric design and 3D scanning).

Initially expected outcomes related mainly to better

understanding of spatial relations between the human

body and the 3D background, searching for new possibili-

ties of interaction between generative environment and

the real context and studying of forms developed through

the cooperation of generative systems

with interactive

capturing of the human body movement.

Chosen aspects for research purposes were connected

mainly with the current cyberculture and technology. Be-

cause the project’s initial aims were connected mainly

with the blurring border between virtual reality and the

material world, the current state of the art digital tools

were chosen: 3D scanning technologies (photogramme-

try), digital sensors (Microsoft Kinect sensor), digital fab-

rication – 3D printing

(fabrication of resulting forms),

generative and parametric design.

To formulate main aims of the research project, a heu-

ristic approach was chosen – game theory. The research

problem was presented as a scientic game [11]. The

player, the information provided to the player and scenar-

ios for action which may be taken and their results have

been dened. Designated as such, the model was tested

through conceptual simulations (set of hypotheti cal situa-

tions testing design assumptions in various contexts) and

by implementation of the model in a functional prototype

of the game. During the course of research, the main con-

ceptual descriptors (ideas) of the game were de veloped:

metamorphosis, displacement, set of possibi lities (Fig. 1).

The metamorphosis concept denes man in the re-

search project – the human body as a spatial object. This

concept assumes only one main difference in virtual real-

ity between the human body and static objects – dynam-

ic movements. For the designed generative system, the

human is perceived as “changeable” background, a kind

of scaffolding for biological structure occurring during

the process.

Displacement represents man in the generative con-

text. The human body as a spatial object through its

Generative object – object created with the help of computing

power as a result of rules, scripts or algorithms specified by the designer.

Generative system – a combination of generative environment

and evaluation role of the designer.

Digital fabrication is a set of manufacturing technologies that

allow the creation of material objects directly from digital designs. The

leading te chnology in this group is the 3D printing – a technique for

producing three-dimensional physical objects by overlapping layers of

construction material.

52 Maciej Nisztuk

konceptualne (zestaw hipotetycznych sytuacji testujących

założenia projektowe w różnych kontekstach) oraz przez

implementację modelu w funkcjonalny prototyp gry.

W trakcie badań opracowano główne deskryptory poję-

cio

we gry. Zostały one zawarte w trzech hasłach obrazują-

cych najważniejsze aspekty projektowanego systemu: me-

tamorfoza, przemieszczenie, przestrzeń możliwości (il. 1).

Pojęcie metamorfozy deniuje człowieka w projek-

cie badawczym – ludzkie ciało jako obiekt przestrzenny.

Koncepcja ta zakłada tylko jedną główną różnicę zacho-

dzącą w rzeczywistości wirtualnej pomiędzy ludzkim cia-

łem a obiektami statycznymi – dynamikę ruchów. W pro-

jektowanym systemie generatywnym ludzkie ciało jest

postrzegane jako zmieniające się czasowo i przestrzennie

tło, rodzaj rusztowania dla struktur biologicznych poja-

wiających się w trakcie procesu.

Przemieszczenie reprezentuje człowieka w kontekście

ge neratywnym. Ludzkie ciało jako bryła poprzez swoją

dy namikę wpływa na rozwój powstających form. Jest ono

dynamiczną częścią kontekstu przestrzennego. Człowiek

(gracz) jako główny czynnik wpływający wyznacza punkt

wyjścia i kieruje rozwojem całego systemu. Ciało ludzkie

jest tłumaczone jako zbiór uproszczonych relacji trójwy-

miarowych – objętości, osi, punktów – co pozwala zre-

kon struować jego skalę, dynamikę, lokalizację i ogólne

relacje z procesem generatywnym.

Przestrzeń możliwości to odtworzony kontekst architek-

toniczny projektu badawczego. Kontekstem dla generatyw-

nego rozwoju formy jest niewielka objętość przestrzeni.

Objętość ta może być abstrakcyjnym modelem trójwymia-

rowym lub też może być oparta na przestrzeni rzeczywi-

stej, zdigitalizowanej za pomocą technik skanowania 3D.

Uproszczone ciało ludzkie stanowi dodatkowy kontekst.

Dla opracowanej koncepcji przygotowano prototyp

funkcjonalny, do którego stworzenia oraz do testowania

założeń projektowych zostały wybrane następujące na-

rzędzia: oprogramowanie Rhinoceros

wraz ze środowi-

skiem programowania gracznego Grasshopper, dodatek

do Grasshoppera (narzędzie do integracji sensorów cy-

frowych) oraz Microsoft Kinect.

Opis gry

Tytuł Kinetyczna morfogeneza wywodzi się z głów-

nych idei stojących za projektem badawczym – studiami

Oprogramowanie typu CAD służące do przestrzennego mode lo-

wania powierzchniowego.

dynamics inuences the development of spatial forms

arising through time. It is a constant recongurable part

of the entire background. The human being as the main

actor (game player) sets the starting point and guides the

development stage of the whole system. The human body

is being translated into a set of spatial rules – volume,

simplication of mass, axis – which allows reconstructing

its scale, dynamic localization and general relations with

the generative process.

Set of possibilities is an augmented architectural con-

text of the research project. The context for the generative

form development is a small volume of space. The vol-

ume of space can be created virtually or it can be based

on real space digitized through 3D scanning technology.

Simplication of the human body is an additional context.

For the developed concept a prototype was created. For

the prototype development tools of choice to study ini-

tial assumptions were: Rhino

/Grasshopper environment,

Firey Grasshopper add-on (sensor integration tool) and

Microsoft Kinect sensor.

Game description

The game title Kinetic morphogenesis is based on the

main ideas behind the research project – formal studies

of kinetic structures and movement. The research project

became a scientic motion game whose goal is to cre-

ate the cyber organism and its choice for the purposes

of digital fabrication. The main problem is to nd an an-

swer for the question: is it possible to process the physi-

cal reality through cyberspace? Game scenario and the

suggested player’s actions were dened by the successive

sequences of movements, in the form of event log based

on the operations and decisions of the game designer and

player (Fig. 2).

In the process of 3D geometry generation, the proposed

application utilizes interactive spatial swarm intelligence

simulation responsive to changes in the form and location

of the player. The simulation consists of a set of points,

changing their position in time and space based on the

player location and the neighbouring swarm points, called

agents. The proposed game is essentially a self-organized,

emergent system coupled with the player (Fig. 3).

The game context is an articial background-canvas

which depicts the player’s movements in real-time. Each

sequence is composed through creating spatial forms

CAD software for spatial surface modeling.

Il. 1. Graficzne przedstawienie

trzech haseł obrazujących

najważniejsze aspekty

koncepcji gry

(oprac. M. Nisztuk)

Fig. 1. Graphical representation

of the three slogans depicting

the most important aspects of

the game concept

(by M. Nisztuk)

Kinetyczna morfogeneza/Kinetic morphogenesis 53

formalnymi nad strukturami kinetycznymi i ruchem. Pro-

jekt badawczy przyjął formę naukowej gry o ruchu, któ-

rej celem jest stworzenie cyfrowego organizmu i wybór

jego nalnej formy do celów cyfrowej fabrykacji. Pod-

stawowym problemem gry jest znalezienie odpowiedzi

na pytanie, czy jest możliwe przetworzenie materialnej

rzeczywistości przez cyberprzestrzeń. Scenariusz i propo-

nowane akcje uczestnika zostały zdeniowane przez na-

stępujące po sobie sekwencje ruchów, w postaci rejestru

zdarzeń opartych na działaniach i decyzjach projektanta

aplikacji oraz gracza (il. 2).

Projektowana gra wykorzystuje w procesie tworzenia

struktury 3D interaktywną symulację przestrzenną inteli-

gencji roju reagującej na zmiany w postaci i lokalizacji

gracza. Symulacja składa się ze zbioru punktów zmienia-

jących swoje położenie w czasie i przestrzeni w oparciu

o lokalizację człowieka oraz sąsiednich punktów w roju,

zwanych agentami. Proponowana gra stanowi w gruncie

rzeczy sprzężony z uczestnikiem samoorganizujący się

system emergentny (il. 3).

Kontekstem gry jest cyfrowe tło – płótno, na które rzu-

towane są ruchy człowieka w czasie rzeczywistym. Każda

runda składa się z tworzenia form przestrzennych powsta-

jących w rezultacie zapisu ruchu w czasie i przestrzeni.

Formy te są następnie oceniane przez gracza w oparciu

o subiektywną ocenę ich estetyki (il. 4).

Mechanika gry

Mechanika gry jest oparta na dwóch głównych elemen-

tach: kontekście przestrzennym (uproszczony model trój-

wymiarowy lub rzeczywista przestrzeń zdigitalizowana

za pomocą technologii skanowania 3D) i uproszczonym

przedstawieniu ludzkiego ciała w przestrzeni cyfrowej.

Interakcje między tymi elementami stanowią rdzeń me-

chaniki gry. Opierają się one na przeplatających się

oddziaływaniach między punktami wyjściowymi dla

wzrostu struktury i atraktorami (punkty, w których kie-

runku wzrasta generowana struktura trójwymiarowa).

Interakcje następują poprzez ruch ludzkiego ciała w cza-

sie i przestrzeni i są rejestrowane jako przemieszczenie

„rusztowania” (uproszczone przedstawienie ludzkiego

ciała w przestrzeni cyfrowej z dołączonymi atraktorami)

w kontekście przestrzennym gry (zawierającym statyczne

punkty wyjściowe). Główne wybory estetyczne gry doty-

czą możliwości wyboru nalnej formy powstałej w wyni-

ku działania systemu generatywnego i materializacji akcji

gracza poprzez fabrykację powstałych form.

Szkieletem dla generowanej struktury 3D jest zapis toru

ruchu każdego z agentów. Ruch rozpoczyna się w punkcie

bazowym i jest kontynuowany w kierunku atraktorów zlo-

kalizowanych na ciele gracza. Umiejscowieniem punktu

bazowego jest losowy punkt na modelu 3D stanowiącym

tło gry (w prototypie tło gry stanowi skan 3D przestrzeni).

W toku gry relatywna pozycja atraktorów ulega zmianie

poprzez ruchy gracza wykrywane przez sensor ruchu Mi-

crosoft Kinect, co powoduje reakcję agentów i zmianę

ich położenia (zwrot w stronę atraktorów na graczu). Tor

ruchu jest zapisywany w czasie gry w postaci krzywych

przestrzennych i zamieniany na objętościową geometrię

arising as a result of the record of movement in time and

space. Resulting forms are then evaluated by the player,

based on the subjective judgment of their aesthetic

(Fig. 4).

Game mechanics

The mechanics of the game is based on two main ele-

ments, the background (real-time 3D scanned environ-

ment) and the scaffolding (simplication of the human

body) and the interactions between them which are based

on the interwoven inuences between seed points (start-

ing point(s) of the growing objects) and attraction points

(points towards which the structure will grow). The inter-

actions occur through movement in time and space and

are recorded as a displacement of scaffolding (human

body with the attraction points attached) in the context

of the game background (with the initial localization of

seed points). The main aesthetics relates to the possibility

of choice of the nal form produced by the generative

system (aesthetic evaluation of simulation results) and the

materialization of the player’s actions through the fabrica-

tion of resulting forms.

A skeleton for the generated 3D structure is the recorded

trajectory of each agent points. The agent motion starts at

the base point (seed point) and continues towards the at-

tractor points located on the player’s body. Location of

the base points is a random point on the 3D model, which

forms the background of the game (in the current proto-

type – 3D scan of the selected space). In the course of the

game, the relative position of attractors is changed by the

player’s movements detected by the Kinect motion sensor

(motion detector manufactured by Microsoft) which causes

the agents reaction and change of their position (a shift to-

wards attractors on the player). The motion path is recorded

in the form of spatial curves and converted into 3D volume

geometry with the algorithm creating 3D mesh (Fig. 4).

UI and sensory representation

The basis of the game are the player’s feelings regard-

ing movement and choices occurring during the game sce-

nario. Main senses connected with the model are vision

and the sense of equilibrium. The game design is based

on the player’s movement and its representation in the

digital space. These senses are the basis for an appropriate

localization of the player in the game space. Extensions of

the player are the simplication of the human body and its

representation on the two-dimensional screen.

The “avatar” (player telepresence) is the simplication

of the human body in the form of the skeletal body. It

determines the body position and its location in the game

space. The mechanics are based on the translation of the

real context (human body, spatial background) onto its

virtual representation. The player is “present” in the game

environment in real-time.

The basis of in-game UI

design is the concept of

sensory player’s feedback based on the telepresence of

User Interface, human-computer interface layer.

54 Maciej Nisztuk

3D za pomocą algorytmu tworzącego siatkę przestrzenną

na bazie krzywych 3D (il. 4).

UI i reprezentacja cyfrowa zmysłów gracza

Podstawą gry są odczucia człowieka w zakresie prze-

mieszczania się w przestrzeni materialnej i jego wybo-

ry dokonywane w trakcie rozgrywki. Najważniejszymi

zmysłami związanymi z grą są zmysł wzroku i zmysł

równowagi. Projekt środowiska aplikacji jest oparty na

ruchu zawodnika i jego reprezentacji w przestrzeni wir-

tualnej. Zmysły te są podstawą do właściwego umiejsco-

a player using the Microsoft Kinect sensor and the human

body skeletal representation. In-Game UI relates to the

game stage and changes with its progress (Fig. 5). The

basic steps are:

1. Human body representation with the option of at-

traction points selection (localized usually in joins of the

human body).

2. Background type selection (real 3D scanned space

or virtual creation) with the localization of seed points.

3. The main screen showing the environment of the

game (background context) with the current localiza-

tion of the player. Additional information is present: the

Il. 2. Diagramy rejestru zdarzeń

scenariusza opartych na

działaniach i decyzjach

projektanta oraz gracza

(oprac. M. Nisztuk)

Fig. 2. Diagrams of the game

scenario events based on the

actions and decisions of

the game designer and the player

(by M. Nisztuk)

Kinetyczna morfogeneza/Kinetic morphogenesis 55

wienia gracza w środowisku aplikacji. Przedłużeniem

ciała człowieka w środowisku gry jest jego uproszczona

reprezentacja wyświetlana na dwuwymiarowym ekranie.

Awatar (teleobecność gracza) to uproszczony obraz

ludzkiego ciała zredukowanego do głównych osi geome-

trycznych. Przedstawienie to determinuje pozycję ciała

i jego położenie w przestrzeni gry. Mechanika gry opiera

się na przekładzie kontekstu rzeczywistego (ciało gracza,

tło przestrzenne gry) na jego wirtualną reprezentację. Gracz

jest obecny w środowisku gry w czasie rzeczywistym.

Podstawą dla interfejsu (UI

) jest koncepcja sprzęże-

nia sensorycznego gracza, którego charakter jest odzwier-

ciedlony za pomocą sensora Kinect w postaci uproszczo-

nej reprezentacji ciała ludzkiego. Interfejs użytkownika

jest bezpośrednio połączony z danym etapem gry i zmie-

nia się wraz z jej postępem (il. 5). Podstawowe kroki wy-

stępujące w grze to:

1. Reprezentacja ciała gracza wraz z opcją wyboru lo-

kalizacji atraktorów (lokalizowane zazwyczaj w miejscu

najważniejszych stawów ludzkiego ciała).

User Interface, interfejs użytkownika służący do komunikacji czło-

wieka z komputerem.

position of the human body in skeletal form, “clock” of

in-game time.

4. The rst stage of game result form.

5. The nal choice of form for the digital fabrication

purposes.

Game prototype

The game functional prototype was created in the

form of interactive application (Fig. 6). Tools used to de-

velop the application were: Rhinoceros 3D, Grasshopper

( Rhinoceros extension for visual programming) and ad-

ditional Grasshopper plug-ins (Boid library, Firey). The

application is based on the Windows PC platform and

Microsoft Kinect sensor. The scenario and the player’s

actions have been dened by the successive sequences

of movements, in the form of an event log based on the

operations and decisions of the game designer and player

(Fig. 2):

1. Player’s choice of spatial context – selection of the

background between virtual model and the material space

digitalized using 3D scanning technology.

2. Selection of the location of seed points in the spatial

context for the 3D structure generation.

Il. 4. Reprezentacja cyfrowego tła gry oraz zobrazowanie awatara w świecie gry. Na obecnym etapie projektu badawczego głównym rodzajem

stosowanego w grze tła jest model 3D wybranej przestrzeni powstały przy zastosowaniu technologii skanowania 3D (oprac. M. Nisztuk)

Fig. 4. Representation of the digital background of the game with the player avatar in the game world.

Currently, the main type of background used in the game is the 3D model of preselected space created using the 3D scanning technology

(by M. Nisztuk)

Il. 3. Czasowe sekwencje obrazów ukazujące ruchy człowieka na tle cyfrowej przestrzeni gry. Gracz, wykonując ruchy w czasie,

kieruje rozwojem generowanej struktury przestrzennej. Na obrazach widać cyfrową reprezentację uczestnika – awatara,

zapis rozwoju struktury przestrzennej w postaci krzywych 3D (oprac. M. Nisztuk)

Fig. 3. Timeline of image sequences showing the player movements in the context of digital game space. The player performs movements in time

directing the development of the spatial structure. The pictures show a digital representation of the player – avatar

and the development of the spatial structure in the form of 3D curves (by M. Nisztuk)

56 Maciej Nisztuk

2. Wybór typu kontekstu przestrzennego (uproszczo-

ny model przestrzenny lub rzeczywista przestrzeń zdigi-

talizowana za pomocą technologii skanowania 3D) wraz

z doborem lokalizacji punktów wyjściowych.

3. Ekran główny ukazujący środowisko gry (kontekst

przestrzenny) z aktualną lokalizacją gracza. Dodatkowo

pojawiają się informacje dotyczące pozycji ciała gracza

oraz czas wewnętrzny gry.

4. Ekran ukazujący pierwszy etap rezultatów formal-

nych gry.

5. Końcowy wybór formy dla celów cyfrowej fabry-

kacji.

Prototyp gry

Prototyp funkcjonalny gry stworzono w formie inte-

raktywnej aplikacji (il. 6). Do przygotowania aplikacji

wykorzystano następujące narzędzia: Rhinoceros 3D,

Grasshopper (rozszerzenie Rhinoceros do programowa-

nia wizualnego) oraz dodatkowe wtyczki do rozszerzenia

Grass hopper (biblioteki Boid i Firey). Aplikacja działa na

platformie PC Windows, wykorzystując sensor Microsoft

Kinect. Scenariusz gry i akcje gracza zostały zdeniowane

przez następujące po sobie sekwencje ruchów, w postaci

rejestru zdarzeń opartych na działaniach i

decyzjach pro-

jektanta gry oraz gracza (il. 2):

1. Wybór kontekstu przestrzennego przez gracza –

wybór kontekstu między modelem wirtualnym a rzeczy-

wistą przestrzenią zdigitalizowaną za pomocą technologii

skanowania trójwymiarowego.

2. Wybór lokalizacji punktów startowych dla struktury

(seed) w kontekście przestrzennym.

Wybór lokalizacji atraktorów – lokalizacja punktów,

w których kierunku będzie wzrastać tworzona struktura. Lo-

kalizacja możliwa w miejscu głównych stawów człowieka.

4. Początek interakcji człowieka z grą – ruch człowie-

ka w kontekście przestrzennym.

5. Koniec interakcji – zakończenie zapisu ruchu czło-

wieka.

3. Selection of the location of attraction points – the

location of points towards which the generative structure

will grow.

4. Game beginning – human movement in the spatial

context.

Game over – end of the recording of human movement.

6. Preliminary evaluation of movement recording re-

sults – basic aesthetic evaluation of resulting spatial forms

by the player. Binary selection possible – yes/no.

7. The ability to return to step 1.

8. Final evaluation of the generated spatial forms

– evaluation and result selection of several (dozen) ap-

plication iteration. The user chooses favourite form for

fabrication purposes.

Figure 6 shows the preview of an early prototype ver-

sion of the game. The sequence of game steps is as follows:

1. The choice of a digital spatial environment (in this

case a pre-dened spatial model based on 3D scans).

2. Presentation of the player’s telepresence in 3D

space (avatar).

3. Location of the avatar to the game environment.

4. Agents movement record in the form of spatial

curves, forming the skeletal structure of the resulting 3D

geometry.

5. Generation of spatial structure based on the player’s

avatar, 3D environment and recorded agent paths. The last

two images present created 3D geometry responding to

both the digital spatial context and the player’s avatar.

Conceptual simulations of the game space

Through simulations of the game environment in diffe-

rent conceptual contexts, one can better understand the way

ideas behind the design work. To nd further directions of

development it is crucial to check various possibilities of

the game design. Conceptual simulations can improve basic

concepts. Each testing stage can lead to the development

of new ideas how the entire environment could be altered,

new experience identied or new functionalities developed.

Il. 5. Projekt interfejsów

sensorycznych wewnątrz gry (UI)

(oprac. M. Nisztuk)

Fig. 5. Design of game sensory

interfaces (UI) (by M. Nisztuk)

Kinetyczna morfogeneza/Kinetic morphogenesis 57

Spatial simulation of the game environment was based

on the division of the environment into its key-frames.

This led to the description of in-game patterns and ob-

servation of standard-like patterns occurring during the

game. New movement patterns were described and new

peripheral extensions (VR equipment, Robot Arm, etc.),

of the system occurred.

To understand key-frames of the game progress initial

timeline of the events was created. Time simulation was

based on the timeline of in-game events creation. Initially,

each stage was described and time values needed to com-

plete each task were assigned. Further analysis of the in-

game timeline led to the reformulation of task events and

the development of optimized “ideal” timeline without

unnecessary key-frames.

Energy simulations of the game environment were con-

ducted to understand correlations between initial game el-

ements. The rst stage of the simulation was connected

with the creation of the initial force eld of the “most in-

uential” elements of the game – background and attrac-

tion points (points towards which the generative structure

will grow). Different force values of the attraction points

were studied. A conceptual model of the energy distribu-

tion of in-game elements was created. During the energy

values changes of each element, new scenarios appeared.

The most interesting game scenario is connected with the

lack of virtual background which leads to the appearance

of completely new forms.

Info-simulations of the concept nucleus were based

on the altering denitions of the in-game elements. Ad-

ditional substitutions of various elements led to new ideas

of further development of the game model. The most in-

teresting is the extension of the human movement through

virtual environment again into the material world using

the robotic arm and VR equipment. Additional evaluation

of the existing model was made.

After conceptual testing, the game scenario has been

updated. The improved game sequence is as follows:

1. The player appears in front of the motion sensor (Mi -

cro soft Kinect or similar).

Selection of spatial game context. Selection options

are: pre-dened 3D scans of selected space, simplied planar

3D environment, currently available spatial context (loaded

into the game by spatial sensors), empty spatial context.

3. Selection of the attractor points location – location

possible anywhere in the avatar.

6. Wstępna ewaluacja rezultatu zapisu ruchu – prosta

ocena estetyczna powstałej formy przestrzennej przez

gracza. Wybór binarny – tak/nie.

7. Możliwość powrotu do kroku 1.

8. Końcowa ewaluacja wygenerowanych form prze-

strzennych – ocena i wybór rezultatu kilku (kilkunastu)

iteracji działania aplikacji. Użytkownik wybiera najlepszą

jego zdaniem formę przestrzenną do cyfrowej fabrykacji.

Na ilustracji 6 przedstawiono podgląd wczesnej wersji

prototypu gry. Widać na niej sekwencję poszczególnych

kroków:

1. Wybór cyfrowego środowiska przestrzennego gry

(w tym przypadku predeniowany model przestrzenny na

bazie skanu 3D).

2. Prezentacja teleobecności gracza w przestrzeni 3D

(awatar).

3. Nałożenie awatara na środowisko gry.

Zapis ruchu agentów w postaci krzywych przestrzen-

nych stanowiących szkielet wynikowej struktury 3D.

5. Wygenerowanie struktury przestrzennej w oparciu

o awatara gracza, model 3D otoczenia i zapisany tor ru-

chu agentów. Dwa ostatnie obrazy ukazują reagowanie

tworzonej geometrii 3D zarówno na cyfrowy kontekst

przestrzenny, jak i na awatara.

Koncepcyjne symulacje przestrzeni gry

Poprzez symulacje środowiska gry przeprowadzane

w różnych kontekstach konceptualnych można uzyskać

dogłębną wiedzę na temat faktycznego działania idei pro-

jektowych. Testowanie różnorodnych wariantów w świe-

cie gry ma kluczowe znaczenie dla określenia dalszych

kierunków rozwoju projektu. Symulacje konceptualne

pozwalają na zrozumienie procesów zachodzących we-

wnątrz środowiska gry, dzięki czemu w sposób adekwat-

ny usprawnią testowanie założeń projektowych. Każdy

etap testów może doprowadzić do rozwinięcia nowych

idei dotyczących sposobu funkcjonowania środowiska

gry (idee dotyczące doświadczania jej przez człowieka,

nowych funkcji interfejsu itp.).

Symulacja przestrzenna środowiska gry została oparta

na rozkładzie na jej kluczowe momenty i bazowe elemen-

ty. Doprowadziło to do opisu występujących w grze wzor-

ców oraz znalezienia wśród nich pewnych standardów.

Na podstawie powstałej systematyki zostały opracowane

nowe wzorce ruchowe oraz hipotetyczne rozszerzenia gry

Il. 6. Zrzuty ekranu

pierwszej wersji prototypu

funkcjonalnego gry

(oprac. M. Nisztuk)

Fig. 6. Screenshots of

the game prototype’s

first version (by M. Nisztuk)

58 Maciej Nisztuk

4. Selection of the location for seed points in the spa-

tial context of the game (random location or in the speci-

ed place in the game context).

5. Beginning of human interaction with the game –

human movement in a spatial context.

6. End of interaction – end of the player movement

recording.

7. Preliminary evaluation of the motion result – basic

aesthetic evaluation of the resulting spatial forms by the

player. Binary selection – yes/no.

8. Possibility to return to step 1. A number of itera-

tions based on the player’s decision.

9. Final evaluation of the generated spatial forms –

evaluation and selection of one or several forms. The

player selects the preferred 3D model of generated struc-

ture for the materialization by the selected digital fabrica-

tion technique (3D printing, 3D milling)

SWOT analysis and NUF

tests (New, Useful, Feasi-

ble) were basic for the functional prototype evaluation and

showed the most interesting aspects of game properties.

Through the game concept tests and simulations, the

original scenario has been enhanced with additional el-

ements. New types of 3D backgrounds and possibility

to change the force of attractor and spatial environment

in uence (thereby altering the impact on the generated

struc ture) have been added. Completely new possibili-

ties of expanding the game with new peripherals also

appeared which could signicantly increase the creative

potential of the concept. Due to lack of appropriate equip-

ment at this research stage, the improved version of the

game scenario will be implemented at the stage of further

research.

Tests and evaluation of

the game concept and prototype

The evaluation of the game model and its implications

were divided into two phases: assessment of the concept

and evaluation of the game prototype. Each stage is di-

vided into basic elements to identify the most important

criteria and objectives of the evaluation.

Verification of the game concept

In order to determine the value of the developed game,

the created model had to be tested. These tests were

divided into two stages. The rst stage envisaged exami-

nation of the game concept in order to identify the most

important evaluation criteria and objectives for the sec-

ond phase of testing – verication of the game prototype.

In the course of the study of the concepts, the following

criteria for game concept evaluation were identied and

divided into three main categories:

– System efciency measurements [8] – determining

the effectiveness of the system in time to create spatial

The NUF (New, Useful, Feasible) test is an efficient evaluation

of the idea effectiveness by scoring its three key criteria: innovation,

usa bility and feasibility. The NUF test allows to identify the concept

weaknesses and its full formulation before the implementation phase.

o nowe urządzenia peryferyjne (sprzęt do VR, ramię ro-

botyczne itp.).

W celu zrozumienia kluczowych zdarzeń zachodzą-

cych w trakcie gry opracowano linię czasu etapów jej

pierwotnej wersji. Symulacje przepływu czasu oparto na

sekwencji kroków wewnątrz gry. Każdy etap opisano

poprzez przyporządkowanie wartości czasu potrzebnego

do wykonania danego zadania. Dalsza analiza linii czasu

gry doprowadziła do przeformułowania sekwencji za-

dań w grze do postaci zoptymalizowanej, pozbawionej

zbędnych fragmentów.

Symulacje energetyczne środowiska gry zostały prze-

prowadzone w celu zrozumienia zależności między jej

początkowymi elementami. Pierwsza faza symulacji była

związana ze stworzeniem ideowego „pola sił” najważ-

niejszych elementów gry – kontekstu przestrzennego oraz

atraktorów (punktów, w których kierunku „wzrasta” two-

rzona struktura). Przebadano różne wartości oddziaływa-

nia sił dla danych elementów. Został stworzony koncepcyj-

ny model dystrybucji energii elementów w grze. Podczas

zmiany wartości energii każdego elementu gry pojawiły

się nowe scenariusze. Najciekawszy scenariusz gry jest

zwią zany z brakiem kontekstu przes trzennego, kiedy to

po jawiają się zupełnie nowe struktury formalne.

Symulacje przepływu informacji koncepcji gry zostały

oparte na zmianach denicji kluczowych elementów gry.

Zmiany znaczeniowe różnych fragmentów doprowadziły

do pojawienia się nowych pomysłów na dalszy rozwój

modelu. Najciekawszym z nich jest rozszerzenie ruchu

ludzkiego poprzez środowisko wirtualne ponownie do

świata materialnego przy zastosowaniu ramienia robo-

tycznego i sprzętu VR.

Po testach koncepcyjnych scenariusz gry został zaktu-

alizowany. Usprawniona sekwencja wygląda następująco:

1. Gracz pojawia się przed czujnikiem ruchu (Micro-

soft Kinect lub podobne).

2. Wybór kontekstu przestrzennego gry. Możliwe

opcje wyboru to: predeniowany skan 3D pomieszcze-

nia, uproszczony płaszczyznowy model 3D środowiska,

aktualnie dostępny kontekst przestrzenny (wczytywany

do gry przez sensory przestrzenne), brak środowiska.

3. Wybór lokalizacji atraktorów – umiejscowienie

możliwe w dowolnym miejscu awatara.

4. Wybór lokalizacji punktów startowych dla struktury

(seed) w kontekście przestrzennym gry (lokalizacja loso-

wa lub we wskazanym fragmencie kontekstu gry).

5. Rozpoczęcie interakcji – ruch człowieka w kontek-

ście przestrzennym.

6. Koniec interakcji – zakończenie zapisu ruchu czło-

wieka.

7. Wstępna ewaluacja rezultatu zapisu ruchu – prosta

ocena estetyczna powstałej formy przestrzennej przez

gracza. Wybór binarny – tak/nie.

8. Możliwość powrotu do kroku 1. Liczba iteracji

oparta na decyzji gracza.

9. Końcowa ewaluacja wygenerowanych form prze-

strzennych – ocena i wybór rezultatu kilku lub kilkunastu

iteracji działania aplikacji. Użytkownik wybiera najlepszą

jego zdaniem formę przestrzenną do cyfrowej fabrykacji

i technikę cyfrowej fabrykacji (druk 3D, frez 3D).

Kinetyczna morfogeneza/Kinetic morphogenesis 59

Przeprowadzona analiza SWOT oraz testy NUF

(New,

Useful, Feasible) istniejącego prototypu gry stały się

podstawą do funkcjonalnej oceny prototypu. Dzięki prze-

prowadzonym analizom udało się określić najciekawsze

aspekty i właściwości gry.

Dzięki symulacjom przestrzeni gry i testom koncepcji

pierwotny scenariusz został ulepszony o nowe elemen-

ty. Dodane zostały nowe rodzaje tła 3D, wprowadzono

również możliwość ingerowania w siłę przyciągania

atraktorów i środowiska przestrzennego, zmieniając tym

samym ich wpływ na generowaną strukturę. W toku te-

stów koncepcji gry pojawiły się również zupełnie nowe

możliwości rozszerzenia gry o nowe urządzenia peryfe-

ryjne znacznie zwiększające potencjał kreacyjny koncep-

cji. W związku z brakiem odpowiedniego wyposażenia

na obecnym etapie prac ulepszona wersja scenariusza gry

dotyczy przyszłości i zostanie rozwinięta w trakcie dal-

szych badań nad aplikacją.

Testy oraz ocena koncepcji i prototypu gry

Ocena modelu gry została podzielona na dwa etapy:

ocenę koncepcji gry i werykację powstałego prototypu.

Każdy etap został rozgraniczony na podstawowe elemen-

ty, aby zidentykować najważniejsze kryteria i cele ewa-

luacji.

Weryfikacja koncepcji gry

Aby zbadać wartość gry, przeprowadzono testy jej mo-

delu. Testy te zostały podzielone na dwa etapy. Pierwszy

etap zakładał przebadanie koncepcji gry, by znaleźć naj-

ważniejsze kryteria i cele oceny dla drugiego etapu testów

– werykacji prototypu. Otrzymane kryteria podzielono

na trzy najważniejsze kategorie:

– szybkość działania systemu [8] – kategoria opisu-

jąca efektywność czasową systemu do tworzenia form

przestrzennych o określonych parametrach; pomiar po-

tencjalnej efektywności działania systemu poprzez mie-

rzenie kierunkowości rezultatów symulacji, klasykacji

dominujących wektorów tworzonych form oraz mierze-

nia lokalnych przemieszczeń geometrii,

– różnorodność powstałych form [7] – subiektywna

ocena estetyki kształtów przestrzennych, ich różnorod-

ność, możliwe klasy, deformacje; opis możliwych do

uzyskania przez działanie systemu zmian formalnych po-

przez klasykację powstałych form i mierzenie różnorod-

ności geometrycznej struktur,

– niezależność – poziom niezależności od gracza opra-

cowanego systemu pod kątem potencjału generowania

form przestrzennych poprzez klasykację zbioru możli-

wych do otrzymania form i miarę zmian geometrycznych

w czasie.

Powyższe kryteria posłużyły do wypracowania celów

oceny koncepcji gry oraz powstałego prototypu, wraz ze

Test NUF polega na szybkiej weryfikacji efektywności pomysłu

poprzez ocenę punktową jego trzech kluczowych kryteriów: nowa tor-

stwa, użyteczności i wykonalności. Test NUF umożliwia identyfikację

sła bych stron pomysłu i jego pełne ukształtowanie przed etapem realizacji.

forms with specic parameters. Verication of the poten-

tial efciency of the system by measuring the directional-

ity of the simulation results, classication of the dominant

vectors in the formed geometries and measurement of its

local displacements.

– The diversity of resulting shapes [7] – a subjec-

tive aesthetics assessment of created spatial shapes, their

diversity, possible classes, deformations. Description of

possible formal changes by classifying the resulting forms

and measuring geometrical diversity of the 3D structures.

– Level of independence – the level of independence

from the player of the developed system in terms of the

ability to generate spatial forms by classifying the sets

of possible forms and measurement of geometric changes

over time.

Criteria for evaluating the game concept were used to

establish the key objectives of the concept and the result-

ing prototype evaluation, along with methods for their

measurement. The objectives of the game concept evalu-

ation are divided into three main categories:

– Influence of spatial context on simulation result

– measurement of time and geometric efciency of the

simulation depending on the type of spatial context.

– Interactivity measurement of the system – deter-

mining whether the game concept bears the hallmarks

of an interactive system. This property was measured by

searching for the classication of emerging spatial pat-

terns and descriptions of changes in the states of spatial

forms in time.

– The interactivity of the system – to determine the im-

portance of generativity of the system for emerging forms.

The stage of game concept testing was to determine the

most important criteria for evaluation of the game proto-

type. Based on the above criteria, it was found that the

most important criteria for prototype evaluation should be

its computational speed, the system interactivity and the

effectiveness of the prototype in achieving formal variety.

Verification of the game prototype

The second stage of research project verication was

the evaluation of the functional prototype, based on the

efciency (speed, ease of use, intuitiveness) and creativ-

ity (diversity of generative forms, attractiveness). Ease

of use was measured by speed, intuitiveness of interface,

readability of movement and predictable results. Intu-

itiveness connects directly to the ease of use measure-

ments and was further assessed by an overall understand-

ing of the concept of the game for users. Aesthetics of

generated forms was evaluated by subjective assessment

of generated shapes.

The main conclusions of the prototype tests are shown

in the Table 1. Dark gray rectangles show the unsatisfac-

tory test results and show further improvement directions.

Light gray rectangles mark the positive test results.

Further studies of the structure of game prototype were

performed. The game prototype was analyzed based on

functional performance and possible improvements in

various categories:

– optimization – overall performance of the prototype,

60 Maciej Nisztuk

– rationalization – rationality of design solutions, ra-

tional use of computer resources,

– complexity – determination whether functions of the

prototype are not unnecessarily complex,

– readability – clarity and intuitiveness of designed

graphical user interfaces,

–

interactivity – the level of impact which the player has

on prototype operations,

– exibility – level of potential adaptations of game

prototype to the user’s needs.

The purpose of this analysis was to nominate and to

im prove faulty functionalities of the prototype. These im -

pro vements are directly related to direction of tests carried

out. Based on the above, the following improvements of

game prototype have been identied:

– speed enhancement during the spatial structure gen-

eration and motion sensor operation,

– improvement of the game interactivity by extending

the spectrum of game context selection and adding possi -

bility to inuence parameters of spatial structure gene-

ration,

– development of the interface readability,

– the increase in the number of aesthetic geometry

choices – currently only one biomorphic aesthetics is

available,

– broadening of choice of manufacturing techniques

choices by additional technologies,

– expansion of variety of player motion scenarios.

Selected improvements will be introduced to further

version of the game, showing valuable directions of fur-

ther game concept and development.

Results of the game prototype actions

This section presents the results of the rst implemen-

tation of the game prototype, showing visualization and

the documentation of the creation process of the 3D struc-

ture based on the swarm intelligence simulation which

was populating the 3D scan of the preselected spatial

context. Through the simulation time, each agent dynami-

cally responds to the neighbouring surrounding being de-

termined by the material and digital spatial environment

and dynamic player avatar.

For evaluation purposes, the rst prototype of the game

was chosen. This game version does not have a fabrica-

tion selection module, as well as additional peri pheral equip-

ment and accessories (VR hardware, robo tic arm, etc.). The

test game scenario had the following features:

1. Predened spatial context – prepared 3D scan of

selected space.

2. Random location of seed points in the 3D context

of the game.

3. Two attractor points located in the player’s avatar

wrist.

There were ve test rounds resulting in various spatial

structures (Fig. 7). In the tests, the female dancer per-

formed repeated, unconditional moves of the intuitive

dance. The movement of the dancer’s gure was being

recorded in the form of a bitmap and depth map by the Ki-

nect motion sensor (Fig. 8), and subsequently translated

sposobami ich pomiaru. Cele oceny koncepcji gry zostały

podzielone na trzy najważniejsze kategorie:

– wpływ kontekstu przestrzennego na wynik symula-

cji – pomiar efektywności czasowej i geometrycznej sy-

mulacji w zależności od typu kontekstu przestrzennego,

– miara interaktywności systemu – określenie, czy

koncepcja gry nosi znamiona systemu interaktywnego;

cecha ta była mierzona poprzez poszukiwanie klasykacji

powstających wzorów przestrzennych oraz opisy zmiany

stanów brył przestrzennych w czasie,

– interaktywność systemu – charakterystyka znacze-

nia generatywności systemu dla powstających form.

Pierwszy etap testów koncepcji gry miał na celu wy-

znaczenie najważniejszych kryteriów oceny testowej pro-

totypu gry. Na podstawie powyższych zidentykowanych

kryteriów ustalono, że najważniejszymi kryteriami oceny

prototypu powinny być szybkość działania prototypu,

interaktywność działania i możliwości kreacji formalnej

two rzonego prototypu gry.

Weryfikacja prototypu gry

Drugim etapem werykacji projektu była ocena proto-

typu funkcjonalnego gry w oparciu o efektywność dzia

ła-

nia (szybkość, łatwość obsługi, intuicyjność) i zdolność do

kreowania atrakcyjnych i różnorodnych form przestrzen-

nych. Łatwość obsługi była mierzona przez szyb kość

dzia łania, intuicyjność interfejsu, czytelność ruchów, prze-

widywalność rezultatów. Intuicyjność łączy się bezpośred-

nio z łatwością obsługi i była dodatkowo określana za po-

mocą miary ogólnego zrozumienia koncepcji gry przez

użytkowników. Estetyka powstałych form przestrzennych

była ewaluowana poprzez subiektywną ocenę wygenero-

wanych kształtów.

Główne wnioski z testów prototypu gry przedstawiono

w tabeli 1. Ciemnoszare prostokąty oznaczają niesatys-

fakcjonujące wyniki badań i wskazują dalsze możliwe

kierunki zmian. Jasnoszare prostokąty oznaczają pozy-

tywne wyniki testów.

Dodatkowo zostały wykonane badania struktury proto-

typu. Przeprowadzono analizę pod kątem funkcjonalności

i możliwych ulepszeń w wybranych kategoriach:

– optymalizacja – szybkość działania prototypu,

– racjonalizacja – racjonalność rozwiązań projekto-

wych, logika wykorzystania zasobów komputera,

– złożoność – określenie, czy sposób działania proto-

typu nie jest niepotrzebnie skomplikowany,

– czytelność – czytelność i intuicyjność projektowa-

nych interfejsów gracznych,

– interaktywność – wpływ gracza na sposób funkcjo-

nowania prototypu,

– elastyczność – poziom adaptacji projektowanego

prototypu do potrzeb użytkownika.

Celem powyższych testów było wytypowanie i uspraw-

nienie wadliwych funkcji prototypu. Usprawnienia wiążą

się bezpośrednio z kierunkiem przeprowadzanych testów.

Na podstawie powyższych zidentykowano następujące

możliwe ulepszenia prototypu gry:

– przyspieszenie działania gry podczas generowania

struktury przestrzennej i pracy sensora ruchu,

Kinetyczna morfogeneza/Kinetic morphogenesis 61

to a simplied skeletal avatar – player telepresence in the

game context, interacting with the swarm agents. The

structure modelling process was divided into three main

stages:

1. 3D scanning of the spatial context (Fig. 4).

2. Simulation process during which the skeletal shape

of the structure is established via dynamic interaction be-

tween agents, digital environment and player avatar (Fig. 3).

3. Translation of the agent’s movement lines to 3D

mesh geometry (Fig. 7).

As a result of the experiments, spatial models were gen-

erated (Fig. 7) being the recorded impact of the dancer’s

movement on the simulated points.

Future works

Final tests of the initial concept nucleus and its rst

functional prototype showed that the idea needs further

renement and development. Various elements of the

game do not work correctly or do not work at all. Various

simulations of the game concept nucleus show additional

– zwiększenie interaktywności gry poprzez poszerze-

nie spektrum wyboru kontekstów gry i możliwości wpły-

wania na parametry generowania struktury przestrzennej,

– poprawa czytelności interfejsu gry,

– podwyższenie liczby typów estetycznych wyborów

geometrii – obecnie prototyp umożliwia działanie tylko

w geometrii o estetyce biomorcznej,

– rozszerzenie możliwości wyboru technik fabrykacji

o dodatkowe technologie (np. frezowanie przestrzenne),

– poszerzenie różnorodności scenariuszy ruchowych.

Wytypowane usprawnienia, stanowiąc cenne kierunki

rozwoju aplikacji gry, będą wprowadzane w jej kolejnych

wersjach.

Wyniki działania prototypu

Ta sekcja artykułu prezentuje wyniki działania pierw-

szego prototypu gry, dokumentując proces tworzenia

struktury 3D opartej na cyfrowej symulacji inteligencji

roju w wybranym kontekście przestrzennym. W trakcie

trwania symulacji każdy agent dynamicznie reaguje na

Tabela 1. Podsumowanie oceny prototypu funkcjonalnego gry (oprac. M. Nisztuk)

Table 1. Evaluation of game prototype conclusions (by M. Nisztuk)

Kryteria projektowe

prototypu gry

Design criteria of

prototype

Kryteria oceny prototypu gry

Evaluation criteria of prototype

Wnioski

Conclusions

Łatwość użytkowania

Ease of use

zbyt skomplikowana kontrola

too complicated to control

prototyp jest nieużyteczny z powodu braku optymalizacji

prototype is hard to use due to optimized technology

zbyt przypadkowy ruch

too random movement

przypadkowość i czułość powinny zostać zmienione

randomness and sensitivity should be changed

zbyt duża czułość

too sensitive

wybór punktów startowych i atraktorów jest odpowiedni

control points and seed points have sufficient selection options

intuicyjny sposób wyboru punktów bazowych

intuitive seed point choice

–

nieprzewidywalne rezultaty

unpredictable results

–

Intuicyjność

Intuitiveness

intuicyjność ruchu

intuitive movement

ruch jest intuicyjny

movement is natural

nieczytelna koncepcja gry

game concept is not clear

koncepcja powinna zostać zaprezentowana

na początku działania gry, w postaci jasnego komunikatu

the concept should be presented at the beginning of the game,

in the form of a clear message

brak zdigitalizowanych rzeczywistych

kontekstów przestrzennych

lack of digitized real spatial contexts

skany przestrzenne kontekstów przestrzennych

powinny być zaimplementowane w aplikację

3D scan data should be preloaded

Atrakcyjność formalna

Formal attractiveness

tylko podstawowe typy geometrii

only base geometry

szersze możliwości wyboru dla typów geometrii

wider choices of geometrical choices

tworzenie geometrii na podstawie

tylko jednego wzorca postępowania

resulting forms based only on one scheme of

designer choice

wybór wzorców postępowania powinien być szerszy

selection of possible choices should be wider

brak wsparcia druku 3D

lack of 3D printing option

implementacja modułu druku 3D

3D print implementation

chaotyczność formy

chaotic forms

porządek formy

order of form

62 Maciej Nisztuk

otaczający go kontekst przestrzenny, determinowany przez

cyfrowe środowisko przestrzenne oraz awatara gracza.

Do celów oceny został wybrany pierwszy prototyp

aplikacji. Ta wersja nie ma modułu wyboru formy przezna-

czonej do fabrykacji, a także dodatkowych modułów i ak-

cesoriów peryferyjnych (sprzęt VR, ramię robotyczne itp.).

Testowy scenariusz gry miał następujące właściwości:

1. Predeniowany kontekst przestrzenny – przygoto-

wany skan 3D wybranej przestrzeni.

2. Przypadkowa lokalizacja punktów bazowych struk-

tury (seed) na geometrii kontekstu 3D gry.

3. Dwa atraktory zlokalizowane w nadgarstkach awa-

tara gracza.

Odbyło się pięć rund testów, w wyniku których powsta-

ły zróżnicowane struktury przestrzenne (il. 7). W testach

uczestniczyła tancerka, wykonując powtarzalne, niear-

tykułowane ruchy tańca intuicyjnego. Jej ruch był zapi-

sywany w czasie rzeczywistym w postaci bitmapy oraz

mapy głębokości przez sensor ruchu Kinect (il. 8) i tłu-

maczony na uproszczony model szkieletowy człowieka,

stanowiący awatar gracza w przestrzeni gry wchodzący

w interakcje z agentami. Proces modelowania geometrii

wynikowej dzielił się na trzy główne etapy:

1. Skanowanie 3D kontekstu przestrzennego (il. 4).

2. Proces symulacji, w trakcie którego kształt układu

jest ustalany przez dynamiczne oddziaływanie między agen-

tami, środowiskiem cyfrowym i awatarem gracza (il. 3).

3. Tłumaczenie linii ruchu agenta do postaci geometrii

siatki 3D (il. 7).

W wyniku przeprowadzonych prób powstały modele

przestrzenne (il. 7) będące zapisem oddziaływania ruchu

tancerki na symulowane punkty.

Przyszłe prace

Końcowe testy założeń gry i jej pierwszego prototypu

funkcjonalnego pokazały, że idea wymaga dopracowania

i dalszego rozwoju. Wiele elementów aplikacji nie działa

poprawnie lub nie działa w ogóle. Symulacje konceptual ne

possibilities which can be implemented in the next ver-

sions of the game. Further development of the application

will be based on the model tests and analysis conducted

during the course of initial stage of research project.

Possible future enhancements include the addition of

peripheral equipment (VR goggles with additional mo-

tion sensors) and synchronization of the player movement

with robotic arm which could perform the same move-

ments as the player back into the material reality.

Next iterations of the application will include improved

speed and motion capture sensitivity, improved in-game

controls, simplied action scenarios, digital fabrication

module, form selection module, VR equipment compati-

bility, robot arm extension compatibility and wider choice

of the movement representation.

Further development of the game system can lead to its

transformation onto an interior design tool, which could

be based on the real-time representation of the material

context. Various tools could be used to sketch furniture in

the real context. This furniture and objects could be then

fabricated using digital fabrication or direct connection

with the robotic arms.

The current prototype leaves full freedom in the play-

er’s movements without specifying their purpose. An

interesting direction for future research may be to give

a meaning to the player’s movements by creating specic

scenarios of behaviour or actions within the game.

Conclusion

Current studies resulted in better understanding of spa-

tial relations between the human body and spatial context.

In addition, exploration of new possibilities of interaction

between generative environment and real context have

been recorded.

During the course of the current, preliminary stage of

the research project, the potential of new technolo

gies in

the digital 3D forms creation is investigated. The

pre sented

studies show interesting biomorphic spatial structures.

Il. 7. Wynik działania obecnej wersji prototypu gry. Rezultatem gry jest zapis interakcji ruchu gracza i symulacji inteligencji roju

w przestrzeni w postaci siatkowych modeli 3D

(oprac. M. Nisztuk)

Fig. 7. The result of the current game prototype version. The result of the game is the record of player movement interaction

with the swarm intelligence simulation in the game world depicted in the form of 3D mesh geometries

(by M. Nisztuk)

Kinetyczna morfogeneza/Kinetic morphogenesis 63

Further work is needed to fully explore the set of pos-

sible solutions. The current initial phase of the project is

a valuable starting point for further research. The game

model and its testing simulations stage proved its creative

potential and a suitable tool for the exploration of the gen-

erative systems formulation capabilities.

Translated by

Maciej Nisztuk

Il. 8. Zapis ruchu tancerki w postaci bitmapy oraz mapy głębokości rejestrowanego obrazu

(oprac. M. Nisztuk)

Fig. 8. Record of the dancer’s motion in the form of a bitmap and depth map images

(by M. Nisztuk)

modelu gry pokazują dodatkowe funkcjonalności, które

mogą zostać wdrożone w kolejnych wersjach. Przyszły

rozwój aplikacji będzie oparty na analizach i testach mo-

delu gry przeprowadzonych w trakcie obecnej fazy pro-

jektu badawczego.

Możliwe przyszłe ulepszenia to przede wszystkim

włączenie do gry dodatkowych sprzętów peryferyjnych

(gogli VR wraz z dodatkowymi sensorami ruchu) oraz

zsynchronizowanie ruchów gracza z ramieniem robotycz-

nym, które mogłoby wykonywać te same ruchy co gracz,

przenosząc je ponownie w materialną rzeczywistość.

Następne iteracje gry będą mieć usprawnioną szybkość

i czułość modułu wykrywającego ruch. Zostanie popra-

wiona kontrola gracza nad środowiskiem gry. Dodatkowo

zostanie uproszczony scenariusz, pojawią się nowe mo-

duły (moduł cyfrowej fabrykacji powstałych form, mo-

duł wyboru formy, kompatybilność sprzętu VR) i szersze

możliwości przedstawienia ruchu ludzkiego ciała w prze-

strzeni wirtualnej.

Przyszły rozwój systemu gry może doprowadzić do

jego przemiany na narzędzia do projektowania wnętrz,

bazującego na przedstawieniu realnego kontekstu prze-

strzennego w czasie rzeczywistym. Różne narzędzia

mogłyby być stosowane do tworzenia szkiców obiektów

w prawdziwym kontekście. Obiekty te mogłyby być na-

stępnie wykonane przy użyciu cyfrowej fabrykacji lub bez-

pośrednio w trakcie szkicowania przez ramię robotyczne.

Obecny prototyp gry pozostawia pełną dowolność

w zakresie wykonywanych ruchów gracza, nie określa-

jąc żadnego ich celu. Ciekawym kierunkiem przyszłych

badań może być również nadanie określonego znaczenia

ruchom gracza poprzez stworzenie wewnątrz gry kon-

kretnych scenariuszy zachowań lub czynności.

64 Maciej Nisztuk

Wnioski

Przeprowadzone badania oraz analiza rezultatów do-

prowadziła do lepszego zrozumienia relacji przestrzen-

nych między ludzkim ciałem a kontekstem przestrzennym

w rzeczywistości wirtualnej i odnalezienia nowych moż-

liwości interakcji między środowiskiem generatywnym

a kontekstem zycznym.

W trakcie obecnej, wstępnej fazy projektu badawcze-

go został przestudiowany potencjał nowych technologii

w tworzeniu form przestrzennych. Prezentowana kon-

cepcja gry ukazuje ciekawe biomorczne struktury prze-

strzenne. Konieczne są dalsze prace, aby w pełni poznać

zbiór możliwych rozwiązań opracowywanej aplikacji.

Omówiona faza projektu stanowi cenny punkt wyjścia

dalszych badań. Sporządzony wstępny model gry i etapy

jego testowania za pomocą symulacji konceptualnych po-

kazały ich twórczy potencjał i okazały się odpowiednim

narzędziem do poszukiwania możliwości kreacji formy

przez systemy generatywne.

Bibliografia /References

[1] Cheng G., Wan Y., Saudagar A.N., Namuduri K., Buckles B.P.,

Advances in Human Action Recognition: A Survey, arXiv:1501.05964,

2015.

[2] Kinerd N., Motion Capture Study of Human Movement Recognition,

All Theses, 2012, Paper 1512.

[3] Weinland D., Ronfard R., Boyer E., A survey of vision-based methods

for action representation, segmentation and recognition, „Computer

Vision and Image Understanding” 2011, Vol. 115, Iss. 2, 224–241.

[4] Johansson G., Visual motion perception, „Scientic American”

1975, Vol. 232, No. 6, 76–88.

[5]

Jinil Park, Drawings, 2013, http://www.jinilpark.com/work/ [accessed:

20.02.2016].

[6] Front, Sketch furniture, 2004, http://www.friedmanbenda.com/artists/

front-design [accessed: 20.02.2016].

[7]

Mhox, Edgelab S., Collagen, 2013, http://mhoxdesign.com/collagene-

en. html [accessed: 20.02.2016].

[8] VRClay, Sculpting with Ocullus, 2015, http://vrclay.com/ [ac-

cessed: 20.02.2016].

[9] Takeuchi M., Phillips F., Asphyxia, 2015, http://www.thisiscolossal.

com/2015/03/asphyxia-a-striking-fusion-of-dance-and-motion-

capture-technology/ [accessed: 20.02.2016].

[10] Franke D., Kiefer C., Unnamed Soundsculpture, 2012, http://weare

chopchop. com/ %E2%80%9Cunnamed-soundsculpture%E2%80%9D/

[accessed: 20.02.2016].

[11] Rasmusen E., Games and Information: An Introduction to Game

Theory, 4

ed., Wiley-Blackwell, Malden–Oxford–Victoria 2006.

Streszczenie

Niniejszy artykuł przedstawia zasady i cele projektu Kinetyczna morfogeneza starającego się opisać ruch człowieka poprzez interaktywny system

przechwytywania ruchu i tworzonej generatywnie geometrii na podstawie rzeczywistego kontekstu przestrzennego. Artykuł opisuje proces

opracowania wytycznych dotyczących aplikacji, prezentuje efekty działania pierwszego prototypu, a także wskazuje kierunki dalszych prac

badawczych. Celem opracowania jest odnalezienie i opisanie piękna form biologicznych powstających w oparciu o ruch człowieka. Najważniejszym

aspektem badań jest czysta eksploracja formy oraz zacierającej się granicy między realnym, materialnym światem a przestrzenią wirtualną.

Głównym zakładanym rezultatem projektu jest znalezienie różnorodnych możliwości generatywnej wizualizacji procesów w czasie rzeczywistym

poprzez narzędzia interaktywne. Przeprowadzone badania oraz analiza rezultatów doprowadziła do lepszego zrozumienia relacji przestrzennych

między ludzkim ciałem a rzeczywistym/wirtualnym kontekstem przestrzennym i odnalezienia nowych możliwości interakcji między środowiskiem

generatywnym (proces cyfrowy, w którym obiekt generatywny ma szansę zaistnieć; stanowi zbiór zasad, skryptów, algorytmów określonych przez

projektanta; zawiera w sobie również moduł ewaluacji, pozwalający oceniać wartość estetyczną danego obiektu generatywnego przez projektanta)

a kontekstem zycznym.

Słowa kluczowe: przechwytywanie ruchu, projektowanie generatywne, interaktywność, rozwój strukturalny

Abstract

The article outlines the principles and goals of the research project Kinetic morphogenesis trying to describe human movement through interactive

motion capture and generative geometry based on real spatial context. In addition, the article describes the process of design guidelines development,

demonstrates the effects of the rst prototype, and outlines the direction of further research related to the project. The aim is to nd the beauty in

biological forms which arise based on human movement. The research here is about pure form nding and blurring the boundary between real,

material world and virtual space. The main assumed outcome is the exploration of various possibilities of generative process visualization in real

time through an interactive tool. Additional ndings resulted in better understanding of spatial relations between the human body and real (or virtual)

spatial context. In addition, exploration of new possibilities of interaction between generative environment (a digital process in which the generative

object has a chance to occur; is a set of rules, scripts or algorithms specied by the designer. It also has a module of evaluation which allows assessing

the aesthetic value of the generative object) and real context.

Key words: motion capture, generative design, interactivity, structural expansion

Kinetic morphogenesis: generative system of structural expansion based on interactive motion capture

Maciej Nisztuk

doi:10.5277/arc170404

Abstract