Вы можете захватывать данные кулачка при каждом обновлении, а затем запускать модель Pytorch, передавая только что полученные данные. Я не пробовал и не уверен, как работает pytorch, но для универсальных скриптов на python вы можете сделать что-то вроде:
...
void Start()
{
...
data = new Color32[webcamTexture.width * webcamTexture.height];
...
}
...
void FixedUpdate ()
{
...
webCamTexture.GetPixels32(data); //this is faster than returning a Color32 object
...
}
...
private void runPython(string pathToPythonExecutable, string pyTorchScript, Color32[] data)
{
var startInfo = new ProcessStartInfo();
var pyTorchArgs = convertDataToYourPyTorchInputFormat (data)
startInfo.Arguments = string.Format("{0} {1}", pyTorchScript, pyTorchArgs);
startInfo.FileName = pathToPythonExecutable;
startInfo.UseShellExecute = false;
var process = Process.Start(start));
process.WaitForExit();
//do stuff in unity with the return value of process (process.ExitCode) or whatever.
}
Имейте в виду, это может создать значительные накладные расходы для создания и завершения процессов с использованием внешнего исполняемого файла , Есть несколько библиотек, которые позволяют вам запускать скрипты Python внутри C #. Я могу вспомнить 2: IronPython ( http://ironpython.net ) и Python для .Net ( http://pythonnet.github.io ), хотя я никогда не пробовал их .
Вы создали бы свои расширения UI с помощью Наложения. В наложении Вы указываете точку вставки своего UI относительно основной страницы браузера, browser.xul.
Извлеченный из основных страниц Firefox browser.xul мы имеем
<vbox id="appcontent" flex="1">
<tabbrowser id="content" disablehistory="true"
flex="1" contenttooltip="aHTMLTooltip"
contentcontextmenu="contentAreaContextMenu"
onnewtab="BrowserOpenTab();"
autocompletepopup="PopupAutoComplete"
ondragdrop="nsDragAndDrop.drop(event, contentAreaDNDObserver);"
onclick="return contentAreaClick(event, false);"
/>
</vbox>
и извлеченный из предыдущей версии файла Firebug browserOverlay.xul мы имеем
<vbox id="appcontent">
<splitter id="fbContentSplitter" collapsed="true"/>
<vbox id="fbContentBox" collapsed="true" persist="height">
<toolbox id="fbToolbox">
<toolbar id="fbToolbar">
<toolbarbutton id="fbFirebugMenu" type="menu">
<menupopup onpopupshowing="return FirebugChrome.onOptionsShowing(this);">
<menuitem label="&firebug.DisableFirebug;" type="checkbox"
oncommand="FirebugChrome.onToggleOption(this)" option="disabledAlways"/>
<menuitem type="checkbox"
oncommand="FirebugChrome.onToggleOption(this)" option="disabledForSite"/>
<menuitem label="&firebug.AllowedSites;" command="cmd_openFirebugPermissions"/>
<menuseparator/>
<menu label="&firebug.TextSize;">
<menupopup>
<menuitem label="&firebug.IncreaseTextSize;"
oncommand="Firebug.increaseTextSize(1)"/>
<menuitem label="&firebug.DecreaseTextSize;"
oncommand="Firebug.increaseTextSize(-1)"/>
<menuitem label="&firebug.NormalTextSize;" oncommand="Firebug.setTextSize(0)"/>
</menupopup>
</menu>
<menu label="&firebug.Options;">
<menupopup onpopupshowing="return FirebugChrome.onOptionsShowing(this);">
<menuitem type="checkbox" label="&firebug.AlwaysOpenInWindow;"
oncommand="FirebugChrome.onToggleOption(this)"
option="openInWindow"/>
<menuitem type="checkbox" label="&firebug.ShowTooltips;"
oncommand="FirebugChrome.onToggleOption(this)"
option="showInfoTips"/>
<menuitem type="checkbox" label="&firebug.ShadeBoxModel;"
oncommand="FirebugChrome.onToggleOption(this)"
option="shadeBoxModel"/>
</menupopup>
</menu>
<menuseparator/>
<menuitem label="&firebug.Website;" oncommand="Firebug.visitWebsite('main')"/>
<menuitem label="&firebug.Documentation;" oncommand="Firebug.visitWebsite('docs')"/>
<menuitem label="&firebug.Forums;" oncommand="Firebug.visitWebsite('discuss')"/>
<menuseparator/>
<menuitem label="&firebug.Donate;" oncommand="Firebug.visitWebsite('donate')"/>
</menupopup>
</toolbarbutton>
<toolbarbutton id="fbDetachButton" class="toolbarbutton-iconic"
tooltiptext="&firebug.DetachFirebug;" command="cmd_detachFirebug"/>
<toolbarbutton id="fbCloseButton" class="toolbarbutton-iconic"
tooltiptext="&firebug.CloseFirebug;" command="cmd_toggleFirebug"/>
</toolbar>
</toolbox>
<hbox id="fbPanelBox" flex="1"/>
<hbox id="fbCommandBox"/>
</vbox>
</vbox>
Заметьте, что оба блока разметки XUL запускаются с
<vbox id="appcontent".../>
Это - то, что использование механизма Геккона определить, как наложение совмещается со страницей, являющейся overlayed. При рассмотрении browserOverlay.xul, Вы будете также видеть другие точки вставки для commandset, statusbar
, и т.д.
Для получения дополнительной информации обратитесь к Центру разработки Mozilla.