Giriş

Robotik Yapay Zeka Görüşü (RAiV), yüksek düzeyde entegre bir stereo kameradır. RAiV, 3 boyutlu ölçümler alabilir, 3 boyutlu otomasyon yapabilir ve 3 boyutlu kalite kontrolü gerçekleştirebilir. RAiV, fabrika/atölye alanlarında kullanılmak üzere tasarlanmıştır. Bu kılavuz, RAiV'in nasıl kullanılacağı ve özelliklerine ilişkin bilgiler sunmaktadır.

Ana Özellikler

RAiV, esnek çok amaçlı bir kamera sistemi olarak tasarlanmıştır. Endüstriyel robotlar, otomasyon sistemleri, insansız kara araçları ve diğer 3 boyutlu görüntüleme gerektiren uygulamalarla kullanılabilir. RAiV, çeşitli uygulamalar için GigE, WiFi6, CanBus, RS-485 gibi veri arayüzlerine ve PWM ve genel amaçlı G/Ç gibi sinyal arayüzlerine sahiptir.

Aşağıdaki resimde elektrik ve mekanik bağlantı noktalarının konumları görülebilir:

Veri Hattı

RAiV'in ana yazılım özelliklerinden biri, kullanıcıların kendi Python kodlarını RAiV'e yükleyebilmeleridir. Özel Python kodları yükleyerek, kullanıcı istediği işlevselliği uygulayabilir. RAiV, yüklenen Python kodlarını kontrol eder ve bunları korumalı ortamda çalıştırır.

Kullanıcının Python kodu sürekli olarak yürütülür. Kod, veri hattından, elde edilen IMU örneklerini, stereo görüntüleri ve sinir ağı modeli çıktılarını her zaman alabilir. RAiV aşağıdaki veri hattına sahiptir:

Daha fazla bilgi için lütfen Robotic Ai Vision (RAiV) teknik detaylar sayfasına ve blogumuza bakın.

Yapılandırmak için lütfen aşağıdaki öğeleri hazırlayın:

• RAiV
• Kablolu ağ bağlantısı ve web tarayıcısı olan bir bilgisayar.
• Ethernet kablosu
• 12 veya 24VDC 2A güç kaynağı

1. Bilgisayarın kablolu ağ bağlantısını aşağıdaki parametrelere göre ayarlayın:

IP	192.168.10.2
Netmask	255.255.255.0
Gateway	192.168.10.1

2. Bilgisayarı doğrudan RAiV'e bağlayın.
3. RAiV web arayüzünü açın:
http://192.168.10.55

Uyarı

Buradaki talimatlar varsayılan ayarlara sahip bir cihaz içindir.

RAiV'e varsayılan ayarları yüklemek için, cihazın arkasında bulunan "Sıfırla" düğmesine yaklaşık 3 saniye boyunca (mavi ve turuncu ışıklar yanıp sönene kadar) basın. Ardından sıfırlama düğmesini bırakın ve cihazın yeniden başlatılmasını bekleyin.

• Erişim/şifre, ağ ve tarih-saat için admin olarak giriş yapın ve şu adımları izleyin:
RAiV Yapılandırması
• Kamera, yapay zeka, Python ve tanılama için user olarak giriş yapın ve şu adımları izleyin:
RAiV Kamera İşlemleri
RAiV Gelişmiş İşlemler
RAiV Tanılama İşlemleri

Yönetici ve kullanıcı için iki farklı web arayüzü düzeni vardır.

Yönetici Web Düzeni

Yönetici web arayüzünde bir ana panel bulunur. Yönetici, bu paneldeki düğmeleri kullanarak ayarlar arasında gezinebilir.

1. Panel görüntüleme seçimi için düğme seti

Kullanıcı Web Düzeni

Kullanıcı web arayüzünde beş panel bulunur.

1. Komutlar Paneli

Kullanıcı, bu paneldeki düğmeleri kullanarak istediği seçeneği seçebilir ve ayarlarını parametreler panelinde gösterebilir.

2. Parametreler Paneli

Seçilen seçeneğin parametreleri, ilgili düğmeleriyle birlikte burada gösterilir.

3. Görüntü Listesi Paneli

Bu panel, cihazın hafızasında saklanan görüntüleri gösterir. Kullanıcı, görüntüleri hafızaya almak için "Capture Frame" düğmesini veya "Collect Samples" düğmesini kullanabilir

Buradaki görüntüler, üzerlerine tıklanarak tek tek silinebilir, indirilebilir veya "Ekran Paneli"nde gösterilebilir

Buradaki tüm görüntüler silinebilir veya indirilebilir.

4. Ekran Paneli

Bu alan şunları görüntülemek için kullanılır:

• "Görüntü Listesi" panelinde seçilen görüntü
• Anlık Görüntü düğmesini kullanarak çekilen görüntü veya
• Canlı yayının çıktısı
5. Akış ve Sağlık Paneli

Bu panel, canlı h264 akışını başlatmak/durdurmak, sağlık raporunu görüntülemek ve sistem durumu göstergelerini görüntülemek için kullanılır.

Kullanıcı ve yönetici giriş adını ve şifresini değiştirmek için "ACCESS/PASSWORD" düğmesine tıklayın.

Kullanıcı ve/veya yönetici adı şifresini değiştirdikten sonra "Kaydet" düğmesine basın.

Ağ parametrelerini değiştirmek ve WiFi arayüzünü etkinleştirmek/devre dışı bırakmak için "NETWORK" düğmesine tıklayın.

Ağ ayarlarını değiştirdikten sonra "Kaydet" düğmesine basın.

"Tarih/Saat" düğmesine tıklayın Tarih ve saat ayarlarını değiştirin.

Geçerli tarih ve saat metin alanlarında gösterilir. Şunlardan birini yapabilirsiniz:

• Tarih/saati manuel olarak ayarlayın veya
• Bilgisayarın tarih ve saatini alanlara ayarlamak için "GET DATE/TIME" düğmesini kullanın.

Tarih ve saati değiştirdikten sonra "Kaydet" düğmesine basın.

Komut panelindeki "Camera Settings" düğmesine tıklayarak "Kamera Ayarları" parametre panelini açın.

Kaydırıcıları kullanarak veya kaydırıcıların altındaki metin değerlerini düzenleyerek "pozlama" ve "kazanç" değerlerini güncelleyebilirsiniz.

Kamera ayarlarını değiştirdikten sonra, değişiklikleri kaydetmek için "disket" düğmesine basın.

"Görüntü Listesi" paneli, kareleri yakalamak, indirmek ve silmek için kullanılır.

Panelde iki sekme bulunur. RAiV'de yalnızca "Train Images" paneli kullanılabilir. Görüntü listesi panelinde aşağıdaki düğmeler bulunur:

• Capture Frame: Bu düğme, stereo görüntü çifti yakalamak için kullanılır. Yakalanan görüntüler görüntü listesine eklenir. Kullanıcı, listedeki küçük resmine tıklayarak istediği yakalanan görüntüyü "ekran" panelinde görüntüleyebilir.
• Delete Image: Bu düğme, bir görüntüyü silmek için kullanılır. Görüntü listesinde silinecek görüntünün küçük resmine tıklayın ve bu düğmeye basın.
• Download Image: Bu düğme, bir resmi indirmek için kullanılır. Görüntü listesinden indirmek istediğiniz resmin küçük resmine tıklayın ve bu düğmeye basın. Resim tarayıcı tarafından indirilecektir.
• Download All Images: Bu düğme, görüntü listesindeki tüm resimleri bir "zip" dosyası olarak indirmek için kullanılır. Sadece bu düğmeye tıklayın ve zip dosyasının indirilmesini bekleyin.

RAM Kullanımı

Görüntüler, sıkıştırılmamış BMP dosya formatında bellekte saklanır. Her bir görüntünün boyutu yaklaşık 6,2 MB'tır. 75 stereo görüntü çiftinden (150 görüntü) oluşan bir koleksiyon için, sıkıştırılmış dosyanın boyutu yaklaşık 900 MB olacaktır. Zip dosyası indirme işlemi sırasında bilgisayarın RAM'inde saklandığı için, indirme işlemini gerçekleştiren bilgisayarın yeterli miktarda kullanılabilir RAM ve takas (swap) alanına sahip olması gerekir.

• Delete All Images: Bu düğme, resim listesindeki tüm resimleri silmek için kullanılır. Bu düğmeye tıkladıktan sonra bir uyarı iletişim kutusu görüntülenir ve tüm resimler silinmeden önce kullanıcının onayı istenir.

Komut panelindeki anlık görüntü (snapshot) düğmesine tıklandığında, diske kaydedilmeden bir stereo görüntü çifti yakalanır.

RAiV'in entegre bir donanım H264 kodlayıcısı vardır. Donanım H264 kodlayıcısı kullanılarak, mono veya stereo görüntüler tarayıcıya aktarılabilir.

Akış ve sağlık panelindeki "canlı" düğmesine tıklandığında, canlı bir h264 akışı oluşturulur ve tarayıcı, yakalanan mono veya stereo görüntüleri diske kaydetmeden görüntüler.

Komut panelindeki "AI Settings" düğmesine tıklayarak "AI Ayarları" parametre panelini açın.

The "Yapay Zeka Ayarları" parametre paneli şunları gösterir:

• Yapay Zeka Modelinin Dosya Adı
• Yapay Zeka Modelinin Yükleme Tarihi
• Yapay Zeka Modelinin Dosya Boyutu
• Yapay Zeka Modelinin Durumu
• Modelin Yapay Zeka İşlem Süresi (ms) (varsa)

"Yapay Zeka Ayarları" parametre panelinde üç düğme bulunur. Bu düğmeler, yapay zeka modelini silmek, yüklemek ve indirmek için kullanılır.

Yapay zeka modelini kullanmak için, kullanıcının düğmesine basarak serbest bırakması gerekir.

Kullanıcı, düğmesine basarak yüklenen yapay zeka modelini yayından kaldırabilir.

Komut panelindeki "IO Settings" düğmesine tıklayarak "IO Ayarları" parametre panelini açın.

RAiV, giriş ve çıkış pinlerinde Python kontrollü veya zaman kontrollü ve otomatik yanıt sağlar.

Bir IO pininin tetikleyicisi "Python" olarak tanımlanmışsa, kullanıcının Python kodu pine erişebilir ve girişini kullanabilir veya çıkışını değiştirebilir.

Giriş #1 "capture" olarak tanımlanmışsa, görüntü yakalama işlemi giriş #1 tarafından tetiklenir. Bu yapılandırma, sürekli görüntü yakalama yerine, harici bir sensörün yakalamayı başlatmak için bir sinyal gönderebildiği yüksek hızlı ortamlarda kullanışlıdır.

Eğer Çıkış #1 veya Çıkış #2 "Input #1" olarak tanımlanırsa, çıkış pinleri herhangi bir kullanıcı müdahalesi olmadan giriş #1'in sinyaliyle tetiklenir. Ayrıca, çıkış sinyallerinin gecikmesi ve süresi sırasıyla "Gecikme (ms)" veya "Süre (ms)" değerleri ayarlanarak belirlenebilir.

Kamera ayarlarını değiştirdikten sonra, değişiklikleri kaydetmek için "disket" düğmesine basın.

Dijital G/Ç pinlerine ek olarak, RAiV'de iki PWM pini de bulunur. Bu pinlere yalnızca kullanıcının Python kodu aracılığıyla erişilebilir ve kullanılabilir.

Komut panelindeki "Python Settings" düğmesine tıklayarak "Python Ayarları" parametre panelini açın.

RAiV, kullanıcının Python kodlarını korumalı bir ortamda çalıştırabilir. "Python Ayarları" parametre paneli şunlar için kullanılır:

• Kullanıcının Python kodunun durumunu kontrol etme
• Kullanıcının Python kodu verisi Besleme Aralığı (ms) değerini ayarlama
• Kullanıcının Python kodunun, simgesi kullanarak, yürütülmesini etkinleştirme veya devre dışı bırakma
• Kullanıcının Python kodunun Konsol Çıktısını alma.

Komutlar panelindeki "Python Settings" düğmesine tıklayın ve "Python Ayarları" parametreler panelini açın.

Collect Samples, görüntüleri cihazın dahili belleğine kaydederek indirme ve yapay zeka modeli eğitimi veya Python kod geliştirme gibi harici çevrimdışı işleme için kullanılır.

Örnek toplamaya başlamak için, örnek toplama onay kutusunun etkinleştirilmesi gerekir. Onay kutusunu etkinleştirdikten sonra, kullanıcı ve düğmelerini kullanarak örnek toplamayı başlatabilir ve durdurabilir.

Toplanan görüntü ve yapay zeka modeli çıktı örnekleri düğmesine basılarak indirilebilir.

Toplanan görüntü ve yapay zeka modeli çıktı örnekleri düğmesine basılarak silinebilir. Bu düğme yalnızca toplanan örnekleri siler, Capture Frame ile yakalanan görüntüler üzerinde hiçbir etkisi yoktur.

Komut panelindeki "Python Deployment" düğmesine tıklayarak "Python Konuşlandırma" parametreler panelini açın.

Python Konuşlandırma paneli, yüklenen Python dosyalarının dosya adını, dosya boyutunu ve yükleme tarihini görüntüler.

Python Konuşlandırma panelinde aşağıdaki düğmeler bulunur:

• Python Dosyası Yükle: Bu düğme, tek bir Python dosyasını yüklemek için kullanılır.
• Python Dosyası İndir: Bu düğme, bir Python dosyasını indirmek için kullanılır. Yüklenen Python dosyaları listesinden indirilecek dosyayı tıklayın ve bu düğmeye basın. Python dosyası tarayıcı tarafından indirilir.
• Tüm Python Dosyalarını İndir: Bu düğme, yüklenen tüm Python dosyalarını "zip" dosyası olarak indirmek için kullanılır. Bu düğmeye tıklayın ve zip dosyasının indirilmesini bekleyin.
• Python Dosyasını Sil: Bu düğme, bir Python dosyasını silmek için kullanılır. Yüklenen Python dosyaları listesinden silinecek dosyaya tıklayın ve bu düğmeye basın.
• Tüm Python Dosyalarını Sil: Bu düğme, yüklenen tüm Python dosyalarını silmek için kullanılır. Bu düğmeye tıkladıktan sonra bir uyarı iletişim kutusu gösterilir ve tüm Python dosyaları silinmeden önce kullanıcının onayı gereklidir.

Tanılama amacıyla, RAiV Sağlık Raporu oluşturabilir. Sağlık raporu, akış ve sağlık panelinin sağ tarafındaki simgesine tıklanarak oluşturulabilir.

Sağlık raporu şunları içerir:

• Kamera Ayarları
• Yapay Zeka Parametreleri
• Giriş/Çıkış Ayarları
• Python Ayarları
• Yüklenen Python dosyalarının listesi
• Yakalanan görüntülerin listesi
• Sistem durumu

Tanılama amacıyla, RAiV canlı Sistem Durumunu görüntüleyebilir. Sistem durumu, akış ve sağlık panelinin sağındaki simgesine tıklanarak görüntülenebilir.

Sistem durumu şunları içerir:

• CPU Kullanım Yüzdesi
• RAM Kullanım Yüzdesi
• Disk Kullanım Yüzdesi
• CPU Sıcaklığı
• IMU Sıcaklığı

"USB Debug" seri portunu yapılandırmak ve standart çıktıyı (stdout) USB Debug portuna yönlendirmek için bir Python yardımcı modülü.

import qCU_Serial
# Enable output to serial
qCU_Serial.qcu_print_enable()
print("Hello Serial") # Appears on screen and serial

import qCU_Serial
qCU_Serial.qcu_print_disable()
print("Back to normal")

TCP/IP soketleri üzerinden JSON kodlu veri iletmek için kullanılan bir Python ağ modülü. Uzunluk öneki başlığı ve yük protokolü ile istemci ve sunucu işlevlerini içerir.

import qCU_Net
data = {"cmd": "start", "val": 100}
qCU_Net.send_data_to_server("127.0.0.1", 5000, data)

import qCU_Net

# Sample implementation of a json payload handler 
def sample_json_handler(client_socket, json_payload, client_address):
    print(f"Custom handler called for client {client_address}")
    print(f"Received payload: {json_payload}")


# Start the TCP server with sample json handler
qCU_Net.start_tcp_server(host='192.168.10.55', port=12345, json_handler=sample_json_handler)

# Sample implementation of a json payload handler 
def sample_json_handler(client_socket, json_payload, client_address):
    print(f"Custom handler called for client {client_address}")
    print(f"Received payload: {json_payload}")
    
    # Define payload in json format
    payload = {
        "status": 1
    }
    
    # Send payload to client
    qCU_Net.send_response_to_client(client_socket, payload);

Stereo kamera karelerini, yapay zeka modeli çıktılarını ve IMU verilerini içeren paylaşımlı bellek tamponlarına erişmek için bir Python arayüz modülü. Bu sınıf, bellek arayüzünü başlatmak, kare, yapay zeka çıktısı ve IMU verilerini almak ve stereo kamera kalibrasyon parametrelerini elde etmek için yöntemler sağlar.

H.264 donanım kodlayıcısını etkinleştirmek ve devre dışı bırakmak ve modunu (mono veya stereo) ayarlamak için bir Python yardımcı modülü.

Kazanç ve pozlama süresi gibi kamera donanım parametrelerini kontrol etmek için Python arayüz modülü. Ayarları dinamik olarak ayarlamak için altta yatan kamera sürücüsüyle iletişim kurar.

GPIO (Genel Amaçlı Giriş/Çıkış) pinleri ve PWM (Darbe Genişliği Modülasyonu) sinyalleri üzerinde kontrol sağlamaya yarayan donanım için Python arayüz modülü.

Eklenecek Dokümantasyon.

Eklenecek Dokümantasyon.

Eklenecek Dokümantasyon.

Eklenecek Dokümantasyon.