基于 TI AM62 测试 QtWayland 部署
1). 简介
目前主流的 ARM 平台嵌入式 Linux BSP 的显示后端基本都已经从 X11 升级到了 Wayland， 而常用的 Wayland Compositor - Weston 对于 Linux 下常用的 Qt 图形界面开发框架的一些 Plugin (比如 Qt VirtualKeyboard) 的配合并不完善，因此本文就基于 TI AM62 处理器平台测试 Qt 提供的 Wayland Compositor - QtWayland 的部署测试。
本文所演示的平台来自于 Toradex Verdin AM62 嵌入式平台。
2. 准备
a). Verdin AM62 ARM核心版配合Dahlia 载板，并连接调试串口和 HDMI 显示器以及 USB 触摸/鼠标用于测试。
3). Verdin AM62 Yocto Linux 编译部署以及配置
a). 由于需要增加对Qt Eglfs/KMS, QtWayland 和 Qt VirtualKeyboard 的支持，需要通过Yocto/Openembedded 框架重新编译 Yocto Linux BSP，具体的配置方法请参考这里，部署如下修改后编译Reference-Multimedia image镜像
-------------------------------
### local.conf，增加Qt eglfs/kms, Qtwayland 和 Qt VirtualKeyboard 支持 ###
+ TOOLCHAIN_TARGET_TASK:append = " libgles3-mesa-dev"
+ IMAGE_INSTALL:append = " qtvirtualkeyboard qtwayland ttf-droid-sans ttf-droid-sans-fallback ttf-droid-sans-mono ttf-droid-serif freetype"
+ PACKAGECONFIG:append:pn-qtvirtualkeyboard = " lang-zh_CN"
+ PACKAGECONFIG:append:pn-qtbase = " gles2extra eglfs kms"
+ PACKAGECONFIG_DISTRO:pn-qtbase = "icu examples accessibility gif gbm kms libinput"
+ PACKAGECONFIG_FONTS:pn-qtbase = "fontconfig"
+ PACKAGECONFIG:remove:pn-qtwayland = "xcomposite-egl xcomposite-glx"
### layers/meta-toradex-ti/qt5-layer/recipes-qt/qt5/qtbase_%.bbappend，注释掉以下内容 ###
############################### TDX added
# from meta-arago/conf/layer.conf
-PACKAGECONFIG_GL:am62xx = "gles2extra linuxfb"
-PACKAGECONFIG_DISTRO:am62xx = "icu examples accessibility gif gbm kms libinput"
-PACKAGECONFIG_FONTS:am62xx = "fontconfig"
+#PACKAGECONFIG_GL:am62xx = "gles2extra linuxfb"
+#PACKAGECONFIG_DISTRO:am62xx = "icu examples accessibility gif gbm kms libinput"
+#PACKAGECONFIG_FONTS:am62xx = "fontconfig"
-PACKAGECONFIG:remove:am62xx = "kms"
-PACKAGECONFIG:remove:am62xx = "vulkan"
-PACKAGECONFIG:remove:am62xx = "glib xcb"
+#PACKAGECONFIG:remove:am62xx = "kms"
+#PACKAGECONFIG:remove:am62xx = "vulkan"
+#PACKAGECONFIG:remove:am62xx = "glib xcb"
# they don't apply without changes, drop them for now
-SRC_URI:remove = " \
- file://0002-deform-disable-opengl-button.patch \
- \
- file://0001-deform-Fix-how-controls-are-shown.patch \
- file://0001-qtbase-plugins-platforms-eglfs_kms-fix-compiler-erro.patch \
- file://0001-eglfs-Force-888-format-only-on-env-flag.patch \
-"
+#SRC_URI:remove = " \
+# file://0002-deform-disable-opengl-button.patch \
+# \
+# file://0001-deform-Fix-how-controls-are-shown.patch \
+# file://0001-qtbase-plugins-platforms-eglfs_kms-fix-compiler-erro.patch \
+# file://0001-eglfs-Force-888-format-only-on-env-flag.patch \
+#"
### compile Reference-Multimedia image ###
$ MACHINE="verdin-am62" bitbake bitbake tdx-reference-multimedia-image
### compile SDK ###
$ MACHINE="verdin-am62" bitbake tdx-reference-multimedia-image -c populate_sdk
-------------------------------
b). Yocto Linux image部署
参考这里通过Toradex Easy installer将上面编译好的image更新部署到模块
c). 显示配置
./ HDMI默认即可正常显示，如果实际测试是连接其他接口如 LVDS 等显示设备，可以参考这里调整 Device-Tree Overlay 设置来使能相关的显示设备。
./ 输入设备如 USB HID 电容式触摸或者 USB 鼠标通常无需额外设置，插上即可使用。
4). Qtwayland compositor 编译部署
a). Qt Qtwayland组件可以非常方便的使用C++/QML语言开发定制化的Wayland compositor，详细说明请见这里，也提供了很多sample project供参考
b). 本文测试所使用的Qtwayland compositor 来自于Qt 官方的 Pure-qml sample 示例，源代码请参考这里，这是一个基于 QML 开发的并且支持 Qt VirtualKeyboard plugin 的简单 Qtwayland compositor
c). 参考这里说明使用上面章节 3.a编译出的SDK文件配置 Qtcreator IDE 工具交叉编译环境，然后下载 Pure-qml 工程源代码后通过 Qtcreator IDE 进行交叉编译，生成 pure-qml 可执行二进制文件上传到 Verdin AM62 Linux 系统中
d). 使用编译好的 pure-qml Qtwayland compositor 替换系统默认的Weston compositor
./ 创建pure-qml.sh执行脚本文件
-------------------------------
# copy pure-qml binary to /usr/bin
$ cp pure-qml /usr/bin/
# create pure-qml.sh script, detailed content in below
$ vi /usr/bin/pure-qml.sh
# add executable permission
$ chmod +x pure-qml.sh
-------------------------------
./ pure-qml.sh – 由于系统 DRM 挂载显示设备在启动过程中，其对应的 card 号码可能会变化， 因此脚本前面先对 “kms.conf” 文件里面的设置和系统启动后的设备card0 或者 card1 进行匹配修改，然后再启动compositor。
-------------------------------
#!/bin/sh
set -e
# modify kms.conf if seetings is not consistent with system drm card device name
if [ -d /sys/class/drm/card0-HDMI-A-1 ];then
sed -i '2 s/card1/card0/' /etc/qt5/eglfs_kms_cfg.json
fi
if [ -d /sys/class/drm/card1-HDMI-A-1 ];then
sed -i '2 s/card0/card1/' /etc/qt5/eglfs_kms_cfg.json
fi
# execute qtwayland compositor
/usr/bin/pure-qml &
-------------------------------
./ 创建Qtwayland systemd service 文件，参考这里说明，Qt VirtualKeyboard 基于 Wayland Compositor 使用时候，需要在 Compositor 侧配置 “QT_IM_MODULE” 环境变量，而不是应用侧。
-------------------------------
$ vi /lib/systemd/system/qtwayland.service
------
# This is a system unit for launching QtWayland
[Unit]
Description=Qt Wayland, a Wayland compositor, as a system service
RequiresMountsFor=/run
# Make sure we are started after logins are permitted.
Requires=systemd-user-sessions.service
After=systemd-user-sessions.service
After=plymouth-quit-wait.service
Before=graphical.target
[Service]
Environment="QT_QPA_EGLFS_KMS_CONFIG=/etc/qt5/eglfs_kms_cfg.json"
Environment="QT_QPA_EGLFS_INTEGRATION=eglfs_kms"
Environment="QT_QPA_PLATFORM=eglfs"
Environment="QT_QPA_EGLFS_KMS_ATOMIC=1"
Environment="QT_IM_MODULE=qtvirtualkeyboard"
ExecStart=/usr/bin/pure-qml.sh
User=root
Group=root
PAMName=login
StandardOutput=journal
StandardError=journal
[Install]
WantedBy=graphical.target
------
-------------------------------
e). 测试Qtwayland compositor
-------------------------------
### disable default Weston compositor and Qt demo app ###
$ systemctl disable weston.service
$ systemctl disable weston.socket
$ systemctl disable wayland-app-launch
### enable Qt wayland compositor ###
$ systemctl enable qtwayland
$ reboot
-------------------------------
重启后，可以看到如下 Qt Compositor pure-qml 显示结果
5). Qt VirtualKeyboard Example应用测试
a). 分别使用一个Qt Widget应用和一个Qt Quick应用进行测试
./ Qt Widget应用 – Line Edits Example，详细说明请参考这里，源码从这里下载，将编译好的可执行binary “lineedits” 上传到 Verdin AM62 Linux /home/root 目录
./ Qt Quick 应用 – Qt VirtualKeyboard Basic Example，详细说明请参考这里，源码从这里下载，如上面 4.d 章节所提到的，需要如下修改 main.cpp 将环境变量取消导出，然后将编译好的可执行binary “basic” 上传到 Verdin AM62 Linux /home/root 目录
-------------------------------
...
int main(int argc, char *argv[])
{
//qputenv("QT_IM_MODULE", QByteArray("qtvirtualkeyboard"));
QGuiApplication app(argc, argv);
QQuickView view(QString("qrc:/%2").arg(MAIN_QML));
...
}
-------------------------------
b). 创建应用启动脚本 /home/root/qtwayland-app-launch.sh
-------------------------------
#!/bin/sh
# export display environment
export XDG_RUNTIME_DIR=/run/user/`id -u`
export WAYLAND_DISPLAY=/run/user/`id -u`/wayland-0
if ! test -d "$XDG_RUNTIME_DIR"; then
mkdir --parents $XDG_RUNTIME_DIR
chmod 0700 $XDG_RUNTIME_DIR
fi
# wait for qtwayland
while [ ! -e $XDG_RUNTIME_DIR/wayland-0 ] ; do sleep 0.1; done
sleep 1
# run basic or lineedits app
/home/root/basic -platform wayland &
#/home/root/lineedits -platform wayland &
-------------------------------
c). 创建开机自启动systemd service文件
-------------------------------
$ vi /lib/systemd/system/qtwayland-app-launch.service
[Unit]
Description=Start a Qt wayland application
After=qtwayland.service
Requires=qtwayland.service
[Service]
Restart=on-failure
Type=forking
ExecStart=/home/root/qtwayland-app-launch.sh
RestartSec=1
[Install]
WantedBy=graphical.target
-------------------------------
d). enable service 并测试
-------------------------------
$ systemctl enable qtwayland-app-launch
$ reboot
-------------------------------
e). 重启后分别启动 basic 和 lineedits 应用效果如下，USB HID 电容触摸和鼠标都可以正常操作虚拟键盘输入
6). 总结
本文基于 Ti AM62 处理器演示了 QtWayland compositor 的部署以及 Qt VirtualKeyboard 应用的测试。
投诉建议
提交
Verdin AM62 LVGL 移植
基于 NXP iMX8MM 测试 Secure Boot 功能
隆重推出 Aquila - 新一代 Toradex 计算机模块
Verdin iMX8MP 调试串口更改
NXP iMX8MM Cortex-M4 核心 GPT Capture 测试