[HDD/HDDOSD] HDLGameInstaller

[ShaoliAss]

Petite review rapide et sans prétention à l’exhaustivité d'une appli sortie ce mois de juillet 2013 : HDLGameInstaller, par SP193 , qui a nécessité deux ans de développement. L'appli est actuellement en Open Beta Test sur PSX-Scene.

 

SP193, à qui l'on doit notamment PS2ESDL, l’installateur non officiel de FMCB 1.8c, contributeur pour OPL, et qui a la charge du développement futur de FMCB. Entre autres.

 

 

HDLGameInstaller, c'est quoi?

 

C'est premièrement un installateur d'image de jeux via le réseau (un peu comme HDLDumx), mais c'est surtout un utilitaire permettant de rendre bootables vos jeux depuis le navigateur PS2 (navigateur 2.0 requis) exactement comme s'ils étaient des DLC du PSBBN.

 

Il repose sur le projet nommé miniopl (toujours par SP193 et I_Oliveira). Miniopl, c'est en gros OPL sans son GUI, et qui une fois injecté dans la partition de votre jeu le rend jouable et bootable depuis l'HDDOSD.

 

 

HDDOSD? Navigateur 2.0? C'est quoi?

 

Le navigateur 2.0, ou plus communément appelé HDDOSD sur les forums anglophones, est une version plus récente du navigateur de la PS2 que celle que nous connaissons (qui est en 1.4). Il permet d'avoir un accès direct au contenu du disque dur (dossier de sauvegarde des saves et DLC).

 

 

Celui ci s'installe de deux façons :

 

1) depuis l'HDD Utility Disc de sony.

 

 

A noter que la zone PAL n'a jamais eu cet Utility disc, il n'en n'existe que des versions US et JPN (Cette restriction n'existe plus depuis 2011 environ )

 

2) depuis une image (dump) d'un disque dur ayant ce navigateur.

 

 

Et HDLGameInstaller dans tout ça?

 

J'y viens

 

HDLGameInstaller est l'outil qui permet de rendre l'HDDOSD utilisable par tous. En effet, il ne suffit pas d'avoir le navigateur 2.0 installé pour lancer ses jeux depuis, il faut aussi qu'ils soient bootables, ce qui se faisait dans un premier temps à l'éditeur hexadécimal. Bref, fallait savoir ce qu'on faisait.

 

HDLGameInstaller nous simplifie grandement la tâche. Il est possible de configurer simplement les lignes d'affichage du nom des jeux sur l'HDDOSD, de personnaliser les icônes des jeux... directement depuis votre PS2. A noter que les modes de compatibilité d'OPL sont également supportés, malgré l'absence de GUI pour OPL.

 

 

HDLGameUpdater?

 

HDLGameUpdater est une petite appli permettant de mettre à jour la version de miniopl injectée dans la partition, au cas où celle de l'installateur ne fonctionnerait pas avec votre jeu.

 

 

En résumé, les avancées récentes permettent maintenant ce que Sony planifiait sans doute pour la PS2 et qui n'a malheureusement jamais vu le jour.

 

On finit avec une vidéo, qui nous montre tout ça en images.

 

 

 

Changelog :

 

 

v0.809A - 2016/09/24

*Updated to use the new NETMAN module.

*Updated to use the new HDD module.

 

v0.809 - 2015/12/16

*Updated to install OPL v0.9.3.

*Updated to build with the latest PS2SDK revision and to have the fixes from it.

*Fixed layer break value calculation.

*Added support for reconnecting to resume an incomplete installation by the client.

*Changed game list reading to read the HDLoader game information directly with a devctl call, to work around the performance issues that the APA driver struggles with when dealing with a HDD containing many partitions.

 

v0.808 - 2014/06/23

*Updated to work properly with the modern PS2SDK.

*Ported the fixes to the PS2SDK over.

*Corrected old mistakes that led to an insufficiently aligned buffer being used for I/O operations with the HDD.

*Increased the size of the buffer that contains the path of the savedata icon, which is used during installations.

*Changed the icon selector's colour to light red and increased its opacity.

*Added memset() statements to initialized uninitialized values. This gives a cleaner installation.

*Fixed the problem with garbage appearing within the OSD title line 1 and 2 fields, whenever the icon data is missing.

*Corrected logic errors within the icon loading code.

*Greatly increased the number of buffers used by APA, which greatly improves performance when the list of games is generated.

*Enhanced data receiving and transmission code, to totally eliminate the a possibility of errors occuring because the packet header is partially transferred (regardless of whether it's currently even possible or not).

*Corrected a mistake within HDLFS: offset 4 is unused, while offset 6 of the HDLoader game partition structure is probably a version field and 0x1337 should not be set there. Thanks to l_Oliveira!

*Increased the server stack size, since it was overflowing.

*Updated DISKLOAD to Open PS2 Loader commit 025a6bb.

 

v0.807 - 2013/08/25

*Updated HDLFS to flush the HDD cache when the partition is unmounted. While this probably does nothing (The cache won't be used if normal READ/WRITE SECTOR commands are used, will it?), I'm doing it to comply with Sony's specifications.

*Updated art assets.

*Increased the stack size of the client thread, since the server was freezing up on my SCPH-10000 whenever savedata icon is used for the installation.

*Added a semaphore that prevents a remote installation from taking place, while a game is being installed locally on the PS2.

*This program can now be booted from the HDD... as long as it isn't launched by uLaunchELF (uLaunchELF doesn't specify the full path to the program, when it's launched from the HDD).

*The HDD unit will no longer be switched off when the program quits.

 

v0.806 - 2013/08/04

*Updated ATAD module (PS2SDK update).

*Fixed installation of games that are 4GB or larger in size, on disks that are larger than 250GB.

*Added a partition slice limit to HDLFS, as I forgot that the HDLoader game format uses a 32-bit value to record the size of each slice (4GB partition parts are the largest it can support).

*Removed old, broken code from HDLFS which automatically adjusted the size of the game as data is written. To begin with, it doesn't do anything because the size of the game is recorded during formatting and can't be adjusted afterwards. It was originally there to make its write function behave like how the the standard write function would behave when data is written to beyond the end of the file.

*Fixed the installation of the 2nd layer (of DVD9 games) from HDLGManClient. Please reinstall your DVD9 games that were installed via HDLGManClient!

*Tidied up the server functions.

*Fixed the logic of the connection state checking functions of HDLGManClient (Should now report client-server version mismatches properly).

*Modified HDLGManClient to report connection losses instead of stating that the operation failed (Makes things less confusing for the user, as some connection-related problems resulted in error messages that suggested a hardware problem).

 

v0.805R - 2013/07/26

*Added Portuguese localization.

*Updated Japanese localization.

*Increased TCP window size to 65535 bytes and the FileXIO RPC I/O buffer to 512KB, for enhanced performance.

*The startup device will now be checked, and the program will quit if it was started from an unsupported device.

*The program will now quit if the resource files (e.g. fonts) cannot be loaded, instead of getting stuck at a black screen.

 

v0.805 - 2013/07/23

*Added French localization.

*Updated SMAP driver.

*Removed calls to sceCdStandby() and sceCdDiskReady() within ShowWaitForDiscDialog(), to prevent the program from freezing up on newer consoles if a disc is not inserted. sceCdGetDiscType() is the right way to determine whether a disc is inserted or not.

*Corrected the GP saving and restoration macros within CrashReporter.c.

*Updated Diskload/Mini OPL to the latest revision.

*Changed optimization mode to Os.

*With the update to fileXio in the PS2SDK, the I/O buffer of fileXio has been set to 128KB.

 

v0.804 - 2013/07/18

*Updated the SMAP driver (See the PS2SDK update for today).

*Updated the network status screen to display the MAC address and data that will probably help network debugging.

*The Ethernet link speed and duplex settings can now be specified manually.

*Removed power-off interrupt handling, since installations should not be interrupted. The power button will not be usable unless the program ends. The console may still be switched off remotely from the PC client, however.

*Added support for pad button repeat delay.

*Fixed misnamed German localization files.

*Adjusted initialization code, since the homebrew I/O functions are not multi-thread safe. The UI will be initialized outside of the initialization thread, and the drivers that provide access to the supported bootup devices will be loaded before the initialization thread starts too.

 

v0.803 - 2013/07/17

*Updated the SMAP driver (See the PS2SDK update for today).

*Added a display for the link state and transfor mode to the network status screen.

*The network status screen can now be accessed from the remote connection status screen as well.

*Re-enabled program optimization. I made a change to the Makefile of v0.802, but forgot that optimization is disabled by default.

*Added Dutch localization.

 

v0.802 - 2013/07/14

*The compatibility mode flags were being set and loaded from the HDL compatibility mode flags field. Should have been the OPL flags.

*Changed the images from bitmaps to PNG images, to save space.

*Cleaned up ShowMessageBox().

*Added the German, Italian and Spanish localizations.

*Updated mini OPL/diskload to the latest version from Bitbucket, as of today's commit.

 

v0.801 - 2013/07/12

*Added a network status screen (Press SELECT to access it).

*Games are now adjusted by pressing the CIRCLE button at the main menu instead of SELECT.

*Fixed the loading of the IP address configuration. The file size was being retrieved from the wrong call to lseek().

*Cleaned up IP address parsing code to remove the compiler warning.

 

v0.800 - 2013/07/10

*Updated strings and labels.

*Updated credits.

*First public release.

 

v0.705 - 2013/07/09

*Updated strings and labels.

*Added a call to PollSema before the actual call to WaitSema is made within SyncFlipFB(). That way, the screen won't be redrawn prematurely before a VBlank start event occurs.

*Added a call to SyncFlipFB() before the VRAM memory clear in UploadDefaultResources(), to send too unsent DMA tags to the GS. gsKit sometimes crashes because gsKit_send() assumes that the DMA tag buffer is empty.

 

v0.704 - 2013/07/07

*Updated the UI to support multi-languages.

*Font file is no longer embedded within the program, since not all characters within the font are required at all times.

*FreeType support now includes support for a sub-font, so that Japanese characters can be displayed at all times (alongside the language used for the UI).

*Changed DejaVuSans to DejaVuSerif, as the former seemed to be causing a bus error whenever the 'W' letter is attempted to be loaded (Fault lies within FreeType, but this is a workaround). D:

*Updated UI to be clearer and easier to use (e.g. buttons were enlarged and the entire button is highlighted instead of just the text).

 

v0.703 - 2013/07/02

*Added a filter that converts full-width ASCII characters to just ASCII characters.

*Improved the algorithm that selects the sizes of partitions to create, in order to minimize space wastage.

*With the updated bin2o from the PS2SDK, bin2o is now used in favour of bin2c.

*Adjusted the font size and positioning, along with the positions of the legend icons.

*Added a folder to the documents folder that will contain the licenses of the 3rd party resources used.

 

v0.702 - 2013/06/19

*Converted the system to use UTF-8 in its client<->server data exchanges.

*Converted the system to save the game's full titles as UTF-8 titles.

*Converted the system to use Unicode (wide characters) internally.

*Fixed up the FreeType font support code (Reinitialization code didn't re-upload the CLUT, and there was a general lack of error checking code).

*Cleaned up the code that uses those GAME_TITLE_MAX_LEN* and OSD_TITLE_MAX_LEN* definitions, since they shouldn't be used with anything not related to processing titles for the HDDOSD. (Memory Card titles are a different case and should not use these definitions)

*Copied the clock month field fix for the IOP HDD module over from the PS2SDK.

*Added a device polling thread to suppliment the save data device selection menu.

 

v0.701 - 2013/06/12

*Added a prototype system that automatically wraps the text in dialog boxes.

*Temporarily disabled Japanese character input support in the soft keyboard in an attempt to debug it.

*Changed the font system to FreeType.

 

v0.700 - 2013/04/29

*Disabled the building of crc16.o as logo decryption has been disabled.

*Changed how the HDLoader game titles are set or changed, to solve the problem where by reserved characters (e.g. a colon character) cannot be used in game titles.

 

v0.68 - 2013/04/27

*Fixed up the init default OSD resources command on the server, since it wasn't initializing the OSD resource configuration context structure (results in undefined behaviour as some of its fields contained undefined values). This affected the editing of game installations from the client.

*Increased the character limit of the main game title to 80 characters (80xSJIS characters=160 bytes).

*Standardized the title length definitions across the source code of the client and server/installer.

*Modified the soft keyboard to support strings that are longer than the keyboard's display.

*Added a cancel button to the client, so you may now cancel ongoing game installations.

*Incomplete game installations that were initiated by a remote client are now removed when an installation either fails or is aborted.

 

v0.67B - 2013/04/26

*Fixed program logic when the user cancels an operation.

*Modified the menu functions to accept paged menus, but this is not in use.

*Continued working on Japanese input support. No Kanji support yet, sorry (too much work to load ATOK and test it properly, so I'll have to leave it to someone else).

*Added a icon preview function. Icons that cannot/should not be displayed will simply not be displayed. It won't play animations as I can't figure out how they are to be played, plus it's horribly bugged in a way (Most icons have their vertices screwed up horribly) that I can't and won't fix due to the intensity of my current involvement in this project. I'm not from the digital design/development track, so please help!

*Corrected some of the legend icons.

*Updated diskload/mini OPL.

 

v0.67A - 2013/04/12

*Unified the functions in both the install and edit functions that install OSD icons and which only update the OSD title strings.

 

v0.67 - 2013/04/11

*Cleaned up code.

*Upgraded text encoding conversion functions.

*Removed remote client disconnection function as that conflicts with the multithreaded nature of the TCP/IP stack.

 

v0.66 - 2013/03/13

*Added new, GUI-based, remote administation tool.

*Improved overall stability (Many, many bug fixed yet again).

*Added icon source selection support on both the remote administation tool and the server itself.

*Fixed FONTM. The issue with character corruption has been solved, although some minor artefacts still remain (Probably a different issue).

 

v0.65 - 2013/03/04

*Added working network support.

*Added support for SJIS (JIS X 208 compliant) font display (rom0:FONTM).

*Fixed SJIS character support.

*Fixed SJIS -> Unicode conversion.

*Split off the main game title from the OSD title, so that the user can have more choices.

*Embedded the OSD resources into the main ELF.

*Changed how the system is initialized at startup.

*Split off the UI code from the business logic, to make the installation faster.

*Fixed bugs related to the capacity calculation of the partitions, which affects how the installer would determine the sizes of the partitions to create.

*Fixed HDLFS, as the formatting code had the same calculation issues above as the capacity calculating code.

*Added support for lseek() in HDLFS.

*Reverted how mount(), open(), close() and unmount() worked in HDLFS, as an APA partition can be mounted (Opposed to the entire disk, which may contain other partitions formatted with a different filesystem).

*Added DEVCTL commands into HDLFS to facilitate better game property management.

*Fixed icon conversion as some parameters were not converted.

*Changed how the icon.sys file is generated, to reduce redundant code and to allow functions that parse and rebuild icon.sys to be implemented.

*Added an ETA indicator onto the game installation screen.

*Modified how the game list is loaded and maintained in the UI, as the game list may be updated remotely.

*Fixed how icons are checked for in existing game saves.

*The common IRX modules are now referenced from the PS2SDK directly and are no longer bundled as part of this source package.

 

*** Start of log file (previous changes were really great in number and mostly forgotten anyway) ***

 

 

Topic officiel (avec lien de téléchargement) : psx-scene.

 

Dernière version au 24/09/2016 : v0.809A.

Modifié le 24 septembre 2016 par ShaoliAss

[krHACKen]

Salut !

 

Pour les HDD Utility Disc, ça serait plutôt ça : 1.00J, 1.00U et 1.10U.

L'image qui illustre la news est celle du Utility Disc 1.00 JAP (PBPX-95201) qui installe uniquement le DVD Player version 1.00J sur les V0 (et qui est banni via le MechaCon sur toutes les autres bécanes). Mais bon, plus grand monde utilise les disques originaux hein:D ?

 

Est-ce que quelqu'un a poussé les installations des partitions HDL jusqu'au lag du HDDOSD ? Je serais intéressé par vos retours à ce sujet, vu que je n'ai pas eu beaucoup de rapports et que c'est un problème qui reste encore très flou.

[ShaoliAss]

Salut !

 

Pour les HDD Utility Disc, ça serait plutôt ça : 1.00J, 1.00U et 1.10U.

L'image qui illustre la news est celle du Utility Disc 1.00 JAP (PBPX-95201) qui installe uniquement le DVD Player version 1.00J sur les V0 (et qui est banni via le MechaCon sur toutes les autres bécanes). Mais bon, plus grand monde utilise les disques originaux hein:D ?

 

 

 

Oooopss... corrigé! Merci!

[ShaoliAss]

Petit test ce matin de la fonction Personnaliser l'icone sur le nav 2.00 grace à l'outil HDLGameInstaller. Verdict : le nav m'a charcuté l'icone.

 

Je suis parti de qq chose de simple, un dégradé + qq lueurs internes sous PS. QQ chose de sobre :

 

 

 

Le résultat est très médiocre (preview sous PS2 Save Builder, le résultat est le même sous le nav) :

 

 

Effets de color-banding, icone retaillée en hauteur. Bref, déçu. Va falloir que j'approfondisse ça.

Modifié le 31 juillet 2013 par ShaoliAss

[ShIn_MeGaMi]

Quoi que c'est déjà un bon début

[Subaru-San]

Et c'est toujours "uniquement" pour les 40GO sony ? Ou est-ce qu'on peut enfin mettre le hdd que l'on veut ?

[g.t.o]

Tu peut utilisé l'osd 2.00 cracké avec n'importe quel dd , ( mais j'ai eu des souci avec un 40go maxtor , mais c'est un dd qui avait un probléme de mbr)

 

 

Citation:

Envoyé par g.t.o

Boot de la console trés long , 10 seconde sur sony computer entrainement , et 15 seconde d'écran noir (le dd ce lance et cherche) , puis navigateur classic ,

En général ce sont les HDD UDMA33/UDMA66 qui font ça. D'après les maigres résultats que j'ai eu en Googlant le modèle de ton HDD, ça serait un UDMA133 donc compatible.

 

 

 

Mais c'est en 28bit donc 137go max , les version 48bit sont fortement déconseiller

 

Perso, je conseillerais aux gens de ne pas installer les daubes qui viennent de the ISO zone (sauf si ça provient de AkuHAK, qui lui est un expert concernant le PSBBN et fait des releases décentes). Ce qu'on trouve sur the ISO zone (en "dump de HDD"), ce sont des trucs basés sur des images de test et modifiés par des n00bs qui on fait n'importe quoi avec.

Par exemple, le soi-disant "48-Bit HDD OSD" est un truc que j'avais vomi sur ASSEMblergames pour faire une démo publique de ce que pourrait donner une modification du driver ATAD. Vu que ce n'était pas le produit final, ça a été fait à l'arrache (partitions système manquantes, HOSDSYS injecté dans un DVDELF...) et ça contient des bidouilles de test (arguments forcés, hotkeys...). Malgré ça, un nigaud y a rajouté des partitions et l'a réuploadé pour les masses, comme si c'était le produit final, et sans avertir sur l'extrême dangerosité de ce HDDOSD charcuté.

Pour info, ce qu'il s'est passé sur the ISO zone au début de l'année est l'une des raisons qui ont fait que les mecs bossant sur POPS ont abandonné leurs travaux. Dernièrement, the ISO zone était l'endroit où l'infâme "yeshuachrist" distribuait ses cochonneries hexedités et avait un certain fan club...

 

4 façons d'installer le HDDOSD :

1) À partir de SUDC3

2) À partir du HDD Utility Disc 1.10U cracké (je crois que la dernière build est "A4")

3) En écrivant un dump propre sur le HDD (via un PC)

4) En créant les partitions manuellement avec uLaunchELF 4.42_ev et en y copiant les fichiers proprement crackés.

 

La méthode 3 et 4 a fonctionner pour moi (pas test la 1 et 2),

J'ai trouvé un bon dump qui contein , uLaunchelf v4.42_evilo, OPL v0.9 with GSM support, Codebreaker v10.1, Bishi Bashi Special 3, HDD OSD, BlackRhino Linux LiveDVD v3 et Playstation BB Navigator .(3)

tu devrait pas avoir de mal a le trouvé

 

 

A savoir aussi sur les probléme connu

Ils sont déjà connus :

1) Restriction logicielle à 137 GB max de capacité sur le module ATAD officiel

2) Lag du browser quand des partitions sont installées au dessus de 40 GB

3) Le 1.00J n'est qu'en Japonais et en Anglais et affiche de la m*erde quand il est réglé sur une autre langue.

 

 

1) Si aucune partition n’empiète au delà de l'adressage 28-bit, le navigateur s'affiche. Sinon, c'est l'écran noir et la LED d'activité qui reste allumée.

2) Problème toujours aussi obscure qui semble se poser aléatoirement selon les setups. Sans doute lié aux perfs IOP. Ceux qui ne sont pas affecté par ce bug ont juste une chance de cocu.

3) $ony n'a tout simplement pas terminé le travail, vu que cette version était à la base destinée aux consoles Jap Multi-2. Les autres langues sont liées à des textes dummies comme "MSG_HD_DATA_COPY_,", "MSG_HD_DATA_DELETE_SIMPLE,", "MSG_HD_BROWSER_SPACE,"...

 

 

 

 

a savoir aussi que l'osd 2.00 ne fonctionne pas avec l'osdsys hacké de fmcb , donc faut le désactiver avec fmcb configurator (t'aurra tj le dev 1 et 3 a l'écran fmcb ) ou enlever la mc fmcb avant de démmaré la ps et évité d'avoir une puce , sa peut posé des probléme.

 

Modifié le 4 août 2013 par g.t.o

[krHACKen]

Hacker un HDDOSD pour le pousser au delà de 137 GB n'apportera rien d'autre que de la lenteur dans la navigation. Déjà qu'a l'origine le navigateur est assez lent, la faute au système de fichier pourri qu'utilise $ony pour le HDD... Quand t'as 130 partitions dans ton HDD et que tu veux lancer la première installée, faut que tu te tapes l'affichage lentissime des icônes des 129 autres partitions qui ont été installé avant.

 

Vitesse d'affichage sur HDD officiel 40 GB :

 

Le lag quand il y a des partitions après le secteur 156160 :

 

En résumé,

Au dessus de 40 GB = Lag

Au dessus de 137 GB = Lag + risque de perte de données massive

 

Le dump de test du HDDOSD trafiqué doit encore être dans un topic de ASSEMblergames, mais ni moi, ni l'auteur de HDLGameInstaller n'offriront de support technique aux utilisateurs de ce truc.

Autre chose à laquelle il faut penser avant de l'installer, c'est qu'il sera INCOMPATIBLE avec certains homebrews qui devraient sortir bientôt, du fait qu'il a été repacké (et n'a donc plus le stub de $ony), qu'il n'a non pas été rehashé mais injecté dans un DVDELF, et qu'il est exécuté par un loader très brouillon.

Pour des questions de compatibilité avec les homebrews à venir, je vous conseille d'installer des fichiers proprement patchés.

La meilleure alternative au HDDOSD sur des HDDs de + de 40 GB reste le POC de FHDB, ou bien un OPL à jour lancé depuis le MBR:pouce:.

[ShaoliAss]

La meilleure alternative au HDDOSD sur des HDDs de + de 40 GB reste le POC de FHDB, ou bien un OPL à jour lancé depuis le MBR

 

 

 

Sur la Proof Of Concept de FHDB, voir ce post ici pour ceux qui ne voient pas ce que c'est : http://psx-scene.com/forums/f153/new-way-booting-fmcb-people-sony-hdd-63886/index2.html#post985282

 

En gros, c'est OPL injecté dans le MBR du DD, et qui boot automatiquement au boot de la PS2 (sans CM FMCB).

 

Ca explique ce post assez énigmatique resté incompris : https://preprod.metagames.fr/forums/news-ps2/opl-autostar-132130.html.

[br222]

Up mon poste date depuis OPL autoboot du DD y a eu du changement (beaucoup) il y a plusieurs façon de lancé le "Navigateur 2.0" en tout il a 4 façon de lancé un jeux via le navigateur j'utilisé la méthode via "kermit" pour rendre bootable maintenant HDLGameInstaller à simplifié la chose avec la présence des "ICON"...

 

Mais je reste sur BBNAV j'adore l'interface et srutout la possibilité de lancé des games ps1